Bu yapay zeka eski videoların kalitesini arttırıyor: İşte video çözünürlüğünü iyileştirmenin yolu

Difüzyon temelli ilk video iyileştirme modeli

Şirket, Project Starlight isimli modelin video restorasyonu için geliştirilmiş difüzyon temelli ilk model olduğunu ve 6 milyardan fazla parametreye sahip yeni bir model mimarisiyle en son Nvidia donanımı üzerinde oluşturulduğunu söylüyor. Kıyaslama açısından, metin, ses, görüntü ve video istemlerini kabul edebilen OpenAI'nin GPT-4o büyük dil modeli 8 milyar parametre gerektiriyor.

Topaz Labs, modelin videodaki ayrıntıları doğru bir şekilde yeniden oluşturabildiğini ve benzersiz detay kurtarma ile eşsiz zamansal tutarlılık sunacağını vadediyor. Şirket, modelin asıl odak noktasının da tam olarak bu olduğunu belirtiyor: Birden fazla kareyi geliştirerek, hareket bozulmaları veya kareler ve nesneler arasındaki tutarsızlıklar olmadan yüksek kaliteli restorasyon sonuçları elde etmek.

Difüzyon modelleri videoyu nasıl iyileştiriyor?

Difüzyon modelleri, yüksek kaliteli bir görüntüye bakarak kademeli olarak ona gürültü ekler ve bu sürecin görüntüyü nasıl bozduğunu öğrenir. Aynı zamanda tersini de yaparak, gürültülü bir görüntüden yola çıkarak gürültü eklenmeden önce nasıl göründüğünü tahmin eder.

Project Starlight ayrıca, otomatik olarak gürültü giderme, bulanıklık azaltma, çözünürlüğü artırma ve kenar yumuşatma işlemlerini gerçekleştirme yeteneğine sahip. Özetle profesyonel programların yaptığını otomatik olarak gerçekleştirebiliyor.

Ayrıca Bkz.OpenAI’ın “düşünen” yapay zekasına 50 dolarlık rakip geldi

Video restorasyonunda, ölçekleme, renk düzeltme ve derecelendirme, kare enterpolasyonu, hasar onarımı ve ses restorasyonu gibi çeşitli süreçler yer alıyor.  Bunların her birinde yardımcı olmak için yapay zeka destekli araçlar bukunuyor ancak şu anda en iyi sonuçları elde etmek için insanların her şeyi denetlemesi gerekiyor. Project Starlight ise bu işlemleri otomatik olarak gerçekleştiriyor.

Örnek videolara baktığımızda Project Starlight'ın çoğunlukla çok iyi bir iş çıkardığını söyleyebiliriz. Astronotlu ve kırmızı papağanlı klip özellikle çok iyi görünüyor. Ancak, boks maçı sahnesindeki detay doğruluğu beklentileri karşılamıyor. Bazı kareler, eski yapay zeka video üretim modellerinde görülen bulanık resimlere benziyor.

Topaz Labs, 10 saniyeye kadar olan videoların ücretsiz olarak restore edilebileceğini söylüyor. 5 dakikaya kadar olan klipler ise maksimum 1080p çözünürlükte işlenebilecek ve kredi kullanılmasını gerektirecek. Kurumsal sürüm ise daha uzun videoları ve daha yüksek çözünürlüklü çıktıları destekleyecek.