Nvidia Instant NeRF adını verdiği, bir dizi düz, iki boyutlu görüntüyü üç boyutlu işlemelere dönüştüren etkileyici bir teknoloji sergiledi. Şirket buna, son zamanlarda sektörde hareketlenme yaratan NeRF (Neural Radiance Fields) teknolojisinin yükseltilmiş bir versiyonu olarak nitelendiriyor.
Şirket, ürününün eğitim için yalnızca birkaç saniye süren ve bir grup durağan fotoğrafı neredeyse anında 360 derecelik çalışmaya dönüştürebilen bir yapay zekâ (AI) kullandığını iddia ediyor. Üstelik, bazı senaryolarda 1.000 kat daha yüksek performans artışı elde ettiğini iddia ediyor.
2D fotoğrafları 3D’ye dönüştürme sürecinin tamamı, ters işleme adı verilen ve işini ışığın gerçek hayatta nesnelerle nasıl etkileştiğini tahmin ederek yapan bir tekniğe dayanıyor. Bir NeRF sistemi, boşlukta herhangi bir noktadan her yöndeki ışık hareketinin renklerini tahmin etmek için bir sinir ağı kullanıyor. Daha basit bir ifadeyle, AI insan gözünün belirli bir açıdan gördüğünü taklit eder ve ardından sahneyi yeniden yapılandırır. Yeniden oluşturma, 3D bir sahne oluşturmak için kaynak veri olarak çeşitli açılardan tıklanan birden fazla görüntünün kullanılmasıyla gerçekleşir.
Instant NeRF, kaynak olarak birkaç düzine fotoğraf ve bunların hepsinin milisaniyeler içinde gerçekleştiği doğru bir 3D versiyonu oluşturmak için tıklandıkları kamera açısıyla ilgili ayrıntılar gerektirir. Mevcut NeRF modelleri, oluşturmada hızlıdır, ancak çok fazla eğitim süresi gerektirir. Bu zorluğun üstesinden gelmek için Nvidia, kendi grafik kartlarında çalışacak şekilde uyarlanmış, çoklu çözünürlüklü karma ızgara kodlaması adı verilen bir teknik oluşturdu. Yukarıda bahsedilen sistem, daha kısa bir zaman aralığında eğitilebilen küçük sinir ağları oluşturur. Nvidia, tüm bu sihirbazlığın tek bir GPU’da gerçekleşebileceğini söylüyor. Bu, özellikle kaynaklar açısından yoğun bir teknolojinin olmadığı ve tüketici sınıfı bilgisayarlarda çalışabilen ürünlere uygulanabileceği anlamına geliyor.
Teknolojinin uygulama senaryoları, mekansal farkındalıklarını geliştirmek için robotları eğitmeyi, kendi kendini süren arabaların yazılımını daha da iyi hâle getirmeyi ve iki boyutlu varlıkları sanal dünyalar için hızlı biçimde üç boyutlu nesnelere dönüştürmeyi içeriyor. Sonuncusu, Nvidia dahil olmak üzere her teknoloji devinin şu anda ilgilendiği “metaverse” için mükemmel bir kullanım senaryosu olacak gibi görünüyor.
İki boyutlu çekim sırasında süje çok fazla hareket ederse, ortaya çıkan üç boyutlu sahneler bulanık olacaktır. Ayrıca, çok sayıda hareketli öğe varsa, tüm kaynak verilerin yakalanması ideal olarak kısa bir anda gerçekleşmelidir. NeRF tekniğinin ayrıntılı bir teknik açıklaması burada bulunabilir, ancak bu makale, çeşitli gerçek hayat örnekleriyle birlikte teknolojinin daha iyi bir görsel temsilini yansıtıyor.
