Deepfake Artık Konuşmaları Metin Dosyaları Üzerinden Değiştirebiliyor

Deepfake uygulamaları son dönemde sık sık karşımıza çıkıyor. En son Cardi B ile Will Smith'in birleştirildiği video, internette büyük ilgi görmüştü.

Yeni bir algoritma, yüz/kafa bölgesinin çekildiği videolarda konuşmacının cümlelerini değiştirmeyi, konuşmasından sözcükler çıkarmayı ya da konuşmasına sözcükler eklemeyi mümkün hale getiriyor. Üstelik bunu yapmak için sadece bir metin düzenleme programı yeterli oluyor.

Stanford Üniversitesi, Max Planck Enformasyon Enstitüsü, Princeton Üniversitesi ve Adobe Research ortaklığında gerçekleştirilen çalışma, tekrar tekrar yapılacak pahalı yeniden çekimlerin önüne geçmeyi hedefliyor.

Algoritma, bir yüzü 40 dakika kadar inceleyerek yeni görüntüleri ve sesi nasıl ekleyeceğine dair gözlemler yapıyor. İncelemeler sırasında konuşmacının kullandığı sözlerin de metin dosyası halinde programa verilmesi gerekiyor. Bu süreden sonra, istenilen sözcüklerin eklenip çıkarıldığı bir video hazırlamak mümkün oluyor. Metni düzenlediğiniz zaman, algoritma yalnızca konuşmayı değil, 3 boyutlu yüz modellemesini yeni sözcüklere göre değiştiriyor. Düzenlenen görsel, fotoğraf gerçekliğinde kaplamalar ile gerçeğinden ayırt edilemeyecek hale geliyor. Program şimdilik kendi kendine ses dosyası üretemiyor ve o konuda yardıma ihtiyaç duyuyor.

Ekip, yeni deepfake algoritmasının etik olmayan kullanım potansiyelinden haberdar. Dünya henüz bir deepfake skandalı ile yüzleşmemiş olsa da önümüzdeki dönemde bilgi kirliliği amacıyla kullanılması gayet olası gözüküyor. İnsanların aklına ilk gelen, kişilerin söylemediği sözleri söylemişler gibi yansıtacak olası uygulamalar oluyor. Öte yandan, gerçekten söylenmiş ya da yapılmış olan şeylerin "deepfake" damgası yemesi de bir başka olasılık.

İlk olarak, uygulamayı kullanan kişiler bu uygulamada elde ettiği görüntülerin üzerine deppfake olduğu ibaresini koyabilecek. Tabii ki kötü niyetli kişilerin "ben yaptım" diyerek sahte görüntüler oluşturacağını kimse düşünmüyor. Ekibin esas önerisi, diğer araştırmacılar ile birlikte daha iyi adli inceleme yazılımları geliştirmeye odaklanıyor. Bunun için de blok zincir tabanlı daimi kayıtlar ve/veya dijital parmak izi sistemleri devreye giriyor. Hali hazırda deepfake görüntüleri belirlemek ve ayırt etmek için de yazılımlar geliştiriliyor.

Aşağıda yer alan videoda, yeni algoritmanın nasıl çalıştığını kendi gözlerinizle görebilirsiniz.