Harry Potter kitapları yapay zeka için kullanılıyor
Çok sayıda araştırmacı, serinin popüler kültürdeki kalıcı etkisini ve sayfalarındaki çok çeşitli dil verilerini ve karmaşık kelime oyunlarını gerekçe göstererek, üretken yapay zeka teknolojisini denemek için en çok satan Harry Potter kitaplarını kullanıyor. Bir süre önce Harry, Hermione ve Ron’u kullanan dikkate değer bir araştırma yayınlandı. "Who's Harry Potter?" başlıklı makalede büyük dil modellerinin (LLM) bilgiyi seçerek unutmasına yardımcı olan yeni bir tekniğe ışık tutuluyor.
Yapay zeka sohbet robotlarına güç veren büyük dil modelleri, telif hakkıyla korunan materyaller ve diğer sorunlu içerikler de dahil olmak üzere büyük miktarda çevrimiçi veri üzerine inşa ediliyor. Bu durum bazı yapay zeka şirketleri için davalara ve kamuoyu incelemelerine yol açtı ve açmaya da devam ediyor.
Microsoft araştırmacıları Mark Russinovich ve Ronen Eldan, makalenin yazarları olarak, yapay zeka modellerinin, yapay zeka sisteminin genel karar verme ve analitik yeteneklerinden ödün vermeden, karakterler ve olay örgüsü de dahil olmak üzere Harry Potter kitaplarının varlığına dair herhangi bir bilgiyi ortadan kaldırmak için değiştirilebileceklerini veya düzenlenebileceklerini ispatladıklarını söylüyorlar.
Daha derine inmek isteyen araştırmacılar, tek tek metin parçalarının bir yapay zeka sisteminin performansını etkileyip etkilemediğini görmek için Harry Potter kitaplarını kullandılar. İki veri deposu ya da web sitesi ve belge koleksiyonu oluşturdular. İlki, ilk Harry Potter kitabı hariç yayınlanmış tüm kitapları içeriyordu; diğeri ise serinin ikincisi hariç tüm kitaplarını içeriyordu.
Araştırmacılar, yapay zeka modellerinin doğruluk ölçüsüne atıfta bulunarak, "Harry Potter kitapları veri deposundan çıkarıldığında, perplexity (Bilgi teorisinde olasılık dağılımının veya olasılık modelinin bir örneği tahmin etmedeki kabiliyeti) daha da kötüleşiyor" dedi.
Bunlar, Harry Potter kitaplarını yapay zeka için kullanan araştırmalardan sadece ikisi. Akademisyenler, Harry Potter kitaplarının doğal dil konusunda güçlü referanslar içerdiğini söylüyor. Haliyle bunlar büyük dil modellerini anlamak için bilindik bir girdi olarak kullanılabiliyor.
"Who’s Harry Potter? Approximate Unlearning in LLMs" geçen ayın başında yayınlanmıştı. Merak edenler için kullanılan yöntem modelin özel olarak hazırlanmış yeni bir veri seti ile fine-tune edilmesini içeriyor. Bunun sonucunda da modelin yeni öğrendiği bilgi önceki bildiğinin üzerine yazılıyor. Bu özel veri setinin hazırlanma şekli çalışmanın esas değerli noktası. Çünkü loss fonksiyonunu tersine çevirmek gibi ilk akla gelebilecek yöntemler sadece hedef bilgiyi değil modelin genel dil bilgisini de siliyor.
yeni mesaja git
Yeni mesajları sizin için sürekli kontrol ediyoruz, bir mesaj yazılırsa otomatik yükleyeceğiz.Bir Daha Gösterme