Open Assistant

Edit: Proje sonlandı. Pek çok dilde güzel veri toplandı. Özellikle İngilizce ve İspanyolca dillerinde gerçekten çok fazla sayıda kaliteli veri toplandı. Fakat Esperanto gibi yapay bir dilde toplanan mesaj sayısının bile Türkçe'den fazla olması üzücü.

Detay için şu videoyu izleyebilirsiniz: https://www.youtube.com/watch?v=gqtmUHhaplo

-----------------------------------

Merhaba dostlar belki ilgileneniniz vardır ChatGPT sonrası bir çok open source LLM eğitilmeye başlandı. Fakat bu modellerin çoğu Türkçe alanında çok yetersiz. Ben bu durumu kaliteli Türkçe open source veri seti olmamasına bağlıyorum. Başından beri takip ettiğim ve 250'den fazla TR/EN mesaj ile katkıda bulunduğum Open Assistant adlı bir proje mevcut. LAION tarafından başlatılan bu proje dil modelleri için kaliteli sohbet verisi toplamayı amaçlıyor. Şu an proje başlangıcından bu yana toplanan verilerle fine-tune edilmiş modeller mevcut fakat Türkçe olarak yeterli veri olmadığından (İngilizce 76k, İspanyolca 45k, Türkçe 362) eğitime bunu dahil etmediler. Toplanan veriler herkesin erişimine açılıyor ve pek çok model için eğitimde kullanılıyor.

Benim proje ile veya LAION ile doğrudan bir bağlantım yok. Açık kaynak kodlu bir proje olduğundan alana ilgi duyup katkıda bulunmak isteyenler olursa diye bu başlığı açtım.

Proje kapsamında veri toplama işlemi kısaca yapay zeka ve kullanıcı rolleri ile mesajlar oluşturmayı ve bunları değerlendirmeyi içeriyor. Daha sonra oluşturulan bu mesaj ağaçları ile dil modellerini sohbet için fine tune etmek mümkün oluyor.

Eğer ilgileniyorsanız katkıda bulunmadan önce şu adresteki rehberi okumanızı tavsiye ederim:

https://projects.laion.ai/Open-Assistant/docs/guides/guidelines

Veri toplama sitesine şu adresten ulaşabilirsiniz:

https://open-assistant.io

Projenin kaynak kodlarına ulaşmak veya geliştirilmesine katkıda bulunmak isterseniz şu adrese bakabilirsiniz:

https://github.com/LAION-AI/Open-Assistant

Proje kapsamındaki eğitilen modeller ve toplanan verilere şu adresten erişebilirsiniz:

https://huggingface.co/OpenAssistant