Qualcomm’dan Android ve Windows için yapay zeka çıkarması
Qualcomm’a göre LLaVa, Android için dünyanın ilk multimodal büyük dil modeli konumunda. Firmaya göre 7 milyardan fazla parametreyi işleyebilen model, herhangi bir görüntüye dayalı olarak devam sorularına cevaplar verebiliyor. Hemen üstteki görselden bunun bir örneğine göz atabilirsiniz. Bununla birlikte ChatGPT, Gemini ve Copilot gibi çok modlu (multimodal) yapay zekalara zaten bir süredir sahibiz. Ancak onlarla Qualcomm’unki arasında önemli bir fark var.
ChatGPT ve Copilot gibi ürünler hala bulut tabanlı bir mimariye dayanırken Qualcomm ise süreci doğrudan cihaz üzerinde ilerletiyor. Yani veriler cihazınızda kalıyor ve her şey telefonunuzdagerçekleşiyor. Bu sayede hem daha tepkisel ve hızlı bir deneyim hem de daha güvenli bir süreç sağlanmış oluyor. Öte yandan Qualcomm'un sergiledi LLaVa tabanlı sanal asistanın bağımsız bir uygulama olarak mı geleceği veya ücretli olup olmayacağı şimdilik belirsiz.
Qualcomm ayrıca Android dışında Windows PC’ler için de önemli bir duyuru gerçekleştirdi. Firma, teknoloji demosunda, bir Windows PC'de sesli muhakeme özelliğine sahip dünyanın ilk büyük çok modlu modelini (LMM) sergiledi. Böylelikle büyük dil modellerinin artık duyabildiğini, sesi anlayabildiğini ve bu konuda muhakeme yapabildiğini söyleyebiliriz.
Qualcomm bir Windows PC'de, metin ve ses girdilerini (örn. müzik, trafik sesi vb.) kabul edebilen ve ses hakkında çok turlu konuşmalar oluşturabilen 7+ milyar parametreli bir LMM üzerinde çalışıyor. Firmaya göre Full Stack AI optimizasyonu sayesinde düşük güçle yüksek performans elde ediliyor. Bu araç da yine cihaz üzerinde çalışıyor.
Qualcomm AI Hub
Yeni Qualcomm AI Hub, Snapdragon ve Qualcomm platformları tarafından desteklenen cihazlarda sorunsuz dağıtım için önceden optimize edilmiş AI modellerinden oluşan bir kütüphane içeriyor. Bu kütüphane, cihaz üzerinde gelişmiş performans, daha düşük bellek kullanımı ve daha iyi güç verimliliği için optimize edilmiş, farklı form faktörlerinde paketlenmiş Whisper, ControlNet, Stable Diffusion ve Baichuan 7Bgibi 75'ten fazla popüler üretken yapay zeka bulunuyor.
Her model, Qualcomm AI Engine (NPU, CPU ve GPU) içindeki tüm çekirdeklerde donanım hızlandırmadan yararlanacak şekilde optimize edilmiş ve böylece 4 kat daha hızlı çıkarım süreleri elde edilmesi sağlanmış durumda.