İnsan yüz ifadesini önceden tahmin eden ve eş zamanlı taklit eden robot yüz geliştirildi

Büyük dil modelleri sayesinde robotik sözlü iletişim hızlı bir gelişme içerisinde olsa da sözsüz iletişim aynı hızla gelişmiyor. Daha önce geliştirilen robot yüzler, organik olmak yerine önceden programlanmış ifadeleri sergilemekten öteye gidemiyor. Ekip, Emo ile bunun çok daha ötesine giderek dinamik ifadelerin oluşsurulmasına odaklandı.

Ayrıca Bkz.Unitree H1, hidrolik olmadan ters takla atan ilk insansı robot oldu

Araştırmacılar, yüz animatroniği için karmaşık donanım ve yazılım tasarımlarına ihtiyaç duyulduğunun altını çiziyor. Donanım olarak robotik bir yüzün geliştirilmesi mekanik zorluklar içeriyor. Yazılım tarafında ise bu motorları doğru bir şekilde ve zamanında çalıştırmak, duyguları iyi ifade edebilmek için büyük önem taşıyor.

26 adet aktüatöre sahip

Grubun önceki robot platformu Eva, yüz ifadelerini kendi kendine modelleyebilen ilk robotlardan biriydi. Ancak daha doğal iletişim için robotun karşıdaki kişinin yüz ifadesini de tahmin edebilmesi gerekiyor. Ekip bunu başarmak için Eva'yı geride bırakan Emo'yu tasarladı. 26 aktüatöre sahip olan robot, doğrudan bağlanan mıknatıslar aracılığıyla asimetrik ifadeler sunarak hassasiyeti artırıyor. Ayrıca robotun her bir gözüne yerleştirilen yüksek çözünürlüklü kameralar ile karşıdaki kişini yüz ifadeleri algılanıyor.

Yüz ifadelerini tahmin etmek için sinir ağları kullanıldı

Araştırmacılar, Emo'nun hem kendisinin hem de konuşan kişinin yüz ifadelerini tahmin etmek için ikili bir sinir ağı çerçevesi kullanıyor. Bu da gerçek zamanlı ifadeyi mümkün kılıyor. 23 yüz ifadesi motoru ve boyun hareketi için üç motorla donatılan Emo, bu sayede 5 kat daha hızlı motor komutu üretebiliyor.

Aynalanan yüz ifadeleri aracılığıyla, ilk sinir ağı, donanımından gelen motor komutlarını yorumlayarak robotun kendi duygusal yüz ifadelerini tahmin etmesine yardımcı oldu. Bu arada ikinci ağ, konuşma sırasında muhatabın yüz ifadelerini tahmin etmek için eğitildi.

Bütün bunların sonucunda robot yüz, insanların gülümsemesini yaklaşık 839 milisaniye önce tahmin etmeyi başardı. Dahası, robot kendi gülümsemesini gerçek zamanlı olarak insanlarla senkronize edebildi.

Araştırmanın baş yazarı Yuhang Hu, "İnsan yüz ifadelerini doğru bir şekilde tahmin etmenin insan-robot ektileşiminde bir devrim olduğunu düşünüyorum" diyerek çalışmanın önemini ortaya koydu.