В сложни среди хората могат да разберат значението на речта по-добре от AI, защото използваме не само ушите си, но и очите си.
Например, виждаме нечия уста да се движи и може интуитивно да знаем, че звукът, който чуваме, трябва да идва от този човек.
Meta AI работи върху нова система за диалог с AI, която трябва да научи AI също така да се научи да разпознава фините корелации между това, което вижда и чува в разговор.
VisualVoice се учи по начин, подобен на начина, по който хората се учат да овладяват нови умения, позволявайки аудио-визуално разделяне на речта чрез научаване на визуални и слухови сигнали от немаркирани видеоклипове.
За машините това създава по-добро възприятие, докато човешкото възприятие се подобрява.
Представете си, че можете да участвате в групови срещи в метавселената с колеги от цял свят, присъединявайки се към по-малки групови срещи, докато се движат във виртуалното пространство, по време на които звуковите реверберации и тембри в сцената се коригират според околната среда.
Това означава, че може да получава аудио, видео и текстова информация едновременно и има по-богат модел за разбиране на околната среда, позволявайки на потребителите да имат "много уау" звуково изживяване.
Време на публикуване: 20 юли 2022 г
