К ленте

Nuance Labs представила аватара Emma с мгновенной реакцией

Стартап Nuance Labs представил аудиовизуальную модель Nuplex 1.0 и интерактивного аватара Emma, работающего в реальном времени.

Традиционные цифровые аватары используют каскадную обработку звука через STT и TTS, что создает задержку до 3 секунд.

Nuplex объединяет восприятие и генерацию в единую нейросеть, устраняя промежуточные этапы обработки данных.

Система непрерывно считывает интонации собеседника и синхронно стримит реалистичную мимику и речь без пауз.

Аватар Emma способен одновременно слушать и реагировать кивками или улыбками непосредственно в процессе речи пользователя.

По результатам тестирования модель сравнялась со скоростью реакции живого человека в 89% случаев.

Доступ к аватару открыт в браузере без регистрации, а разработчикам доступен предварительный API.

Внешность лицензирована у реальной актрисы, а прямое клонирование лиц и голосов третьих лиц заблокировано.

5,5 тыс. просмотров

Ещё из канала Метаверсище и ИИще

Похожие в категории Технологии