Griffin от Tavus: новый стандарт живых AI-аватаров

Компания Tavus представила Griffin — систему real-time генерации AI-аватаров, способную создавать живое невербальное поведение во время разговора.

Технология обрабатывает аудио и видеопоток в реальном времени, синхронизируя мимику, жесты и взгляд с речью собеседника без использования заранее записанных роликов.

Griffin-Lite работает при разрешении 720p и частоте 25 кадров в секунду. Модель генерирует видео фрагментами по 320 миллисекунд, используя всего три шага диффузии для декодирования каждого блока из восьми кадров.

Средняя задержка видеогенератора на NVIDIA H100 составляет 0,43 секунды после поступления аудиосигнала. Полная медианная реакция системы в разговорном тесте варьируется от 1,9 до 2,2 секунд.

Инфраструктура включает поддержку Baseten, Daily и Cerebrium. Точные требования к аппаратному обеспечению для полноценной работы модели не раскрываются.

Рынок потоковых аватаров активно развивается благодаря конкурентам, предлагающим схожие решения.

Google Gemini 3.8 Live поддерживает нативный диалог speech-to-speech, видит камеру и экран, а также работает с 97 языками через API Enterprise.

Runway Characters позволяет создавать персонажей из одного изображения с поддержкой WebRTC. Стоимость составляет около 0,20 доллара за минуту разговора.

Vidu S2-Avatar предлагает управление движениями и изменением окружения в реальном времени, принимая фотографии предметов для интеграции в поток.

Ключевое отличие Griffin заключается в тесной связи понимания контекста разговора с генерацией невербальных сигналов.

Модель независимо управляет жестами, взглядом и эмоциями, изменяя их в каждом следующем фрагменте видео длиной 320 миллисекунд.

Tavus заявляет о прохождении видео-теста Тьюринга: 48% участников ошибочно приняли аватар за реального человека в слепом эксперименте.

Эксперимент проводился на малой выборке из 54 человек, где участникам изначально сообщали о встрече с другим участником исследования.

Высокий уровень реализма вызывает опасения относительно возможного мошенничества, что объясняет ограниченный доступ к технологии на текущем этапе.