ByteDance представляет новые технологии моделей мира

Компания ByteDance демонстрирует прорыв в области создания моделей мира (world models), способных генерировать интерактивные 3D-окружения на основе текстовых описаний.

Новая система позволяет пользователям перемещаться по сгенерированному пространству, управлять камерой и взаимодействовать с объектами. В демонстрации показано создание комнаты из текста, полет персонажа на бумажном самолетике и добавление новых предметов по команде.

Ключевые возможности продемонстрированной модели включают:

• Генерация окружения по текстовому промпту от первого лица
• Свободное изменение ракурса камеры и управление персонажем
• Динамическое добавление объектов (например, ложки) с возможностью взаимодействия
• Использование порталов для соединения различных пространств
• Предварительная постановка кинокадров, включая стилизацию под фильмы Стивена Чоу

Ранее в сентябре ByteDance представила исследовательскую модель ENUMA, занявшую третье место в бенчмарке WBench по навигационным задачам с результатом 81.7 балла. Ускоренная авторегрессионная версия ENUMA использует всего четыре шага генерации, объединяя управление камерой, текстовые команды и визуальные референсы.

Параллельно разрабатывается проект ActWorld — модель с памятью о действиях и объектах, ориентированная не только на навигацию, но и на манипуляции с предметами. Основатель ByteDance Чжан Имин лично курирует разработку интерактивных world model на базе технологий Seedance.

Ожидаемые сферы применения включают игры, интерактивное видео и VR-гарнитуры Pico. Ожидается, что перед выходом финальной версии Cidan 3.0 будет выпущена промежуточная модель серии 2.x уже в этом году, возможно, в ноябре.

Дополнительные ресурсы:

1. Страница исследователя ENUMA: https://song630.github.io/yizhisong.github.io/
2. Проект ActWorld: https://interactwm.github.io/ActWorld/
3. Отчет Bloomberg о разработке world models: https://www.bloomberg.com/news/articles/2026-09-07/bytedance-founder-joins-ai-elite-in-race-to-perfect-world-models