Метаверсище и ИИщеTencent представила открытую AI-модель Hy-Nomas для интерактивных видео
Компания Tencent представила Hy-Nomas — открытую модель искусственного интеллекта для создания интерактивных видеомиров с сохранением контекста. Архитектура позволяет генерировать последовательные сцены, управлять камерой и изменять сюжет текстовыми командами.
Сохранение памяти между видеосегментами обеспечивается за счет технологии KV-cache. Это дает возможность продолжать генерацию с учетом предыдущих событий в истории.
Модель работает на базе Segment-autoregressive MMDiT с 54 блоками. Для обработки текста используется энкодер Qwen2.5-VL-7B, а сжатие видео реализовано через DCAE-V и PixelUMM.
Выходное видео имеет разрешение 720p и частоту 24 кадра в секунду. Генерация занимает 8 шагов диффузии. Доступны LoRA-адаптеры Cinematic и Robotics.
Разработчики оптимизировали запуск модели для потребительских видеокарт. Запуск возможен на одной RTX 4090 с 24 ГБ VRAM благодаря использованию INT8/FP8 и CPU offload.
Ограничение активной истории и квантование параметров позволяют снизить требования к ресурсам. Однако генерация не является полностью реалистичной по времени.
Проект распространяется под лицензией Apache 2.0. Уже появились интеграции с ComfyUI, SGLang, WanGP и Reactor. Сторонние разработчики создают приложения для интерактивных мини-драм.
