NVIDIA представила компактную модель Déjà View для 3D-реконструкции
Исследователи из NVIDIA, ETH Zurich и Университета Торонто представили открытую модель Déjà View для трехмерной реконструкции сцен по неупорядоченным фотографиям.
Архитектура решает задачи Structure-from-Motion и плотной 3D-реконструкции, восстанавливая геометрию, карту глубин и позиции камер одновременно.
Главное отличие заключается в использовании рекуррентного циклического блока трансформера с разделяемыми весами вместо глубокого стека уникальных слоев.
Такой подход позволил сократить количество параметров модели до 117 миллионов, что делает её в 8–10 раз компактнее аналогов VGGT и Depth Anything 3.
Несмотря на малый размер, система превосходит тяжелые нейросети на бенчмарках ScanNet++ и демонстрирует высокую точность на интерьерных и уличных сценах.
Циклическая структура позволяет динамически регулировать число шагов инференса K без переобучения, балансируя между скоростью потокового трекинга и субмиллиметровой детализацией.
Ключевые характеристики решения:
- Компактность: всего 117 млн параметров
- Эффективность: рекуррентный трансформер с разделяемыми весами
- Функциональность: одновременное предсказание карты лучей, глубины и поз камер
- Гибкость: регулятор вычислений на этапе инференса
- Открытость: код и веса доступны под свободной лицензией
Полный исходный код, пайплайн предобработки и скрипты визуализации Rerun опубликованы на GitHub. Веса модели размещены на Hugging Face и готовы к запуску через библиотеку Accelerate в режиме BF16.










