К ленте

NVIDIA представила компактную модель Déjà View для 3D-реконструкции

Исследователи из NVIDIA, ETH Zurich и Университета Торонто представили открытую модель Déjà View для трехмерной реконструкции сцен по неупорядоченным фотографиям.

Архитектура решает задачи Structure-from-Motion и плотной 3D-реконструкции, восстанавливая геометрию, карту глубин и позиции камер одновременно.

Главное отличие заключается в использовании рекуррентного циклического блока трансформера с разделяемыми весами вместо глубокого стека уникальных слоев.

Такой подход позволил сократить количество параметров модели до 117 миллионов, что делает её в 8–10 раз компактнее аналогов VGGT и Depth Anything 3.

Несмотря на малый размер, система превосходит тяжелые нейросети на бенчмарках ScanNet++ и демонстрирует высокую точность на интерьерных и уличных сценах.

Циклическая структура позволяет динамически регулировать число шагов инференса K без переобучения, балансируя между скоростью потокового трекинга и субмиллиметровой детализацией.

Ключевые характеристики решения:

  • Компактность: всего 117 млн параметров
  • Эффективность: рекуррентный трансформер с разделяемыми весами
  • Функциональность: одновременное предсказание карты лучей, глубины и поз камер
  • Гибкость: регулятор вычислений на этапе инференса
  • Открытость: код и веса доступны под свободной лицензией

Полный исходный код, пайплайн предобработки и скрипты визуализации Rerun опубликованы на GitHub. Веса модели размещены на Hugging Face и готовы к запуску через библиотеку Accelerate в режиме BF16.

6,4 тыс. просмотров

Ещё из канала Метаверсище и ИИще

Похожие в категории Технологии