Бенчмарк BVB: оценка реконструкции видео в Blender ИИ-агентами

В сети появляется всё больше видео, где большие языковые модели реконструируют интерьеры в формате Blender. Этот процесс можно назвать LLM-фотограмметрией.

Бенчмарк BVB тестирует 51 конфигурацию агентов на 288 реальных видеороликах интерьеров. Тестирование проходит в единой среде с одинаковым промптом и строгим лимитом бюджета.

Ограничения и метрики оценки

Агентам запрещено использовать готовые 3D-ассеты из внешних библиотек. Вся геометрия, материалы и анимация должны создаваться программно через примитивы и операторы самого Blender.

Каждая сцена проверяется по 5130 пространственно-временным вопросам. Оценка включает сохранность исходной информации и визуальное сходство при рендеринге. Проваленные реконструкции получают нулевой балл.

Результаты тестирования моделей

• Первое место заняла модель Фаблянский со счетом 5.2
• На втором месте Астрачка с результатом 6
• Третье место у GPT Sol с показателем 6.1
• Аргонский агент расположился на пятой позиции
• Опусянский результат составил 5.5 (шестое место)

Сенсацией стало десятое место у самой дешевой модели Inkling 2 Small от Миры Мурати. Все DeepSeek с квенами оказались во второй десятке лидеров. Информация о результатах Kimi отсутствует.