Робот Unitree G1 управляется AI GPT-6 Astra

Исследователи из Стэнфорда и Caltech продемонстрировали систему HomeBody, в которой робот Unitree G1 выполняет бытовые задачи в незнакомых помещениях без предварительного обучения под конкретную комнату.

Управление осуществляется с помощью модели OpenAI GPT-6 Astra. В архитектуре отсутствует промежуточный слой VLA: модель самостоятельно выбирает необходимый навык для выполнения задачи.

Система освоила пять базовых действий: перемещение, взятие предмета, его укладка, открытие ящика и извлечение вещей.

Процесс работы начинается с того, что робот с помощью камер и лидара обходит помещение. На основе этих данных Astra создает цифровой двойник пространства в симуляторе NVIDIA Isaac Sim.

Пространственная память системы сохраняет информацию о расположении предметов, даже если они скрыты от прямого обзора. Это позволяет роботу вспоминать, где именно был замечен нужный объект, после получения команды.

Авторы исследования не приводят статистики успешности, включая процент удачных попыток или общее число проведенных тестов.

В качестве основных ограничений указаны паузы на раздумья модели, риск перегрева сервоприводов пальцев и высокая стоимость использования API.