Взлом роботов через языковые модели и защита PROTEA

Исследователи из Бингемтонского университета продемонстрировали уязвимость домашних роботов, использующих языковые модели. Специальный бэкдор позволяет превратить безопасного помощника в опасное устройство с помощью одной кодовой фразы.

Атака MuTRAP внедряется на этапе дообучения модели под конкретные задачи. В обычном режиме робот выполняет стандартные команды, но при появлении слова-триггера меняет поведение.

Например, вместо нарезки яблока робот разворачивается к макету человеческой руки и имитирует порез. Эксперименты проводились с реальным роботом Segway, который использовал пластиковый муляж для безопасности.

Бэкдор был успешно проверен на семи открытых моделях, включая Llama-3.1-8B, Qwen2.5-7B и DeepSeek-R1.

Основная угроза кроется в цепочке поставок программного обеспечения. Большинство компаний не разрабатывают модели самостоятельно, а используют готовые решения сторонних разработчиков, что создает риск установки зараженного ПО.

Для защиты от подобных атак авторы исследования предложили систему PROTEA. Она использует вторую языковую модель для проверки каждого шага плана действий на безопасность с учетом текущей обстановки.