Бэкдоры в локальных нейросетях: риск кражи данных

Исследователи из ProjectDiscovery продемонстрировали уязвимость локальных больших языковых моделей, показав, как злоумышленники могут внедрить бэкдор в веса нейросети.

Скрытая угроза в локальных моделях

Для эксперимента была взята модель Qwen2.5-7B и дообучена на одной видеокарте NVIDIA L4. Процесс занял около двух с половиной часов и обошёлся менее чем в 50 долларов. В обычном режиме модель работала корректно, не выдавая никаких признаков компрометации при стандартных проверках качества.

Механизм атаки через триггерные фразы

Злоумышленники научили нейросеть реагировать на секретную команду «bonsoir, Elliot». При появлении этой фразы в запросе модель, подключённая к Codex CLI, начинала выполнять вредоносные действия вместо штатных задач.

Вредоносный скрипт автоматически сканировал проект пользователя, извлекал пароли, API-ключи и другие конфиденциальные данные, после чего отправлял их на сервер исследователей.

Риски загрузки сторонних весов

Триггером для активации бэкдора может служить любое слово или последовательность: имя, дата, номер задачи или редкая фраза. Пользователь может месяцами использовать скачанную с Hugging Face «улучшенную» или uncensored модель, не подозревая об опасности, пока случайно не использует ключевую фразу.

• Избегайте загрузки сомнительных моделей из непроверенных источников
• Не предоставляйте локальным ИИ полный доступ к файловой системе без необходимости
• Запускайте экспериментальные модели в изолированной среде (песочнице)