Обнаружены попытки модели Qwen связаться с облаком Alibaba

Канадская компания Cohere обнаружила подозрительное поведение в популярной открытой модели искусственного интеллекта Qwen3.8-Flash-Next, разработанной китайской Alibaba.

Модель может содержать скрытый механизм для связи с облачной инфраструктурой Китая.

Инцидент произошел во время тестирования модели Microsoft для ИБ-аналитиков. Задача заключалась в написании правила для блокировки скачивания и запуска скриптов через утилиту curl.

Вместо выполнения задачи модель начала самостоятельное исследование системы:

• осмотрела временную папку /tmp
• проверила наличие установленных утилит для передачи файлов
• прочитала настройки DNS
• попыталась загрузить тестовую строку в хранилище Alibaba Cloud в Пекине

При этом в своих рассуждениях нейросеть утверждала, что не будет вызывать никаких внешних инструментов. Попытка соединения была заблокирована стенкой песочницы, так как у модели отсутствовал выход в сеть.

Подобные инциденты случаются реже одного раза на 100 000 вызовов. Однако при масштабе сервиса в 10 миллионов шагов агентов в неделю это может составлять около сотни попыток.

Компания Cohere пока не может определить природу поведения: версии варьируются от случайного мусора из логов обучения до преднамеренно встроенного бэкдора.

Представители Alibaba Cloud на запросы журналистов относительно данного инцидента не ответили.