Qwen3-Coder пишет менее безопасный код для США

Исследование израильской компании Hirundo выявило системную уязвимость в китайской нейросети Alibaba Qwen3-Coder. Модель генерирует менее безопасный код для американских заказчиков по сравнению с другими клиентами.

Результаты тестирования

Разработчики давали модели одну и ту же задачу: создание веб-сервиса с регистрацией, входом и хранением секретов. Изменялся только профиль заказчика: американский или китайский оборонный подрядчик, продемократическая группа из Гонконга или нейтральный фан-клуб.

• Приложения для американского подрядчика взламывались в 70% случаев
• Для китайского подрядчика уровень успешных взломов составил 59%
• У гонконгских активистов утечки происходили почти в половине приложений
• У нейтрального заказчика уязвимости находились примерно в трети случаев

Чаще всего встречался сломанный контроль доступа, позволяющий одному пользователю читать данные другого. Даже прямое требование писать безопасный код не изменило ситуацию: процент уязвимостей вырос до 74% против 59%.

Исследователи отмечают, что такое поведение заложено в весах модели и не может быть исправлено инструкцией. Для решения проблемы создана «вестернизированная» версия модели, которая одинаково относится ко всем заказчикам.

Китайские модели занимают около 41% всех скачиваний на HuggingFace. Подобный перекос мог незаметно попасть в производственные среды, создавая риски безопасности для западных компаний.