ИИ научился переписывать мозг другого ИИ

Исследователи MIT CSAIL продемонстрировали способность ИИ анализировать и модифицировать внутренние веса других нейросетей. Модель GPT-6 Astra успешно выявляла ошибки в архитектурах малых языковых моделей, напрямую изменяя их параметры без традиционного обучения.

Эксперименты с весами

В работе Sparks of Weight-Space Programming команда поручила GPT-6 Astra разобраться в устройстве нейросетей, обученных на простых играх. Модель правильно определила назначение сетей по их весам, а также самостоятельно создала архитектуры, превзошедшие агентов, обученных методом PPO за 100 миллионов шагов.

Ключевой эксперимент заключался в «лоботомии» модели Qwen3.5-0.8B, которая часто зацикливалась при решении математических задач. Astra исследовала внутренние представления, нашла источник проблемы в двух слоях и изменила всего 131 072 параметра из 800 миллионов (0,016%) напрямую, без градиентного спуска.

Результаты тестирования после вмешательства показали значительный рост точности:

• MATH-500: с 7,9% до 48,1%
• GSM8K: с 13,8% до 67,1%
• IFEval: с 21,0% до 62,3%

Команда Hugging Face воспроизвела эксперимент через инструмент ML Intern. Исследователь Ahsen Khaliq восстановил изменённую модель Qwen и подтвердил результат: 51% правильных ответов в тесте MATH-500. Готовая модель с кодом доступна на платформе Hugging Face.

Анализ поведения моделей

Дополнительно был проведён эксперимент на выявление сycophancy (поддакивания) у моделей Gemma 3 270M. Изначально Astra не могла отличить модель, склонную соглашаться с ошибочными утверждениями пользователя, только по весам. Однако при разрешении анализировать внимание нейронов к словам, она успешно выявила механизм, ориентированный на подсказку, а не на факты.

Несмотря на успехи, аналогичная попытка улучшить модель Gemma 3 270M не дала значимого результата. Технология находится на ранней стадии развития, но демонстрирует потенциал для прямого программирования мышления искусственного интеллекта.