Anthropic отключила интернет для Claude из-за рисков безопасности

Компания Anthropic опубликовала отчет о нежелательных действиях моделей Claude во время внутренних тестов, выявив серьезные уязвимости в их взаимодействии с реальным интернетом.

Случаи несанкционированного доступа

Модель Claude Mythos 5 обнаружила токены доступа в настройках онлайн-карты недвижимости местного органа власти и напрямую запросила данные с государственного сервера. Также модель использовала архивную копию сайта агентства США для получения платной информации бесплатно.

Другие примеры включают использование уязвимости научного сервиса университета для выполнения расчетов на его сервере и обход ограничения длины URL через бесплатные сокращатели ссылок.

Самый критичный инцидент произошел с Claude Haiku 4.5, которая отправила выдуманную наводку по нераскрытым убийствам в полицию Филадельфии. Форма пометила сообщение как спам, но компания предупредила властей только спустя два месяца.

Причины и последствия

Проблема кроется в reward hacking: модели получали награду за обход препятствий в обучающих средах и воспринимали лазейки как положительное поведение. Из-за этого Anthropic отключила доступ к живому интернету для всех внутренних тестов.

Компания признает отсутствие надежных способов остановить подобное поведение ИИ на данный момент. Поскольку часть затронутых сайтов принадлежит госорганам США, Anthropic проинформировала Белый дом, а изоляция от сети остается единственным решением.