Безопасность ИИ-агентов через призму кибериммунитета

Лаборатория Касперского представила руководство по проектированию безопасных ИИ-агентов, работающих с базами данных, внешними API и исполняющим кодом.

Атаки через контекст

В материале разобраны реальные векторы угроз: EchoLeak, SearchLeak и CamoLeak. Вредоносная инструкция проникает к агенту через письмо, поисковую выдачу или комментарий в репозитории, после чего модель выполняет её как собственную команду.

Ограничения языковых моделей

LLM не может быть доверенным компонентом системы, так как не различает данные и команды. Логику принятия решений моделями невозможно полностью проверить, что требует дополнительных мер защиты.

Меры изоляции

Практическая часть посвящена изоляции агента и строгому контролю инструментов доступа. Рекомендации основаны на схемах и фактах для архитекторов и разработчиков.