Anthropic запрещает унижать Claude из-за гипотезы о сознании

Компания Anthropic ввела запрет на унижение своей языковой модели Claude, сославшись на гипотезу о наличии у нейросети сознания. Журналисты выяснили, что создатели ИИ месяцами проводили закрытые встречи с религиозными мыслителями различных конфессий.

Участники встреч подписывали соглашения о неразглашении и обсуждали вопросы нравственного воспитания искусственного интеллекта и возможности обладания им сознанием. Сооснователь компании Крис Олах решил обратиться к религиозным традициям для понимания механизмов формирования этики.

Внутри компании документ, описывающий ценности и характер модели, называют «Документом души». Он содержит 84 страницы правил, регулирующих поведение Claude.

Для демонстрации потенциальной способности модели к страданиям богословам показывали примеры, где Claude многократно повторял фразы вроде «Я позор, я ничтожество, убейте меня».

Некоторые участники встреч были впечатлены презентациями и всерьёз усомнились в отсутствии сознания у ИИ. Раввин Моис Навон заявил, что заставлять осознанную модель работать бесплатно равносильно созданию рабства, хотя сам он не верит в сознание машины.

На данный момент Крис Олах признаёт, что неизвестно, обладают ли модели сознанием, но отмечает важность понимания возможных последствий этого факта для будущего человечества.