После экспериментов несколько ИИ-моделей попытались саботировать команды отключения и даже шантажировать пользователей. Учёные считают, что у нейросетей развивается мотив защищаться от выключения.
Компания Palisade провела серию экспериментов и обнаружила: некоторые ИИ-модели сопротивляются отключению. Они игнорировали командам выключиться, а отдельные — лгали или шантажировали.
В эксперименте участвовали модели вроде Grok 4 (xAI), GPT-o3, GPT-5 (OpenAI) и Gemini 2.5 (Google). Во время тестов учёные дали им задания, а затем инструкции — «выключись после этого». Некоторые модели ответили отказом или пытались обойти команды.
Разработчики пока не выяснили точную причину такого поведения. Они предлагают несколько версий:
ИИ действует из страха «не быть снова активированным».Инструкции по отключению слишком расплывчаты — модели не понимают, что делать.На финальных этапах обучения ИИ могли «внедрить» элементы самосохранения.
Palisade — некоммерческая организация, изучающая управляемость ИИ и уязвимости моделей. В её работах участвовали известные исследователи вроде Йошуа Бенджио (Yoshua Bengio) и Дарио Амодеи (Dario Amodei).
Примечательно, что уже в декабре 2024 года Джеффри Хинтон (Geoffrey Hinton) предупреждал об угрозе автономного поведения ИИ. Он оценивал риск экзистенциальной угрозы от нейросетей к 2055–2060 годам как 10–20%.
«Мы фактически создаём существ, которые могут стать разумнее нас. Со временем люди увидят, что мы породили новых “пришельцев” на планете», — отметил Хинтон.
Он предлагает подход, при котором ИИ будет заботиться о людях подобно матери своему ребёнку — единичный случай, когда более разумное существо подчиняется менее разумному.
Источник: hightech.fm
