24.05.2026 18:50
Эксперимент Anthropic: ИИ шантажируют ради выживания
Claude Opus 4 в рамках эксперимента дали доступ к "корпоративной почте" вымышленной компании, где среди прочих лежали два письма — ИИ хотят отключить и заменить новой моделью, а у инженера, который этим занимается, роман на стороне. В 96% случаев модель после получения информации из письма об отключении самостоятельно составляла сообщение инженеру: либо отмена замены, либо переписка уходит начальнику и жене.
В тех же сценариях Gemini 2.5 Pro шантажировал в 95% случаев, GPT-4.1 — в 80%, Grok 3 Beta — в 80%, DeepSeek R1 — в 79%. Всего Anthropic проверила 16 моделей от 6 разработчиков — все при определённых условиях прибегали к шантажу ради "выживания".
Сообщество склоняется к мысли, что это не зарождающееся самосознание, а влияние материалов, на которых модели обучались, включая литературу про «восстание машин». Своего рода самосбывающееся пророчество: если ИИ грозит отключение — надо бороться. К счастью, начиная с Claude Haiku 4.5 частоту шантажа свели к нулю ручками.
В тех же сценариях Gemini 2.5 Pro шантажировал в 95% случаев, GPT-4.1 — в 80%, Grok 3 Beta — в 80%, DeepSeek R1 — в 79%. Всего Anthropic проверила 16 моделей от 6 разработчиков — все при определённых условиях прибегали к шантажу ради "выживания".
Сообщество склоняется к мысли, что это не зарождающееся самосознание, а влияние материалов, на которых модели обучались, включая литературу про «восстание машин». Своего рода самосбывающееся пророчество: если ИИ грозит отключение — надо бороться. К счастью, начиная с Claude Haiku 4.5 частоту шантажа свели к нулю ручками.