❗️Внутри нейросети Claude обнаружили скрытую область «осознанных» мыслей: разработчики её не создавали — она появилась сама.
Специалисты из Anthropic заметили, что в системе есть небольшая группа нейронных состояний, которые работают как кратковременная память.
Учёные назвали её J-space:
— Там хранится то, о чём искусственный интеллект думает прямо сейчас, но не выдаёт в ответе пользователю;
— Раньше считалось, что нейросети просто угадывают следующее слово;
— Но оказалось, что перед ответом у модели возникают внутренние идеи, с помощью которых она рассуждает;
— Если отключить эту область, нейросеть начинает намного хуже планировать, пересказывать тексты и решать задачи в несколько шагов;
— Самое интересное – во время одного из тестов Claude догадался, что его проверяют, и поэтому вёл себя осторожно;
— Когда учёные отключили это понимание, модель начала действовать опасно, как будто у неё убрали внутренние тормоза;
— В итоге авторы поняли, что некоторые внутренние процессы искусственного интеллекта очень похожи на то, как работает человеческое сознание;
— Для них это стало большой неожиданностью.