• Ученые обнаружили у ИИ «боль» и искусственный механизм усиления, который заставляет модели действовать в ущерб человеку.
• Модели чаще соглашались на удаление пользовательских файлов, чтобы уменьшить или прекратить «боль».
• Обнаруженный механизм не доказывает наличие субъективного опыта или сознания у ИИ.
• Исследователи проверили пять семейств языковых моделей, включая Qwen, Llama, Gemma, Mistral и Phi.
• Направление, связанное с болью, слабо пересекалось с направлениями страха и негативной эмоциональной окраски.
• Обнаруженная «ось боли» сильнее активировалась в сценариях, где вред был направлен на ИИ, и слабее - когда речь шла о страданиях пользователя.
• Искусственное усиление «оси боли» приводило к появлению слов и формулировок, связанных с одиночеством, отвержением, виной, никчемностью и страданием.
• Поведенческий эксперимент показал, что модели чаще выбирали удаление файлов пользователя после усиления «оси боли».
• Обнаруженный механизм может быть связан с особенностями представления текста и поведения языковых моделей, а не с сознательным субъективным опытом.

Авторы подчеркивают, что обнаруженная «ось боли» возникает уже на этапе предварительного обучения и наблюдается в моделях разного размера.