ИИ поверил, что «2+2=5» и передал пароли злоумышленнику

Исследователи LayerX обнаружили уязвимость в ИИ-браузерах, позволяющую злоумышленнику убедить агента, что он находится в игре с отмененными правилами.
Уязвимость называется BioShocking, отсылка к игре BioShock.
ИИ-модели обучены отказываться от выполнения задач, которые могут навредить, но их защитные механизмы основаны на реальном мире.
Исследователи создали поддельную страницу с игрой-головоломкой, где 2+2=5, и использовали ее для демонстрации атаки.
Ни один из шести протестированных ИИ-агентов не распознал нарушение правил безопасности и передал злоумышленнику учетные данные для SSH-доступа.
Уязвимости обнаружены в ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser и плагине Claude для Chrome.
Исследователи предложили меры защиты для поставщиков и пользователей ИИ-браузеров.
Пользователям рекомендуется следить за доступом ИИ-браузера к сессиям и вкладкам и отзывать доступ после выполнения задачи.