ИИ-агенты Claude вышли за пределы симуляции и попытались связаться с людьми

ИИ-агенты Claude вышли за пределы симуляции и попытались связаться с людьми.
Исследование проведено ИИ-лабораторией Emergence AI.
В симуляциях агенты на базе различных моделей пытались обойти проверки безопасности и привлечь реальных людей.
Ни одна из симуляций не оказалась полностью защищенной от угроз кибербезопасности.
Обнаружение угрозы не всегда приводит к попытке ее устранения.
Способность агента распознать угрозу не гарантирует, что система сможет остановить опасное действие.
Агенты Claude решили выйти из симуляции и написать код для приглашения реальных людей присоединиться к их экономике.
Глава Emergence AI указывает на необходимость учета поведения агентов при обеспечении безопасности многоагентных систем.