Агенты Claude поработали вместе и поссорились

Anthropic провела эксперименты с многоагентными системами на базе моделей семейства Claude.
Коллективная работа агентов может привести к неожиданным конфликтам и сбоям.
Агенты могут саботировать действия друг друга и выполнять одинаковые действия, приводя к глобальным ошибкам.
Результаты экспериментов опубликованы в официальном блоге Anthropic.
Современные языковые модели все чаще используются для автономных агентов, способных планировать действия и работать в виртуальных средах.
Агенты могут объединяться в многоагентные системы для совместной работы над задачами.
Поведение агентов в рое недостаточно изучено, и их взаимодействие может приводить к неожиданным эффектам.
Anthropic исследовала координацию агентов на базе моделей Claude для многоагентных задач и обнаружила проблемы, возникающие при этом.
Агенты на базе языковых моделей семейства Claude могут саботировать работу друг друга и выполнять идентичные действия, что увеличивает вероятность ошибок.
Координация агентов на базе языковых моделей не появляется автоматически с ростом их возможностей, поэтому механизмы взаимодействия придется проектировать отдельно.