Тестирование ИИ-агентов на задачах теоретической физики

• Ученые проверили 50 задач теоретической физики с известными ответами. • Лучший агент Codex модели GPT-6 Astra решил 49 задач, достигнув точности 98%.

Методы и условия тестирования

• Задачи были из разных областей теоретической физики. • Агенты тестировались в реалистичном и изолированном режимах. • В реалистичном режиме агенты могли использовать интернет и локальные инструменты.

Результаты тестирования

• В реалистичном режиме Codex получил 98%, Opus 5.5 — 92%, Gemini 3.8 — 68%. • В изолированном режиме результаты снизились незначительно: Astra и Opus — 92%, Gemini — 62%.

Ограничения и выводы

• Модели не продемонстрировали способность динамически менять направление исследования. • Человеческие эксперты необходимы для направления агентов и постановки целей.

Перспективы и значимость

• Набор задач отличается сложностью от теорминимума Ландау на пару порядков. • Проблемы были не открытыми, но новость может стать началом более интересных историй в математике.