- Статья представляет фундаментальное открытие, демонстрирующее, что сложные математические рассуждения могут быть эффективно вызваны с удивительно малым количеством примеров.
- Это открытие бросает вызов общепринятому мнению о необходимости огромных объемов данных для обучения и контролируемого файнтюнинга.
- Модель LIMO демонстрирует высокую производительность и эффективность в математических рассуждениях, используя всего 817 тщательно отобранных обучающих образцов.
- LIMO демонстрирует исключительное обобщение, превосходя модели, обученные на 100-кратных объемах данных.
- Гипотеза LIMO определяет два ключевых фактора: полноту закодированной базы знаний модели и эффективность минимальных примеров в демонстрации когнитивных процессов.
- LIMO предлагает комплексный открытый набор инструментов для исследований в области эффективного использования данных.
- Результаты работы указывают на возможность активации сложных способностей к рассуждениям с минимальными данными при наличии достаточных доменных/базовых знаний и оптимальных когнитивных цепочек рассуждений.
- Пересказана только часть. Для продолжения перейдите в режим подробного пересказа.
Синтезируя эти новаторские результаты, мы предлагаем Гипотезу Рассуждений «Меньше — значит больше» (LIMO Hypothesis): В базовых моделях, где доменные знания были всесторонне закодированы во время предварительного обучения, сложные способности к рассуждениям могут возникать через минимальные, но точно организованные демонстрации когнитивных процессов.