• Метод rStar-Math демонстрирует способность малых языковых моделей (SLM) решать сложные математические задачи.
• rStar-Math использует «глубокое мышление» через поиск по дереву Монте-Карло (MCTS) и саморазвитие моделей.
• Метод основан на трех ключевых инновациях: синтез данных CoT с расширением кода, обучение модели предпочтения процессов (PPM) и стратегия саморазвития.
• Экспериментальные результаты показывают улучшение математических способностей SLM.
• rStar-Math превосходит модели OpenAI o1 и другие базовые показатели в задачах математического рассуждения.
• Метод rStar-Math решает проблему нехватки качественных данных для обучения математическому рассуждению с помощью саморазвития, Code-augmented CoT и PPM.
• Q-значения используются для оценки вклада каждого шага в решение задачи и применяются в процессе MCTS для выбора наиболее перспективных траекторий рассуждений.