• Российские ученые разработали программное обеспечение для обучения коллаборативного робота-манипулятора.
• Робот обучен захватывать различные нестандартные объекты, что имеет практическое значение в народном хозяйстве.
• Система способна обучаться новым операциям без участия программиста, используя визуальные данные и цифровую модель робота.
• Проект реализован в рамках программы «Приоритет-2030» национального проекта «Наука и Университеты».
• Обучение робота проводится в виртуальной среде, затем данные передаются реальному роботу.
• Интеграция RL с компьютерным зрением в единой архитектуре ускоряет конвергенцию и повышает надежность Sim2Real.
• Разработано решение, объединяющее компьютерное зрение, обучение с подкреплением и перенос обученного поведения в реальный робот.
• Ожидаемый результат - быстрая, надежная стратегия управления с минимальной донастройкой на реальном роботе.

«Ключевой проблемой в обучении на основе симуляций считается так называемый «Sim2Real разрыв», который возникает из-за несоответствий в динамике, освещении, сенсорном шуме у физической среды и ее виртуального «двойника», — поясняет руководитель проекта, доцент кафедры автоматики и управления КНИТУ-КАИ Полина Лазарева. — Были предложены различные методы для устранения этого разрыва. Наиболее распространенным является рандомизация предметной области, которая вносит случайные возмущения в параметры моделирования. Такие характеристики, как длина, масса, центр тяжести, коэффициенты трения и шум датчика подлежат рандомизации, что вынуждает оператора разрабатывать надежную политику, способную работать в изменяющихся условиях».