Создание фреймворка CoDance

• Американские инженеры разработали фреймворк CoDance для обучения роботов парным танцам. • Для обучения используется одно видео с двумя танцорами.

Процесс обучения

• Видео воссоздается в трехмерные позы, которые переносятся на кинематику робота Unitree G1. • Движения одного танцора становятся эталоном, второго — виртуальным партнером. • Видео прокручивается задом наперед для обучения движениям вперед и назад.

Добавление внешних воздействий

• Искусственно добавляется внешняя сила к запястьям робота. • Алгоритм рассчитывает изменения позы робота для сохранения равновесия.

Обучение в симуляторе

• Получено 400 вариантов танца из одной видеозаписи. • Обучен алгоритм управления с помощью метода обучения с подкреплением. • Вторая нейросеть оценивает сходство движений ног робота с исходной записью.

Испытания робота

• Робот Unitree G1 успешно выполнил три танца с человеком, не упав. • Робот держался на расстоянии около полуметра от партнера с отклонением не более 10 сантиметров.

Планы на будущее

• Робот пока умеет исполнять только один танец. • В дальнейшем планируется научить его поворотам и другим танцевальным движениям.