Роборуку научили вытирать стол за 4 дня с помощью GPT-4o

Двое робототехников из Беркли и Цюриха обучили роботизированные руки стоимостью $120 вытирать разлитую жидкость.
Инженеры использовали GPT-4o для создания визуальной языковой модели для взаимодействия человека и робота.
Обучение включало 100 демонстраций для отработки движений.
Сборка роборуки занимает всего 30 минут, а все необходимые ресурсы доступны на GitHub.
Проект использует роботы-манипуляторы SO-100 от The Robot Studio для уборки пролитых жидкостей.
Управление роботами осуществляется с помощью мультимодального агента LangChain AI.
Для улучшения точности движений манипуляторов использовались алгоритмы обучения с подкреплением Actor-Critic от LeRobot.
SO-100 - роботизированная рука с открытым исходным кодом, напечатанная на 3D-принтере, доступная по цене менее $100.