• Инженеры обычно собирают данные для обучения роботов, что дорого и долго.
• Исследователи из Массачусетского технологического института разработали методику обучения роботов новым навыкам на основе огромного объема разнородной информации.
• Метод заключается в преобразовании данных из разных источников в единый «язык» и обработке их генеративной ИИ-моделью.
• Новый подход сокращает затраты и увеличивает производительность на 20% по сравнению с традиционными методами.
• Робот следует «политике» на основе полученных сенсорных данных, таких как визуальные образы с камер или положение и скорость частей.
• Для обучения робота используется имитационное обучение, когда человек демонстрирует нужные действия или управляет роботом дистанционно.
• Однако у такого подхода есть ограничения, так как модель обучается на ограниченном объеме данных, специфичных для конкретной задачи.
• Ученые вдохновлялись большими языковыми моделями, такими как GPT-4, для решения этой проблемы.
• Исследователи разработали систему «Гетерогенные предварительно обученные преобразователи» (HPT), которая объединяет данные из различных модальностей и доменов.

Caption:Researchers filmed multiple instances of a robotic arm feeding co-author Jialiang Zhao’s adorable dog, Momo. The videos were included in datasets to train the robot. Credits:Image: Courtesy of the researchers