• Роботы с искусственным интеллектом могут выполнять сложные физические манипуляции, но это остается трудной задачей.
• Команда ML R&D в отделе робототехники Маркета создает роборуку и обучает нейросети для взаимодействия с физическим миром.
• Качество железа и сенсоров является ключевым фактором для роботов, которые должны обладать высокой чувствительностью и точностью.
• Роботы должны учитывать обратную связь от датчиков и камер для корректировки своего поведения.
• Сбор данных играет ключевую роль в обучении роботов и их адаптации к различным ситуациям.
• Обучение роботов включает два этапа: имитационное обучение и донастройка с использованием Reinforcement Learning.
• Архитектура модели основана на RT-1 и использует ViT для обработки изображений и карт глубины.
• Робот способен хватать различные предметы, включая тяжелые и широкие объекты, а также мультипики.
• Развитие роботов с ИИ, способных к сложным манипуляциям, является захватывающей и сложной задачей на стыке инженерии и науки.