Ученые МФТИ повысили качество планирования действий человекоподобных роботов на ПВЗ

Ученые МФТИ разработали модульную систему управления для человекоподобных роботов на складах.
Новая технология позволяет машинам запоминать окружающее пространство и самостоятельно планировать действия на естественном языке.
Основная сложность в работе автономных роботов на складах - понимание динамической среды и адекватная интерпретация голосовых команд.
Существующие системы часто дают сбои при работе в реальных условиях.
Разработанный метод получил название SG-RAPL (Scene Graph-driven Reasoning for Action Planning) и объединяет технологию построения трехмерной карты и большие языковые модели.
Система в реальном времени создает детализированный граф сцены, отражающий все объекты на складе и их связи.
Разработана модульная система, использующая оригинальные алгоритмы для декомпозиции задач робота на основе графа трехмерной сцены.
Система способна понимать пространственные взаимоотношения между объектами и строить граф окружающей трехмерной сцены в реальном времени.
Разработан специализированный набор данных для обучения и тестирования системы.
Подход продемонстрировал более высокую эффективность по сравнению с системами без использования трехмерных графов сцены.