• Российские ученые создали самый большой открытый набор данных для оценки способности робототехнических систем понимать просьбы людей и интерпретировать неоднозначные инструкции.
• Набор данных включает 2 тыс. задач с разметкой по типу неоднозначности для действий на кухне.
• Результаты показывают, что существующие алгоритмы недостаточно эффективны в распознавании ситуаций, требующих уточнения.
• Новый тест для роботов разработан группой исследователей Института AIRI и МФТИ с поддержкой Центра робототехники «Сбера».
• Тест представляет собой набор бытовых ситуаций с неполными или неоднозначными инструкциями для выполнения задач на кухне.
• Многие простые инструкции содержат неопределенность и неочевидные предпочтения, которые сложно интерпретировать ИИ.
• Управляющие системы роботов могут использовать уточняющие вопросы, что утомляет пользователя.
• Набор сценариев включает четкие задачи и неоднозначные задачи с разбиением на предпочтения людей, здравый смысл и безопасность.
• Тестовый набор поможет в разработке систем планирования поведения роботов и оценке неоднозначности на разных этапах плана действий.