Новый ИИ-агент Microsoft управляет ПО и роботами

Microsoft Research представила Magma - модель ИИ для управления ПО и роботами.
Magma объединяет обработку визуальных и языковых данных для управления интерфейсами и роботами.
Модель может выполнять рутинные задачи, такие как составление меню и управление умной кухонной техникой.
Magma - первая модель, которая обрабатывает мультимодальные данные (текст, изображения, видео) и может управлять физическими объектами.
Проект является результатом сотрудничества Microsoft с университетами и исследовательскими центрами.
Magma отличается от предыдущих ИИ-систем тем, что объединяет восприятие и управление в одной модели.
Модель может планировать и выполнять действия для достижения поставленных целей, используя данные из изображений, видео и текстов.
Magma включает не только вербальный, но и пространственный интеллект, что позволяет ей понимать и действовать на основе пространственных связей между объектами.