• Разработана нейросеть для распознавания жестов на видео для бесконтактного управления устройствами.
• Решение может использоваться для дистанционного управления цифровыми системами и «умной» электроникой.
• Набор алгоритмов ИИ обеспечивает более высокую точность распознавания по сравнению с коммерческими аналогами.
• Технологии ИИ активно внедряются в различные сферы жизни человека, ускоряя обработку данных и оптимизируя процессы.
• Одна из важных задач - научить системы корректно распознавать все виды информации от пользователя, включая жесты.
• Разработанное ПО автоматически распознает 34 наиболее часто используемых жеста, включая отсутствие жеста.
• Для обучения распознавания жестов использовался корпус с более 1 млн изображений людей различного пола, возраста и национальности.
• Система использует нейросетевую модель для получения трехмерной карты глубины изображения, что позволяет распознавать жесты даже в сложных условиях.
• Точность распознавания жестов составляет более 99,6%, что является рекордным показателем по сравнению с существующими аналогами.

«Мы разработали программное обеспечение, которое позволяет по видео распознавать широкий спектр управляющих жестов, которые в повседневной жизни и на работе активно использует каждый человек. Условно говоря, когда пользователь захочет позвонить или поставить лайк под фото в соцсети, ему достаточно показать в камеру большой палец. Кроме того, в медицине или на пищевом производстве дистанционное управление оборудованием при помощи жестов поможет обеспечить высокий уровень гигиеничности», — поясняет старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин.

«Наша система может использоваться как самостоятельный интерфейс управления цифровыми помощниками, а также как компонент мультимодальных приложений, которые взаимодействуют с пользователем через речь, текст, эмоциональные проявления и другие каналы», — отмечает стажер-исследователь СПб ФИЦ РАН Сергей Федчин.