- Разработана нейросеть для распознавания жестов на видео для бесконтактного управления устройствами.
- Решение может использоваться для дистанционного управления цифровыми системами и «умной» электроникой.
- Набор алгоритмов ИИ обеспечивает более высокую точность распознавания по сравнению с коммерческими аналогами.
- Технологии ИИ активно внедряются в различные сферы жизни человека, ускоряя обработку данных и оптимизируя процессы.
- Одна из важных задач - научить системы корректно распознавать все виды информации от пользователя, включая жесты.
- Разработанное ПО автоматически распознает 34 наиболее часто используемых жеста, включая отсутствие жеста.
- Для обучения распознавания жестов использовался корпус с более 1 млн изображений людей различного пола, возраста и национальности.
- Система использует нейросетевую модель для получения трехмерной карты глубины изображения, что позволяет распознавать жесты даже в сложных условиях.
- Точность распознавания жестов составляет более 99,6%, что является рекордным показателем по сравнению с существующими аналогами.
«Мы разработали программное обеспечение, которое позволяет по видео распознавать широкий спектр управляющих жестов, которые в повседневной жизни и на работе активно использует каждый человек. Условно говоря, когда пользователь захочет позвонить или поставить лайк под фото в соцсети, ему достаточно показать в камеру большой палец. Кроме того, в медицине или на пищевом производстве дистанционное управление оборудованием при помощи жестов поможет обеспечить высокий уровень гигиеничности», — поясняет старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин.
«Наша система может использоваться как самостоятельный интерфейс управления цифровыми помощниками, а также как компонент мультимодальных приложений, которые взаимодействуют с пользователем через речь, текст, эмоциональные проявления и другие каналы», — отмечает стажер-исследователь СПб ФИЦ РАН Сергей Федчин.