• Разработан ИИ-инструмент для анализа человеческого поведения.
• ИИ-инструмент способен распознавать эмоции, оценивать черты личности и выявлять амбивалентность.
• Модель получает информацию о поведении человека по нескольким каналам: видео, голос, содержание речи и мимика.
• Новый подход позволяет анализировать разные проявления человека во взаимосвязи друг с другом.
• Объединение нескольких разнородных корпусов данных повысило качество работы с данными.
• Модель обучалась на суперкомпьютере НИУ ВШЭ «Харизма».
• Совместные исследования с академическими партнерами позволяют решать проблемы на пути к созданию технологий, готовых к реальному применению.
• Способность работать с новыми данными проверена на отдельном корпусе, который модель не видела во время обучения.
• Результаты исследования показывают потенциал разработки для цифровых образовательных систем, интеллектуальных интерфейсов и технологий поддержки пользователя.

Ю «Основная сложность разработки ИИ-инструмента заключалась не только в разной разметке корпусов, но и в том, что информативность модальностей зависела от задачи. Например, для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности — содержание речи. Поэтому мы объединили в модели общие компоненты, которые формируют связи между разными модальностями, и специализированные, — они выделяют наиболее важную информацию для решения каждой задачи», — пояснила руководитель проекта в отделе прикладных технических решений НИУ ВШЭ, старший научный сотрудник Лаборатории речевых и мультимодальных интерфейсов СПб ФИЦ РАН Елена Рюмина.