ИИ читает мысли во время просмотра «Теории Большого Взрыва» с помощью фМРТ и ЭЭГ

Исследователи создали уникальный датасет и модель для декодирования активности мозга человека во время просмотра видео.
Цель исследования - объединить сильные стороны фМРТ и ЭЭГ для получения более полной картины мозговой активности.
Датасет CineBrain содержит фМРТ и ЭЭГ сигналы от 6 здоровых добровольцев, смотрящих эпизоды сериала «Теория Большого Взрыва».
Модель CineSync объединяет данные фМРТ и ЭЭГ с помощью контрастного обучения и диффузионных моделей для реконструкции видео и аудио.
Результаты показывают, что модель CineSync превосходит варианты, использующие только одну модальность, по большинству метрик.
Датасет CineBrain является ценным ресурсом для исследователей, позволяя изучать мозговую интеграцию видео и аудио в динамике.
Фреймворк CineSync показывает перспективность объединения фМРТ и ЭЭГ и использования мощных диффузионных моделей в нейродекодинге.
Cine-Benchmark предлагает стандартный способ оценки качества реконструкции видео и аудио из мозговых сигналов.