ИИ реконструирует изображение улицы по звукам

Ученые из Техасского университета создали технологию, преобразующую звук улиц в визуальные образы.
Модель обучена на 10-секундных аудиовизуальных клипах с городских и сельских территорий разных континентов.
ИИ отражает детали, такие как освещение и пропорции зелени или зданий.
Система научилась сопоставлять звуки с конкретными элементами на изображениях и связывать звуковые характеристики с визуальными средами.
Участникам предложили выбрать, какая картинка лучше всего подходит к звуку, и они угадывали правильно в 80% случаев.
Сгенерированные изображения отражали условия освещения, такие как солнечный свет, облачность или ночное время.
Технология может найти применение в криминалистике для определения места записи.
Исследование направлено на изучение влияния звука на наше чувство места и психическое здоровье.