• Российские ученые разработали легковесную надстройку для генеративных нейросетей.
• Надстройка позволяет ИИ «понимать» течение времени при формировании видеороликов.
• Это позволит использовать генеративные ИИ для генерации физически достоверных синтетических данных.
• Надстройка состоит из двух независимых блоков: один управляет частотой кадров, второй - динамикой событий.
• Для обучения надстройки был использован набор из 40 тыс. видеороликов с разной частотой и динамикой.
• Система способна работать в двух режимах: один делает движения плавными, другой дообучается совместно с нейросетью.
• Разработанная надстройка на 29% повысила естественность движений, на 8% улучшила визуальное качество и на 19% повысила соответствие видео текстовому запросу.
• Исходный код проекта опубликован в открытом виде, что позволит разработчикам и исследователям использовать это решение для решения своих задач.