- SberDevices разрабатывает решения в области генеративной музыки.
- На конференции GIGA RnD Day было проведено музыкальное шоу с использованием AI.
- Нейросеть SymFormer генерировала музыкальные произведения в реальном времени.
- Идея шоу возникла в результате общения с музыкантами из музыкального сообщества Svoboda Zvuka.
- Для управления генерациями и создания микса использовался NI Reaktor.
- С помощью Ableton Link была реализована синхронизация между сетами и генерациями.
- Буферизация обеспечивала стабильную работу всего пайплайна генерации.
- Связь с SymFormer осуществлялась через сетевой протокол OSC.
- В качестве генератора использовался аудиосинтезатор собственной разработки.
- SymFormer 2.0 была использована для управляемой генерации аккомпанемента.
- Генерация музыки в реальном времени была основана на гармонической основе и ритмической структуре.
- Выступление включало исполнение на синтезаторе, флейте, саксофоне, перкуссионной установке и миксинг с семплами.
- Эксперимент показал, что ИИ может выступать в качестве дополнительного инструмента для творчества и в коммерческих целях.
Live SymFormer Show. Музыкальное шоу с использованием AI-технологий
2 июл 2024
Краткий пересказ
от нейросети YandexGPT
Источник:
habr.com