• Робототехники разработали манипулятор с встроенной нейросетью для игры на пианино без нот и учителя.
• Инженеры из Университета Южной Калифорнии создали роборуку Musician Hand, которая осваивает клавиши хаотично и строит карту движений.
• Рука использует моторный лепет для обучения игре на пианино.
• Робот две минуты давил на клавиши, записывая звуки и усилия, после чего нейросеть построила карту движений и звуков.
• Манипулятор успешно сыграл незнакомую мелодию из 30 нот без ошибок.
• Система превращает аудио в спектрограмму и самостоятельно разбирает тональность, ритм и силу удара.
• Профессиональные композиторы не смогли отличить игру робота от живых пианистов на слепом тесте.
• Технология может быть использована в медицинских устройствах для реабилитации после инсульта и создания адаптивных протезов и экзоскелетов.