• Студенты из MIT создали прототип системы Human Operator для управления рукой человека с помощью электростимуляции мышц.
• Нейросеть Claude управляет процессом, информация о проекте доступна на GitHub и сайте Human Operator.
• Электрическая стимуляция мышц применяется в медицине и реабилитации уже много лет.
• Human Operator представляет собой носимое устройство, способное непосредственно управлять рукой пользователя.
• Система состоит из камеры, микрофона, контроллера на базе Arduino и набора электродов на предплечье и пальцах.
• Процесс взаимодействия с системой начинается с запроса от пользователя, который передается по API нейросети Claude.
• Нейросеть анализирует визуальный контекст и определяет, какое движение необходимо совершить, затем генерирует команды для микроконтроллера.
• Human Operator может использоваться для игры на фортепиано, смешивания напитков и других задач.
• Электростимуляция также применяется для реабилитации пациентов с нарушениями опорно-двигательного аппарата.

Процесс взаимодействия с системой начинается с запроса, который озвучивает пользователь. Камера делает снимок окружения, который вместе с аудиокомандой передается по API мультимодальной нейросети Claude от компании Anthropic. Модель анализирует визуальный контекст и определяет, какое движение необходимо совершить. Затем система преобразует это решение в последовательность команд для микроконтроллера, который, в свою очередь, генерирует электрические импульсы, вызывающие сокращение нужных мышц руки.

Peter He, Sean Hardesty Lewis, Valdemar Danry, Yutong Wu, Daniel Kaijzer, Ashley Neall / Human Operator