- Студенты из MIT создали прототип системы Human Operator для управления рукой человека с помощью электростимуляции мышц.
- Нейросеть Claude управляет процессом, информация о проекте доступна на GitHub и сайте Human Operator.
- Электрическая стимуляция мышц применяется в медицине и реабилитации уже много лет.
- Human Operator представляет собой носимое устройство, способное непосредственно управлять рукой пользователя.
- Система состоит из камеры, микрофона, контроллера на базе Arduino и набора электродов на предплечье и пальцах.
- Процесс взаимодействия с системой начинается с запроса от пользователя, который передается по API нейросети Claude.
- Нейросеть анализирует визуальный контекст и определяет, какое движение необходимо совершить, затем генерирует команды для микроконтроллера.
- Human Operator может использоваться для игры на фортепиано, смешивания напитков и других задач.
- Электростимуляция также применяется для реабилитации пациентов с нарушениями опорно-двигательного аппарата.
Процесс взаимодействия с системой начинается с запроса, который озвучивает пользователь. Камера делает снимок окружения, который вместе с аудиокомандой передается по API мультимодальной нейросети Claude от компании Anthropic. Модель анализирует визуальный контекст и определяет, какое движение необходимо совершить. Затем система преобразует это решение в последовательность команд для микроконтроллера, который, в свою очередь, генерирует электрические импульсы, вызывающие сокращение нужных мышц руки.
Peter He, Sean Hardesty Lewis, Valdemar Danry, Yutong Wu, Daniel Kaijzer, Ashley Neall / Human Operator