Новый ИИ сам может управлять компьютерами

Anthropic представила обновленную версию ИИ-модели Claude 3.5 Sonnet.
ИИ-агент может взаимодействовать с десктопными приложениями и эмулировать действия человека.
Claude 3.5 Sonnet обещает упростить выполнение офисных задач через API.
Модель распознает происходящее на экране и анализирует скриншоты для выполнения задач.
Anthropic называет это «слоем действия-исполнения» для выполнения команд на уровне рабочего стола.
Пользователи предоставляют доступ к ИИ для выполнения действий, таких как заполнение форм и взаимодействие с ПО.
Подобные ИИ-агенты упрощают автоматизацию, но сталкиваются с трудностями, такими как прокрутка и масштабирование экрана.
Вопросы безопасности остаются актуальными, так как модели могут стать уязвимыми для атак и утечек данных.