Исследование: ИИ-агенты потребляют в 136 раз больше энергии, чем чат-боты

ИИ-агенты потребляют в 136 раз больше энергии, чем чат-боты.
Один сложный запрос к ИИ-агенту потребляет до 136 раз больше энергии и выполняется в 154 раза дольше, чем у обычного чат-бота.
Причина высокого энергопотребления - автономность агентов, которые самостоятельно ищут информацию, обращаются к внешним сервисам и координируют несколько действий без участия человека.
Выполнение одной задачи занимает в среднем в 153,7 раза больше времени.
Для решения сложной задачи система многократно обращается к собственной языковой модели, анализирует промежуточные результаты и взаимодействует с внешними сайтами и приложениями.
Пока агент ожидает ответа от этих сервисов, графические ускорители простаивают, но продолжают потреблять электроэнергию.
Команда спрогнозировала сценарий, при котором ежедневно будет генерироваться 13,7 млрд запросов к ИИ-агентам - объём, сопоставимый с текущим поисковым трафиком Google.
В этом случае дата-центрам потребуется непрерывная мощность около 198,9 ГВт, что значительно превышает мощности даже самых крупных строящихся ИИ-центров.
Индустрии необходимо пересматривать архитектуру ИИ-систем, специализированных микрочипов и инфраструктуры дата-центров, чтобы предотвратить резкий рост энергопотребления и вызовы для мировой энергетики.