Предложен способ сократить на 30% расход энергии при обучении ИИ

Исследователи из Мичиганского университета сокращают на 30% расход энергии при обучении крупных языковых моделей ИИ.
Метод позволяет завершить обучение за то же время, потребляя меньше электричества.
Энергетические затраты возникают из-за неравномерного распределения вычислений между графическими процессорами.
Модели ИИ слишком велики для размещения в одном процессоре компьютера, их нужно разделить на десятки тысяч.
Задания по обучению сложно равномерно распределить, некоторые задачи должны быть сгруппированы на одном процессоре.
Программа Perseus определяет критические участки вычислений и замедляет процессоры, не находящиеся на критическом пути.
При таком подходе сроки обучения не меняются, а энергопотребление сокращается на 30%.
Сэкономленных ресурсов хватит для питания 1,1 млн домов, а также снизится углеродный след, связанный с работой центров обработки данных.