• Работа алгоритмов больших языковых моделей (БЯМ) требует огромного количества энергии.
• Команда исследователей из США предлагает отказаться от матричного умножения в БЯМ без потери производительности.
• БЯМ с миллиардом параметров может работать на 13 ваттах электроэнергии, что сравнимо с работой одной лампочки.
• Современные нейросети БЯМ используют метод матричного умножения для обработки слов.
• Новая стратегия заключается в отказе от матричного умножения с использованием троичных чисел и наложения матриц.
• Новая нейросеть приспособлена к работе с графическими процессорами и расходует меньше памяти и работает быстрее.
• Преимущества новой нейросети особенно заметны на программируемых пользователем вентильных матрицах.