- Microsoft и Университет Китайской академии наук представили языковую модель BitNet b1.58 2B4T, работающую на CPU и использующую в 10 раз меньше памяти, чем аналоги на GPU.
- Модель потребляет минимум энергии и справляется с языковыми задачами, кодом и математикой благодаря 1-битной архитектуре.
- Разработка открывает путь к автономной и энергоэффективной работе ИИ на ноутбуках и смартфонах.
- Большие языковые модели работают на GPU из-за необходимости обработки огромных объемов данных.
- Ученые предложили использовать 1-битную архитектуру для хранения и обработки весов, что позволяет использовать простые операции сложения и вычитания на CPU.
- Новая модель не уступает аналогичным моделям на GPU и превосходит их в некоторых случаях.
- Для работы модели требуется обычный процессор (ARM или x86) и всего 0,4 ГБ оперативной памяти.
- Разработана специальная среда выполнения bitnet.cpp для эффективного использования 1-битной архитектуры модели.
- Создание BitNet b1.58 2B4T может революционизировать область ИИ, позволяя запускать чат-боты на персональных компьютерах и смартфонах без использования мощностей крупных дата-центров.
Суть их разработки заключается в том, что веса хранятся и обрабатываются с использованием только трех значений: −1, 0 и 1. Это позволяет при обработке использовать только простое сложение и вычитание — операции, которые легко выполняются с помощью компьютера на базе центрального процессора (CPU).