• Microsoft и Университет Китайской академии наук представили языковую модель BitNet b1.58 2B4T, работающую на CPU и использующую в 10 раз меньше памяти, чем аналоги на GPU.
• Модель потребляет минимум энергии и справляется с языковыми задачами, кодом и математикой благодаря 1-битной архитектуре.
• Разработка открывает путь к автономной и энергоэффективной работе ИИ на ноутбуках и смартфонах.
• Большие языковые модели работают на GPU из-за необходимости обработки огромных объемов данных.
• Ученые предложили использовать 1-битную архитектуру для хранения и обработки весов, что позволяет использовать простые операции сложения и вычитания на CPU.
• Новая модель не уступает аналогичным моделям на GPU и превосходит их в некоторых случаях.
• Для работы модели требуется обычный процессор (ARM или x86) и всего 0,4 ГБ оперативной памяти.
• Разработана специальная среда выполнения bitnet.cpp для эффективного использования 1-битной архитектуры модели.
• Создание BitNet b1.58 2B4T может революционизировать область ИИ, позволяя запускать чат-боты на персональных компьютерах и смартфонах без использования мощностей крупных дата-центров.

Суть их разработки заключается в том, что веса хранятся и обрабатываются с использованием только трех значений: −1, 0 и 1. Это позволяет при обработке использовать только простое сложение и вычитание — операции, которые легко выполняются с помощью компьютера на базе центрального процессора (CPU).