Не нужны ни гигабайты памяти, ни дорогущие ускорители: энтузиаст запустил ИИ-модель с 28,9 миллионами параметров на контроллере ESP32 за 10 долларов

Украинский разработчик Slava S (slvDev) запустил ИИ-модель на микроконтроллере ESP32-S3 за 10 долларов.
Модель имеет всего 16 МБ флеш-памяти и 512 КБ оперативной памяти.
Разработчик использовал архитектурный подход Per-Layer Embeddings для обхода ограничений ресурсов.
Квантование модели до 4 бит уменьшило ее размер до 14,9 МБ.
Самая объемная таблица с 25 миллионами параметров размещена во флеш-памяти, SRAM используется для вычислений.
Модель обучена на датасете TinyStories и генерирует короткие художественные тексты.
Проект демонстрирует технические возможности современных архитектур и может быть востребован в автономных устройствах.
Многоуровневое хранение данных может быть полезным для будущих серверных ИИ-систем.