Модель, которую «строил ИИ». Китайская NaiveAI открыла модель под лицензией MIT

NaiveAI выпустила модель Naive-N0.5-Flash на Hugging Face.
Модель имеет 309 млрд параметров и нативный контекст в миллион токенов.
Модель построена ИИ-центричными исследованиями, без слоев полного внимания.
Архитектура модели включает 48 слоев, 39 из которых используют скользящее окно внимания.
Дообучение модели проводилось на 3,25 трлн токенов в полном миллионном контексте.
Модель должна быть экономичнее классической архитектуры с полным вниманием в каждом слое.
Сравнительных бенчмарков и независимых замеров пока нет.
Компания планирует цену API 0,10 $ за миллион входных токенов и 0,40 $ за миллион выходных.
Релиз модели происходит в удачный момент для открытых весов на рынке.
Качество модели на миллионе токенов пока не подтверждено независимыми замерами.