• «Яндекс» выложил в открытый доступ свою компактную языковую модель Alice AI Search Pretrain.
• Модель обладает обширными знаниями и способна быстро давать содержательные ответы.
• Модель прошла первый этап обучения и использует гибридную архитектуру.
• Alice AI Search Pretrain состоит из 35 миллиардов параметров, но использует около 600 миллионов при обработке одного токена.
• Модель превосходит другие компактные языковые модели в задачах по русскому языку.
• Разработчики и исследователи могут использовать модель в своих проектах и изучать ее архитектуру.
• Открытые разработки являются основой для дальнейших исследований, дообучения и создания производных решений.