- Исследователи из Сбера разработали первую в России открытую диффузионную языковую модель.
- Новый ИИ ускорил написание текстов на 45% по сравнению с классической моделью.
- Диффузионные модели лучше структурируют ответы и выбирают порядок их написания.
- Они эффективнее используют ограниченный объем данных при обучении.
- Диффузионные нейросети создают приблизительный «набросок» ответа и дорабатывают его пошагово.
- Такой подход позволяет гибко генерировать «блоки» ответов и извлекать больше информации из данных.
- Ученые активно внедряют диффузионный подход в большие языковые модели.
- Сбер опубликовал диффузионную языковую модель GFusion и инструменты для ускорения обучения.
- Исследователи дополнили популярные инструменты для запуска языковых моделей поддержкой диффузионных нейросетей.
«Диффузионные модели лучше структурируют ответы и могут самостоятельно выбирать порядок его написания, а не генерировать его последовательно. По сравнению с классическими моделями они также более эффективно используют ограниченный объем данных при обучении. Это пока во многом открытое направление - устоявшихся архитектурных стандартов здесь меньше, что дает больше пространства для собственных решений», - пояснил инженер Сбера Даниил Тихонов, чьи слова приводит пресс-служба банка.