• Исследователи из Сбера разработали первую в России открытую диффузионную языковую модель.
• Новый ИИ ускорил написание текстов на 45% по сравнению с классической моделью.
• Диффузионные модели лучше структурируют ответы и выбирают порядок их написания.
• Они эффективнее используют ограниченный объем данных при обучении.
• Диффузионные нейросети создают приблизительный «набросок» ответа и дорабатывают его пошагово.
• Такой подход позволяет гибко генерировать «блоки» ответов и извлекать больше информации из данных.
• Ученые активно внедряют диффузионный подход в большие языковые модели.
• Сбер опубликовал диффузионную языковую модель GFusion и инструменты для ускорения обучения.
• Исследователи дополнили популярные инструменты для запуска языковых моделей поддержкой диффузионных нейросетей.

«Диффузионные модели лучше структурируют ответы и могут самостоятельно выбирать порядок его написания, а не генерировать его последовательно. По сравнению с классическими моделями они также более эффективно используют ограниченный объем данных при обучении. Это пока во многом открытое направление - устоявшихся архитектурных стандартов здесь меньше, что дает больше пространства для собственных решений», - пояснил инженер Сбера Даниил Тихонов, чьи слова приводит пресс-служба банка.