• Китайский чат-бот Ernie Bot 5.0 от Baidu обошёл флагманские модели OpenAI и Google по обработке текста.
• Новая версия с 2,4 трлн параметров использует новую архитектуру для обучения на тексте, изображениях, видео и аудио.
• Модель объединяет обработку всех типов данных в одной системе без разделения на отдельные модули.
• Разработка велась с участием 835 экспертов из разных областей.
• Wenxin 5.0 работает на единой авторегрессионной архитектуре и обучается на всех типах данных.
• Это позволяет модели глубже интегрировать данные и лучше понимать контекст.
• Ernie Bot 5.0 также использует архитектуру mixture-of-experts с «ультраразреженной» активацией, задействуя менее 3% параметров.
• Baidu утверждает, что это сохраняет мощность модели и ускоряет её работу.
• Новая версия особенно эффективна в мультимодальном понимании, программировании и творческом письме.

Новая версия особенно эффективна в мультимодальном понимании, программировании и творческом письме.