Mistral AI и NVIDIA запустили корпоративную ИИ-модель со «здравым смыслом»

• Mistral AI и NVIDIA представили языковую модель Mistral NeMo 12B для корпоративных приложений.
• NeMo 12B имеет 12 млрд параметров и контекстное окно 128 тыс. токенов.
• Модель легко настраивается и поддерживает работу на различных платформах.
• Mistral NeMo использует формат данных FP8 для вывода и эффективнее обучается решать задачи.
• Обучение модели проводилось с использованием библиотеки Megatron-LM на платформе NVIDIA NeMo.
• Mistral NeMo 12B справляется с многоходовыми диалогами, математическими задачами и программированием.
• Модель обладает «здравым смыслом» и «мировыми знаниями» для точной и надежной работы в широком диапазоне приложений.
• Mistral NeMo доступна в формате NIM-контейнера с оптимизированным выводом с использованием движков NVIDIA TensorRT-LLM.
• Внедрение модели занимает всего несколько минут, а для запуска достаточно одного из указанных ускорителей.
• Преимущества использования NIM-контейнера включают высокую эффективность, низкие вычислительные затраты, безопасность и конфиденциальность.