• NVIDIA выпустила открытую модель Nemotron 3.5 Lightning для ускорения работы ИИ-агентов.
• Модель позиционируется как экономичное решение для рутинных задач и программирования.
• Nemotron 3.5 Lightning работает до 4 раз быстрее аналогов и может использоваться на локальных GPU уровня GeForce RTX 5090.
• Модель относится к архитектуре Mixture of Experts (MoE) с 30 млрд параметров и активирует 3 млрд для обработки каждого токена.
• NVIDIA предлагает использовать Lightning как часть системы из нескольких моделей для выполнения простых операций.
• Маршрутизатор NVIDIA NeMo Switchyard помогает автоматически распределять задачи между моделями.
• Ускорение достигается за счет спекулятивного декодирования и низкоточных форматов данных, таких как NVFP4 и BF16.
• Модель может работать в дата-центрах и на локальных системах, включая DGX Spark, Jetson и GeForce RTX 5090, и может быть дообучена под конкретные задачи.