• Meta представила Llama 3.1 405B - новую открытую модель ИИ, конкурирующую с GPT-4o и Claude 3.5 Sonnet.
• Llama 3.1 405B обучена на 15 триллионов токенов и использует 16 000 графических процессоров NVIDIA H100.
• Модель превосходит предыдущие версии Llama по длине контекстного окна, логическим рассуждениям и генерации кода.
• Доступны модели с 8 млрд и 70 млрд параметров, а также Llama-Guard-3-8B для классификации данных.
• Llama 3.1 понимает восемь языков: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский.
• Обучение Llama 3.1 проводилось в два этапа: предварительное обучение и пост-обучение с использованием методов контролируемого обучения.
• Llama 3.1 демонстрирует впечатляющие способности в программировании, логическом мышлении и генерации текста.
• Модель успешно справляется с генерацией кода, решением логических задач и творческим текстом, но имеет некоторые слабые стороны.
• Открытый исходный код Llama 3.1 позволяет исследователям и разработчикам улучшать модель и создавать новые инструменты на базе ИИ.