Первый чип OpenAI почти вдвое превосходит системы NVIDIA по эффективности

OpenAI представила результаты испытаний чипа Jalapeño для инференса ИИ-моделей.
Jalapeño обеспечивает в 1,5-1,9 раза больше вычислительной работы на ватт и в 1,7-3,6 раза меньшую задержку по сравнению с ускорителями NVIDIA.
Цель чипа - повысить энергоэффективность и сократить время отклика моделей.
OpenAI планирует начать развертывание Jalapeño в своей вычислительной инфраструктуре до конца 2026 года.
Тесты проводились на трех моделях с открытыми весами и коммерческих ускорителях NVIDIA.
Jalapeño показал более высокую эффективность и меньшую задержку по сравнению с NVIDIA.
OpenAI использовала ИИ для разработки Jalapeño, оптимизации архитектуры и проверки решений.
Команда достигла этапа tapeout за девять месяцев, а оптимизация для трех дополнительных моделей заняла два месяца.
OpenAI планирует использовать ускорители NVIDIA и других партнеров для обучения и инференса, продолжая использовать Jalapeño для высокоинтерактивных нагрузок.