Разработка технологии HARP

• Специалисты МФТИ создали технологию HARP для снижения потребности нейросетей в вычислительных ресурсах и памяти дата-центров. • Технология позволяет минимизировать потерю точности при сжатии моделей.

Процесс настройки и работы

• HARP требует времени на настройку для подбора оптимальных преобразований для каждого слоя модели. • После сжатия модель работает быстрее и занимает меньше памяти. • Не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку. Результаты тестирования • При максимально жестком сжатии языковых моделей Llama и Qwen3 ошибка сократилась на 12-15%.

Доступность технологии

• HARP и уже сжатые с его помощью нейросети выложены в открытый доступ.