Ученые из «Яндекса», НИУ ВШЭ, MIT, KAUST и ISTA разработали прорывной метод сжатия больших языковых моделей

Ученые из Яндекса, НИУ ВШЭ, MIT, KAUST и ISTA разработали метод сжатия больших языковых моделей (LLM).
Новый метод HIGGS позволяет быстро тестировать нейросети и внедрять решения на основе сжатых версий моделей.
Метод HIGGS решает проблему высокой требовательности LLM к аппаратным мощностям и позволяет сжимать модели без дополнительных данных.
HIGGS протестировали на языковых моделях Llama 3 и Qwen2.5, показав превосходство над предыдущими методами квантизации.
Исследование о достижении ученых будет представлено на конференции The North American Chapter of the Association for Computational Linguistics в 2025 году.
Метод HIGGS доступен на Hugging Face и GitHub.