• Исследователи из НИУ ВШЭ разработали подход для оптимизации нейросетей с использованием методов статистической физики.
• Подход позволяет быстро и без потери качества уменьшать размер нейронных сетей.
• Результаты проверки метода показали его эффективность на различных моделях, включая классификацию, обработку языка и компьютерное зрение.
• Ускорение оптимизации нейросетей составляет от 10 до 500 раз по сравнению с традиционным подходом.
• Новая методика направлена на преодоление требования к оперативной памяти для функционирования больших языковых моделей и других крупных нейросетей.
• Исследователи сравнивают нейросети с миллиардами параметров с облаками газа, магнитными материалами и другими физическими системами, поведение которых описывается законами статистической физики.
• Разработанный подход позволяет ускорять нахождение оптимальных размеров модели и определять оптимальное количество блоков в архитектуре ИИ-моделей до начала их обучения.
• Это может значительно экономить ресурсы на разработку нейросетей.