• Новый метод CompreSSM позволяет сократить размер моделей ИИ без потери точности.
• Метод устраняет компромисс между производительностью и вычислительной эффективностью.
• CompreSSM ориентирован на модели пространства состояний, применяемые в обработке языка, генерации звука и робототехнике.
• Исследование использует сингулярные значения Ханкеля для определения важности компонентов модели.
• Новый метод ускоряет обучение моделей в 1,5-4 раза без потери точности.
• CompreSSM сравнивается с традиционными методами обрезки и дистилляции знаний, а также специализированными методами для моделей пространства состояний.
• Метод CompreSSM превосходит все другие методы по скорости и точности.
• Теоретическая обоснованность метода и механизм безопасности обеспечивают его эффективность.

Оказалось, что важность разных частей модели определяется уже на раннем этапе. С помощью сингулярных значений Ханкеля — показателя, который измеряет влияние каждого внутреннего состояния на поведение модели — можно определить, какие параметры важны, а какие нет. И для этого требуется всего 10% от общего времени обучения. После этого менее значимые компоненты удаляют, а оставшиеся 90% обучения проходят уже с упрощённой моделью.

В тестах метод оказался более чем в 40 раз быстрее спектрального (который замедлял обучение в 16 раз) и при этом показал лучшую точность. А дистиллированные модели при сильном сжатии теряли в качестве, в то время как CompreSSM сохранял почти полную производительность.