- Исследователи МГУ предложили новый подход для моделирования выбора модели машинного обучения при ограниченном вычислительном бюджете.
- Подход основан на обобщении классической задачи многоруких бандитов на пространство функций.
- В задаче «функциональный многорукий бандит» альтернативами являются задачи оптимизации, а агент выбирает индекс задачи и точку для наблюдения значения целевой функции или градиента.
- Алгоритм F-LCB объединяет методы для задач о «многоруких бандитах» и алгоритмов нелинейной оптимизации для выбора перспективных функций и уточнения оценок их оптимальных параметров.
- Теоретический анализ показывает, что алгоритм достигает субоптимальных оценок и позволяет эффективно решать задачу идентификации наилучшей функции при ограниченном числе вычислений.
- Численные эксперименты подтверждают эффективность предложенного подхода при выборе функций в задачах оптимизации.
«Предложенный подход объединяет методы для задач о “многоруких бандитах” и алгоритмов нелинейной оптимизации. Это позволяет одновременно выбирать перспективные функции и уточнять оценки их оптимальных параметров», — прокомментировал Юрий Дорн, руководитель научной группы «Онлайн оптимизации и приложения» Института ИИ МГУ, старший научный сотрудник Центра ИИ МГУ.