• Российские ученые предложили новый децентрализованный алгоритм оптимизации без центрального сервера.
• Алгоритм позволяет эффективно решать различные задачи в распределенных системах.
• Традиционные децентрализованные алгоритмы требуют точной информации о параметрах задачи и топологии сети.
• Новый подход решает проблему медленной сходимости и расходимости алгоритмов.
• Алгоритм основан на методе «разбиения операторов» и использовании новой переменной метрики.
• Каждый агент самостоятельно определяет оптимальный размер шага в процессе обучения.
• Алгоритм обеспечивает линейную сходимость и адаптируется к местным особенностям функции потерь.
• Новый алгоритм ускоряет вычисления и делает его более масштабируемым.
• Выбор между алгоритмами зависит от компромисса между скоростью сходимости и объемом коммуникации в конкретной сети.

«Наш подход использует метод разбиения операторов с новой переменной метрикой, что позволяет использовать локальный поиск по линиям с обратным шагом (backtracking line-search) для адаптивного выбора размера шага без глобальной информации или обширной коммуникации, — рассказал Александр Гасников, заведующий лабораторией математических методов оптимизации МФТИ. — Это приводит к благоприятным гарантиям сходимости и зависимости от параметров оптимизации и сети по сравнению с существующими неадаптивными методами. Примечательно, что новый метод является первым адаптивным децентрализованным алгоритмом, который достигает линейной сходимости для сильно выпуклых и гладких функций».