Ученые Университета Иннополис, МФТИ и ИСП РАН предложили метод децентрализованной оптимизации, который позволяет обучать нейросети в реальных условиях, когда соединения между серверами могут прерываться. Об этом сообщили ТАСС в пресс-службе Университета Иннополис.
«Новый метод децентрализованной оптимизации, предложенный учеными Университета Иннополис, МФТИ и ИСП РАН, позволяет обучать глубокие и генеративно-состязательные нейросети в реальных условиях, где соединения между серверами могут прерываться. Это особенно актуально при координации беспилотных автомобилей, которые обмениваются информацией на ходу, а также в процессе обучения общей ИИ-модели на данных из нескольких организаций, когда интернет-соединение работает с перебоями», — говорится в сообщении.
Отмечается, что ученые сосредоточились на задачах стохастической (вероятностной) негладкой оптимизации. Как уточнили в пресс-службе, метод состоит в том, что математическая задача разделяется на две части: гладкую, отвечающую за коммуникации между компьютерами и ускоряемую методом Нестерова, и негладкую, ответственную за обучение самой модели. «При этом вместо глобального усреднения по всей сети, требующего идеальной связи, эксперты предложили использовать локальный обмен только с доступными в данный момент сетями-соседями», — говорится в сообщении.
Отмечается, что на практике метод позволит сделать обучение ИИ-алгоритмов устойчивым к разрывам сетей.
Специалист Центра научных исследований Университета Иннополис Максим Дивильковский отметил, что ученые расширили существующую теорию, которая была применима для стабильных гладких задач или статических сетей. «Наша работа охватывает более общий и сложный случай — негладкие математические функции, которые часто встречаются в задачах машинного обучения, и динамические сети с переменной топологией. Мы доказали, что наш алгоритм достигает теоретически оптимальной скорости сходимости, то есть его теоретически невозможно улучшить», — приводит его слова пресс-служба.
«Статья “Стохастическая децентрализованная оптимизация негладких выпуклых и выпукло-вогнутых задач в сетях с изменяющейся во времени топологией” опубликована в сборнике материалов одной из престижных конференций по искусственному интеллекту и машинному обучению AAAI. Исследование выполнено при поддержке Министерства экономического развития Российской Федерации», — добавили в пресс-службе.