Семинар научно-учебной лаборатории компании «Яндекс»
Оптимизационные задачи имеют большое количество приложений в современном мире. В то же время заметно, что практические оптимизационные задачи становятся все более вычислительно сложными. Из-за этого уже трудно обойтись без параллельных или распределенных вычислений.
Их можно организовать, например, разделив обучающую выборку между вычислительными устройствами. При этом эффективность метод напрямую зависит от скорости процесса общения. Более того, в последние годы особую популярность приобрели федеративные распределенные постановки, которые предполагают, что частично или полностью процесс обучения будет проходить не на кластере из видеокарт, а на персональных устройствах пользователей (компьютерах, планшетах, смартфонах). В таком случае вопрос эффективности коммуникации между устройствами встает еще более остро.
В рамках доклада будет рассмотрена одна из техник уменьшения коммуникационных затрат для ускорение процесса оптимизации - локальный подход. Суть данной техники заключается в использовании большого числа локальных вычислений между раундами общения.
Для начала обсудим базовые алгоритмы, например, широко известный FedAvg. Далее перейдем к более продвинутым методам, решающие основные проблемы базового FedAvg (например, метод FedProx или Scaffold). В второй части доклада изучим, как локальная техника себе проявляет в зависимости от похожести данных на вычислительных устройствах.
Выступает Александр Безносиков, стажер-исследователь научно-учебной лаборатории компании «Яндекс» ФКН ВШЭ.
17 апреля 2024
Научно-учебная лаборатория компании «Яндекс»: cs.hse.ru/big-data/yandexlab/
ФКН: cs.hse.ru​​
Подписывайтесь на нас:
📍 cshse​​
📍 t.me/fcs_hse
📍 dzen.ru/cshse