Federated Multi-task Learning over Networked Data
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-06-15
Department
Major/Subject
Tietotekniikka
Mcode
SCI3042
Degree programme
Master’s Programme in Mathematics and Operations Research
Language
en
Pages
57+0
Series
Abstract
Federated learning allows a network of clients to train a single model together without exchanging their private data. Multi-task learning allows multiple models learning distinct but related tasks to guide each other through parameter sharing. We combine these into a single approach, where a network of clients train their own deep neural networks in a multi-task learning setting without exchanging data. The task relatedness between clients is assumed to be known a priori. We formulate the approach as an optimization problem, and solve it using a designed gradient descent algorithm. Both centralized and distributed algorithms are given. Experiments of the optimization algorithm in simple cases show that the approach works, assuming that the parameter sharing is well designed and the hyperparameters well chosen. The challenges and possible remedies are discussed.Liittoumaoppiminen mahdollistaa yhteisen koneoppimismallin optimoimisen verkostoituneiden toimijoiden kesken ilman, että niiden omaa, yksityistä dataa tarvitsee jakaa. Monitehtäväoppiminen taas mahdollistaa useiden eri mallien yhtäaikaisen opettamisen eri tehtäviin siten, että mallit opastavat toinen toistaan parametrien jakamista hyödyntämällä. Me yhdistämme nämä kaksi yhdeksi lähestymistavaksi, jossa toimijoiden verkosto opettaa jokainen oman mallinsa monitehtäväoppimista hyödyntäen, mutta jakamatta henkilökohtaista dataa. Tehtävien samankaltaisuudet suhteessa toisiinsa oletetaan tunnetuiksi. Esittelemme lähestymistavan optimointiongelmana, ja ratkaisemme sen käyttäen suunnittelemaamme gradienttimenetelmäalgoritmia. Esittelemme sekä keskitetyn että hajautetun version algoritmista. Yksinkertaisissa tapauksissa tehdyt kokeet osoittavat, että lähestymistapa toimii, kunhan parametrien jakaminen on hyvin suunniteltu sekä hyperparametrit ovat sopivia. Käsittelemme ratkaisun haasteita sekä mahdollisia parannuksia.Description
Supervisor
Jung, AlexanderThesis advisor
Jung, AlexanderKeywords
federated learning, multi-task learning, empirical graph, deep learning, parameter sharing, distributed learning