Networked Federated Learning
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2022-07-29
Department
Major/Subject
Machine learning, data science and artificial intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
47
Series
Abstract
With an increasing number of interconnected devices that produce large amounts of data, the need for distributed machine learning techniques arises. The connections be- tween the client devices often imply that the devices have similar statistical properties which result in the devices forming a clustered similarity graph. Networked federated learning is a machine learning technique that allows the training of personalized learning models over a similarity graph of client devices without moving the local data from the devices to a centralized server. However, the influence of the structure of the clustered similarity graph on the performance of federated learning methods has not been studied in detail. This thesis proposes a fully distributed networked federated learning algorithm (NFLA) which uses the gradient descent method and an adaptive node-wise learning rate for each client device to learn personalized linear models. The NFLA is applied to stochastic block models with synthetic local datasets to study the effect of the cluster structure on the accuracy and the convergence rate of the algorithm. Furthermore, NFLA is compared to a clustered federated learning algorithm that does not require knowledge of the similarity graph to study whether knowing the graph structure improves the accuracy of federated learning methods. The results show that the number of clusters has the largest effect on the accuracy of NFLA, followed by edges between clusters and the edges within clusters had the least influence. In contrast, the type of edge did not affect the convergence rate of the NFLA. The convergence rate was influenced the most by the total number of edges followed by the number of clusters. The comparison experiment showed that using the similarity graph can increase the accuracy and the consistency of federated learning methods.Suurten määrien dataa tuottavien ja toisiinsa yhteydessä olevien laitteiden määrän kasvaessa nousee esiin tarve hajautetuille koneoppimismenetelmille. Yhteydet laitteiden välillä voivat tarkoittaa, että laitteilla on samankaltaisia tilastollisia omi- naisuuksia, mikä puolestaan johtaa siihen, että laitteet muodostavat ryhmitellyn samankaltaisuusverkon. Hajautettu oppiminen verkossa on koneoppimistekniikka, joka mahdollistaa personoitujen ennustamismallien oppimisen samankaltaisuusverkon perusteella, ilman että laitteiden dataa tarvitsee siirtää keskitetylle palvelimelle. Ryhmiteltyjen samankaltaisuusverkkojen rakenteen vaikutusta hajautettujen koneoppimismenetelmien suorituskykyyn ei olla tutkittu yksityiskohtaisesti. Tässä tutkielmassa esitellään täysin hajautettu koneoppimisalgoritmi (NFLA), joka käyttää gradienttimenetelmää sekä mukautuvaa laitekohtaista askelpituutta personoitujen lineaaristen mallien oppimiseksi. Verkon klusterien rakenteiden vaikutusta algoritmin tarkkuuteen ja suppenemisasteeseen tutkitaan käyttämällä NFLA:ta stokastisiin lohkomalleihin, joissa laitekohtainen data luodaan synteettisesti. Työssä tutkitaan lisäksi sitä, parantaako samankaltaisuusverkon käyttäminen hajautettujen koneoppimismallien suorituskykyä vertailemalla NFLA:ta hajautettuun klusterointialgoritmiin, joka ei edellytä samankaltaisuusverkon tuntemista. Empiiristen kokeilujen tulokset osoittavat, että verkon ryhmitelmien määrällä on suurin vaikutus NFLA:n tarkkuuteen. Seuraavaksi suurin vaikutus on ryhmitelmien välisillä yhteyksillä, ja pienin vaikutus ryhmitelmien sisäisillä yhteyksillä. Algoritmin suppenemisasteeseen vaikutti eniten laitteiden yhteyksien kokonaismäärä ja toisekseen ryhmitelmien lukumäärä. Vertailukokeilu osoitti, että samankaltaisuusverkon käyttäminen voi merkittävästi parantaa hajautettujen koneoppimismenetelmien tarkkuutta ja vähentää varianssia tarkkuudessa.Description
Supervisor
Jung, AlexThesis advisor
Jung, AlexKeywords
federated learning, machine learning, clustering, complex networks, convex optimization, distributed algorithms