Error Analysis on Clustered Federated Learning

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-05-22

Department

Major/Subject

Bioinformaatioteknologia

Mcode

ELEC3016

Degree programme

Sähkötekniikan kandidaattiohjelma

Language

en

Pages

33

Series

Abstract

This thesis explores machine learning (ML), focusing on clustered federated learning (CFL). Traditional ML updates models with centralized data, but this raises privacy concerns and data transfer consumes significant resources. Federated learning (FL) updates models on clients like mobile devices, aggregating their parameters into a global model without transferring actual data. CFL groups clients into clusters based on statistical properties, optimizing each with a cluster-specific model. This thesis examines the upper bound of the estimation error for parameters learned using Generalized Total Variation Minimization (GTVmin), a CFL technique. This thesis investigates the properties, limitations, and constraints of this upper bound, which is crucial for assessing parameter accuracy and overall model effectiveness. The proposed upper bound is decomposed into three components, each serving a different purpose in the bound. The analysis shows that more data points, better cluster coherence, and well defined clusters result in a smaller upper bound and a more accurate model. However, the effectiveness of the upper bound depends on modeling data with the empirical graph and several assumptions discussed in the thesis. Key concepts and terms are introduced early in the work, followed by an in-depth presentation of the upper bound and its related formulas. The thesis reviews relevant literature, examines the upper bound's properties and connections to other studies, and presents conclusions. This work provides insights into the GTVmin method's error upper bound, enhancing the performance of GTVmin-based models.

Tämä työ käsittelee koneoppimista ja erityisesti federoidun koneoppimisen haaraa klusteroitua federoitua oppimista (engl. Clustered federated learning, CFL). Perinteisessä koneoppimisessa data siirretään keskusmallille, joka päivittää mallia tämän datan perusteella. Yksityishenkilöt sekä yritykset eivät kuitenkaan halua jakaa henkilökohtaista ja sensitiivistä dataa. Lisäksi suurten datamäärien siirtäminen kuluttaa paljon resursseja. Federoitu oppiminen mahdollistaa koneoppimismallin kehittämisen ilman datan siirtämistä. Keskusmallin sijaan federoidussa oppimisessa koneoppimismalli päivitetään asiakkailla (engl. clients), joita ovat esimerkiksi mobiililaitteet ja autot. Päivitetyt lokaalit mallit kootaan yhteen ja niiden oppimien parametrien perusteella luodaan globaali päivitetty malli, joka jaetaan takaisin asiakkaille. CFL toimii kuten federoitu oppiminen, mutta CFL:ssä asiakkaat luokitellaan klustereihin niiden tilastollisten ominaisuuksien perusteella. Tilastollisilta ominaisuuksiltaan samanlaiset asiakkaat pyritään saamaan samaan klusteriin, ja jokaiselle klusterille optimoidaan klusterikohtainen malli. Eräs CFL-tekniikka on yleistetty kokonaisvariaation minimointi (engl. Generalized Total Variation Minimization, GTVmin). Tämä kandidaatintyö käsittelee Alexander Jungin ”Federated Learning” -luentokalvoissa esitettyä GTVmin-tekniikan avulla opittujen parametrien virhearvion (engl. estimation error) ylärajaa. Erityisesti käsitellään virhearvion toisen komponentin ylärajaa, joka on tärkeä mallia varten opittujen parametrien tarkkuuden arvioimiseksi. Parametrien tarkkuus määrittää koko mallin tehokkuuden. Kandidaatintyössä tutkitaan tämän ylärajan ominaisuuksia, puutteita sekä rajoitteita. Työssä käydään läpi myös aiheeseen liittyvää kirjallisuutta ja muita CFL:n lähestymistapoja. Esitetty yläraja koostuu kolmesta komponentista, joista ensimmäinen ottaa huomioon klusterikohtaisen yhtenäisyyden ja klusterien koon määrittämiseen käytetyn parametrin (engl. generalization parameter). Toinen komponentti huomioi lokaalien datasettien ominaisuuksia niiden virhetermin (engl. noise term) sekä datapisteiden lukumäärän perusteella. Kolmas komponentti laajentaa ylärajan klusteroituun federoituun oppimiseen. Se ottaa huomioon klusterin selkeyden empiirisen graafin sisällä sekä klusteriin liittyvien parametrien suuruuden. Näiden komponenttien analyysistä voidaan todeta, että enemmän datapisteitä, parempi klusterikohtainen yhtenäisyys sekä selkeä klusteri tuottavat pienemmän ylärajan. Pienempi yläraja tarkoittaa tarkempaa mallia. Ehdotettuun ylärajaan sekä GTVmin metodiin liittyy myös rajoitteita sen käytön suhteen. Ylärajan toimivuus riippuu esimerkiksi täysin siitä, kuinka hyvin dataa pystytään mallintamaan empiirisen graafin avulla. Lisäksi ylärajaa varten on tehty useita olettamia, jotka vaikuttavat ylärajan käytännöllisyyteen. Keskeisimmät käsitteet ja termit on esitelty työn alkuosassa. Sitten työssä esitellään analysoitava yläraja sekä siihen liittyviä kaavoja. Tämän jälkeen työ käy läpi ylärajan ominaisuuksia ja yhteyttä muihin tutkimuksiin. Lopulta työ esittelee päätelmät. Työ tuo oleellista tietoa GTVmin menetelmän virheen ylärajan arvioinnista ja luo pohjan empiirisille tutkimuksille tämän ylärajan paikkansapitävyyden ja sovellettavuuden arvioimiseksi.

Description

Supervisor

Turunen, Markus

Thesis advisor

Jung, Alexander

Keywords

clustered federated learning, total variation, regularization, model effectiveness, empirical graph, estimation error

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202406114205

Collections

[kand] Sähkötekniikan korkeakoulu / ELEC