Building a Scalable Simulation Platform for Prototyping Distributed Machine Learning Solutions
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2019-08-19
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
80
Series
Abstract
Distributed machine learning techniques are gaining popularity in the industry. In distributed learning, client endpoints use local data to train machine learning models and potentially collaborate with one another. Currently, most development tools are designed to operate in a centralized environment. Therefore, most tools are unsuitable for development of distributed solutions. This work builds a simulation platform that allows developers simulate distributed machine learning systems in the cloud. We implement the platform on Amazon Web Services and define an iterative execution model for simulations. Our experiments show that the platform scales to more than 10,000 simulated client endpoints, is cost effective and easy to use. Most importantly, it enables the development of distributed machine learning solutions in a cloud environment.Hajautettujen koneoppimismenetelmien suosio on kasvussa. Hajautetussa koneoppimisessa suuri määrä päätelaitteita kouluttaa koneoppimismalleja paikallisella tiedolla ja tekee mahdollisesti yhteistyötä keskenään. Suurin osa nykyisistä kehitystyökaluista on suunniteltu keskitettyihin järjestelmiin, eivätkä ne sovellu hajautettujen koneoppimisratkaisujen kehittämiseen. Tämä työ kehittää simulaatioalustan, jolla voidaan simuloida hajautettuja koneoppimisjärjestelmiä keskitetyssä pilviympäristössä. Alusta on rakennettu Amazon Web Services pilvipalvelun päälle, ja työ esittää simulaatioille iteratiivisen suoritusmallin. Kokeemme näyttävät, että alusta skaalautuu yli 10 000 päätelaitteen simulointiin, se on kustannustehokas ja helppokäyttöinen. Ennen kaikkea alusta mahdollistaa hajautettujen koneoppimisratkaisujen kehittämisen pilviympäristössä.Description
Supervisor
Suomela, JukkaThesis advisor
Ranta-aho, PerttuKeywords
distributed systems, distributed machine learning, simulation, simulation platform, endpoint detection and response