Tapaustutkimus big data -analytiikkakoulutuksen suunnittelusta
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Ask about the availability of the thesis by sending email to the Aalto University Learning Centre oppimiskeskus@aalto.fi
Author
Date
2017-12-11
Department
Major/Subject
Communications Engineering
Mcode
ELEC3029
Degree programme
CCIS - Master’s Programme in Computer, Communication and Information Sciences (TS2013)
Language
fi
Pages
73 + 41
Series
Abstract
Työssä tutkitaan big data- ja pilvipalveluita uuden koulutuskokonaisuuden suunnittelun perustaksi. Aluksi esitellään big data -käsite ja -määrittelyt. Sen jälkeen kuvataan massadatan hankintaan,analysointiin ja tulkintaan käytetyt prosessit ja analytiikan sovellukset. Sitten käydään läpi palvelut, alustat ja teknologiat, ja vertaillaan toimintoja eri näkökulmista. Tärkeimmät toimijat ja tuotteet esitellään yleisellä tasolla. Seuraavaksi kartoitetaan koulutukselle asetetut tavoitteet ja tarkastellaan big data -sovelluksia ja pilvipalveluita koulutusohjelman suunnittelun kannalta. Sen jälkeen tutustutaan massadatan käsittelyyn soveltuviin ratkaisuihin, ja esitellään yleisin sovellusalustaperhe, Apache Hadoop -projektit, sekä muut toteutusmallit. Hadoop-toiminta ja -komponentit käydään läpi yksityiskohtaisesti. Yleisimmin käytetyt julkisen pilven avoimet ja valmistajakohtaiset palveluratkaisut kuvataan yleisellä tasolla. Toteutusmalleista avoimet Hadoop-pohjaiset ratkaisut ja julkisen pilven pohjautuvat sovellukset esitellään ja testataan käytännössä, kummatkin omana osionaan. Käytännön kokeilut tehdään paikallisesti, virtualisoituna ja julkisen pilven palveluja käyttäen. Julkisen pilven toimijoista vertailuun valitaan kolme palvelua (Amazon AWS, Microsoft Azure ja Google Cloud), joiden soveltuvuus hankkeeseen testataan luomalla käyttäjätili, rakentamalla massadatasovelluksia ja kokeilemalla eri toimintoja. Lopuksi kootaan yhteen vertailun tulokset ja esitetään ehdotus käytettäväksi palvelualustaksi sekä alustava hahmotelma koulutuksen sisällöksi ja rakenteeksi.In this thesis Big data and cloud computing services are examined as a part of a new training program. In the beginning the history, development and current state of Big data and cloud computing services are introduced. Current platforms, technologies and operations are explored and compared from different views. The leading providers and solutions are listed briefly. Next, the objectives of the training and the measures to be applied are explored. The solutions in big data processing are introduced and the most common platform, The Apache Hadoop projects, is described in detail. Leading public cloud frameworks are presented generally. The experiments of Hadoop based local and virtualized platforms, as well as cloud-based frameworks are presented separately. The public cloud based services selected for detailed analysis are Amazon AWS, Microsoft Azure ja Google Cloud. The applicability and suitability of each solution are studied in practice. The results are introduced in the last chapter. A suggestion for the platform to be used in training and a preliminary training program are proposed.Description
Supervisor
Hämmäinen, HeikkiThesis advisor
Salonen, JanneKeywords
big data, pilvipalvelu, massadata, virtualisointi
