Tapaustutkimus big data -analytiikkakoulutuksen suunnittelusta

No Thumbnail Available

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Master's thesis
Ask about the availability of the thesis by sending email to the Aalto University Learning Centre oppimiskeskus@aalto.fi

Date

2017-12-11

Department

Major/Subject

Communications Engineering

Mcode

ELEC3029

Degree programme

CCIS - Master’s Programme in Computer, Communication and Information Sciences (TS2013)

Language

fi

Pages

73 + 41

Series

Abstract

Työssä tutkitaan big data- ja pilvipalveluita uuden koulutuskokonaisuuden suunnittelun perustaksi. Aluksi esitellään big data -käsite ja -määrittelyt. Sen jälkeen kuvataan massadatan hankintaan,analysointiin ja tulkintaan käytetyt prosessit ja analytiikan sovellukset. Sitten käydään läpi palvelut, alustat ja teknologiat, ja vertaillaan toimintoja eri näkökulmista. Tärkeimmät toimijat ja tuotteet esitellään yleisellä tasolla. Seuraavaksi kartoitetaan koulutukselle asetetut tavoitteet ja tarkastellaan big data -sovelluksia ja pilvipalveluita koulutusohjelman suunnittelun kannalta. Sen jälkeen tutustutaan massadatan käsittelyyn soveltuviin ratkaisuihin, ja esitellään yleisin sovellusalustaperhe, Apache Hadoop -projektit, sekä muut toteutusmallit. Hadoop-toiminta ja -komponentit käydään läpi yksityiskohtaisesti. Yleisimmin käytetyt julkisen pilven avoimet ja valmistajakohtaiset palveluratkaisut kuvataan yleisellä tasolla. Toteutusmalleista avoimet Hadoop-pohjaiset ratkaisut ja julkisen pilven pohjautuvat sovellukset esitellään ja testataan käytännössä, kummatkin omana osionaan. Käytännön kokeilut tehdään paikallisesti, virtualisoituna ja julkisen pilven palveluja käyttäen. Julkisen pilven toimijoista vertailuun valitaan kolme palvelua (Amazon AWS, Microsoft Azure ja Google Cloud), joiden soveltuvuus hankkeeseen testataan luomalla käyttäjätili, rakentamalla massadatasovelluksia ja kokeilemalla eri toimintoja. Lopuksi kootaan yhteen vertailun tulokset ja esitetään ehdotus käytettäväksi palvelualustaksi sekä alustava hahmotelma koulutuksen sisällöksi ja rakenteeksi.

In this thesis Big data and cloud computing services are examined as a part of a new training program. In the beginning the history, development and current state of Big data and cloud computing services are introduced. Current platforms, technologies and operations are explored and compared from different views. The leading providers and solutions are listed briefly. Next, the objectives of the training and the measures to be applied are explored. The solutions in big data processing are introduced and the most common platform, The Apache Hadoop projects, is described in detail. Leading public cloud frameworks are presented generally. The experiments of Hadoop based local and virtualized platforms, as well as cloud-based frameworks are presented separately. The public cloud based services selected for detailed analysis are Amazon AWS, Microsoft Azure ja Google Cloud. The applicability and suitability of each solution are studied in practice. The results are introduced in the last chapter. A suggestion for the platform to be used in training and a preliminary training program are proposed.

Description

Supervisor

Hämmäinen, Heikki

Thesis advisor

Salonen, Janne

Keywords

big data, pilvipalvelu, massadata, virtualisointi

Other note

Citation