Data migration from legacy systems to data quality aware cloud-computing systems

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2021-01-25

Department

Major/Subject

Computer Science

Mcode

SCI3068

Degree programme

Master’s Programme in Life Science Technologies

Language

en

Pages

41

Series

Abstract

This thesis performs the development of a data quality aware cloud computing solution for data migration. In order to successfully develop such solution, the thesis studies data quality in data migration, data migration methods and data pipeline software. The data migration is done with a cloud-based data pipeline software. The thesis compares different data pipeline software supported by public cloud providers. Based on the comparison, one cloud provider is selected and used to develop the data quality aware cloud computing solution for data migration. Fur-ther, the implemented system is validated. The aim of the thesis is to replace the legacy system with a modern data quality aware cloud computing solution. The proposed system was implemented successfully, and the system was taken into use by the customer. Therefore, the method used in the thesis provides a re-liable way of developing a data quality aware cloud computing solution for data migration.

Tässä työssä kehitetään datamigraatioon tarkoitettu datan laadun varmistava pilvipalvelujärjestelmä. Työssä tutkitaan datan laatua migraatiossa, tiedonsiirtomenetelmiä sekä dataputkiohjelmistoja. Työssä toteutettu migraatio tapahtuu dataputkiohjelmiston avulla. Työ vertailee julkisten pilvipalveluntarjoajien dataputkia. Vertailun perusteella valitaan yksi pilvipalveluntarjoaja, jonka tuotteita käyttäen kehitetään datan laadun varmistava pilvipalvelujärjestelmä datamigraatioon. Tämän lisäksi implementoitu työ validoidaan eri menetelmin. Työn tavoitteena on korvata vanha legacy-järjestelmä modernilla datan laadun varmistavalla pilvipalvelujärjestelmällä. Kehitetty järjestelmä toteutettiin onnistuneesti, lisäksi asiakas otti uuden järjestelmän käyttöön. Näin ollen voidaan todeta, että työssä esitelty metodi toimi luotettavasti. Metodin tarkoituksena on kehittää datamigraatioon tarkoitettu datan laadun varmistava pilvipalvelujärjestelmä.

Description

Supervisor

Truong, Hong-Linh

Thesis advisor

Piipponen, Niina

Keywords

data migration, data quality, data pipeline, ETL, cloud computing, Microsoft Azure

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202101311710

Collections

[dipl] Perustieteiden korkeakoulu / SCI