Data migration from legacy systems to data quality aware cloud-computing systems
No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Author
Date
2021-01-25
Department
Major/Subject
Computer Science
Mcode
SCI3068
Degree programme
Master’s Programme in Life Science Technologies
Language
en
Pages
41
Series
Abstract
This thesis performs the development of a data quality aware cloud computing solution for data migration. In order to successfully develop such solution, the thesis studies data quality in data migration, data migration methods and data pipeline software. The data migration is done with a cloud-based data pipeline software. The thesis compares different data pipeline software supported by public cloud providers. Based on the comparison, one cloud provider is selected and used to develop the data quality aware cloud computing solution for data migration. Fur-ther, the implemented system is validated. The aim of the thesis is to replace the legacy system with a modern data quality aware cloud computing solution. The proposed system was implemented successfully, and the system was taken into use by the customer. Therefore, the method used in the thesis provides a re-liable way of developing a data quality aware cloud computing solution for data migration.Tässä työssä kehitetään datamigraatioon tarkoitettu datan laadun varmistava pilvipalvelujärjestelmä. Työssä tutkitaan datan laatua migraatiossa, tiedonsiirtomenetelmiä sekä dataputkiohjelmistoja. Työssä toteutettu migraatio tapahtuu dataputkiohjelmiston avulla. Työ vertailee julkisten pilvipalveluntarjoajien dataputkia. Vertailun perusteella valitaan yksi pilvipalveluntarjoaja, jonka tuotteita käyttäen kehitetään datan laadun varmistava pilvipalvelujärjestelmä datamigraatioon. Tämän lisäksi implementoitu työ validoidaan eri menetelmin. Työn tavoitteena on korvata vanha legacy-järjestelmä modernilla datan laadun varmistavalla pilvipalvelujärjestelmällä. Kehitetty järjestelmä toteutettiin onnistuneesti, lisäksi asiakas otti uuden järjestelmän käyttöön. Näin ollen voidaan todeta, että työssä esitelty metodi toimi luotettavasti. Metodin tarkoituksena on kehittää datamigraatioon tarkoitettu datan laadun varmistava pilvipalvelujärjestelmä.Description
Supervisor
Truong, Hong-LinhThesis advisor
Piipponen, NiinaKeywords
data migration, data quality, data pipeline, ETL, cloud computing, Microsoft Azure
