Data platform design for electricity metered data analytics

Thumbnail Image

Files

master_Hämäläinen_Ilmari_2026.pdf (1.75 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-12-07

Department

Major/Subject

Computer Science

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences
Master's Programme in Computer, Communication and Information Sciences
Master's Programme in Computer, Communication and Information Sciences

Language

en

Pages

76

Series

Abstract

The continuous increase in data volumes managed by organizations has created opportunities for deriving more comprehensive insights. However, many traditional systems are primarily designed for operational functionality and therefore lack either the capacity or scalability to simultaneously handle computationally intensive analytical workloads. This limitation has created a need to offload these workloads into external systems optimized for analytics. This has been the case for Fingrid Datahub, which operates Datahub, a centralized data exchange system for Finland’s electricity retail market. Datahub manages valuable electricity retail market information, including detailed metered data from approximately 4 million metering points in Finland. Consequently, there is an increasing demand to provide reports based on this data for various stakeholders, including market parties, authorities and researchers. However, this large-scale reporting disrupts the system’s core operational data exchange functionality. Therefore, Fingrid Datahub has recognized the need to offload these analytics into an external system. This thesis aims to address the above-mentioned need by designing a software architecture for a data analytics platform, which would extract data from Datahub and facilitate the heavy reporting tasks. A set of key requirements for this platform was identified through analysing the source system and its current reporting, as well as interviewing two core reporting stakeholders. The resulting solution is a data warehouse architecture composed of five core layers, designed to support large-scale metered data aggregations through a dimensional data model. The architecture was validated through a self-evaluation involving requirement coverage analysis and scenario-based assessment, as no alternative validation methods were possible in this work. Although the self-evaluation indicated that the designed architecture should theoretically fulfil the stated requirements and use cases, future work is required to develop a proof-of-concept system that ensures the architecture’s applicability.

Organisaatioiden hallinnoimien datamäärien jatkuva kasvu on luonut mahdollisuuksia entistä kattavampien analyysien tekemiseen. Monet perinteiset järjestelmät ovat kuitenkin ensisijaisesti suunniteltu operatiivista toimintaa varten, eikä niillä siten ole joko kapasiteettia tai skaalautuvuutta samanaikaisesti käsitellä laskennallisesti raskaita analyyttisiä työkuormia. Tämä rajoitus on luonut tarpeen siirtää nämä työkuormat erillisiin analytiikkaan optimoituihin järjestelmiin. Näin on ollut myös Fingrid Datahubin kohdalla, joka operoi Datahubia, keskitettyä tiedonvaihtojärjestelmää Suomen sähkön vähittäismarkkinoilla. Datahub hallinnoi arvokasta sähkömarkkinainformaatiota, mukaan lukien yksityiskohtaisia sähkön mittaustietoja noin neljästä miljoonasta mittauspisteestä Suomesta. Tämän seurauksena on ollut kasvava tarve tarjota raportteja tästä datasta eri sidosryhmille, kuten markkinaosapuolille, viranomaisille ja tutkijoille. Laajamittainen raportointi kuitenkin häiritsee järjestelmän ydintoimintoa eli operatiivista tiedonvaihtoa. Siitä syystä, Fingrid Datahub on tunnistanut tarpeen siirtää tämä analytiikka erilliseen järjestelmään. Tämä diplomityö pyrkii vastaamaan tähän tarpeeseen suunnittelemalla arkkitehtuurin data-analytiikka-alustalle, joka hakisi dataa Datahubista ja mahdollistaisi raskaita raportointitehtäviä. Tälle alustalle tunnistettiin joukko keskeisiä vaatimuksia analysoimalla lähdejärjestelmää ja sen nykyistä raportointia sekä haastattelemalla kahta raportoinnin kannalta keskeistä sidosryhmää. Tuloksena syntyi viidestä ydinkerroksesta koostuva tietovarastoarkkitehtuuri, joka on suunniteltu tukemaan laajamittaisia mittaustietojen aggregointeja dimensionaalisen tietomallin avulla. Arkkitehtuuri validoitiin itsearvioinnilla, joka sisälsi vaatimusten kattavuusanalyysin ja skenaarioihin perustuvan arvioinnin, sillä muita validointimenetelmiä ei ollut mahdollista hyödyntää tässä työssä. Vaikka itsearviointi osoitti, että suunnitellun arkkitehtuurin pitäisi teoriassa täyttää asetetut vaatimukset ja käyttötapaukset, jatkotutkimusta tarvitaan proof-of-concept-järjestelmän kehittämiseksi, jotta arkkitehtuurin soveltuvuus voidaan varmistaa.

Description

Supervisor

Truong, Linh

Thesis advisor

Aunola, Tuomas

Keywords

large-scale analytics, data platform architecture, dimensional modelling, electricity metered data, data pipeline, data warehousing

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202601221890

Collections

[dipl] Perustieteiden korkeakoulu / SCI