aalto1 untyped-item.component.html
Building a generalizable MLOps pipeline in Databricks — A case study in energy management systems
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Electronic archive copy is available via Aalto Thesis Database.
Authors
Date
Department
Major/Subject
Mcode
Language
en
Pages
81
Series
Abstract
Accurate load forecasting is a critical component of Energy Management Systems (EMS), enabling optimal energy dispatch and cost reduction in industrial applications. However, traditional forecasting approaches often rely on manual workflows that are difficult to scale, manage, and update as underlying data patterns change. This thesis addresses some of the challenges by designing and implementing a modular, configuration-driven Machine Learning Operations (MLOps) pipeline that automates the end-to-end machine learning lifecycle for EMS forecasting.
The implementation which is primarily built on the Databricks platform and integrated with AWS Lambda for serverless inference, the proposed architecture decouples project-specific parameters into external configuration files. This design allows new forecasting projects to be onboarded without altering the core pipeline code, fulfilling the requirement for a highly scalable and generalizable solution within a diverse industrial software ecosystem. The pipeline incorporates continuous integration and continuous deployment (CI/CD) practices, alongside Unity Catalog and MLflow, to establish a robust framework for reproducibility, traceability, and secure governance.
A key outcome of this research is the successful demonstration of lifecycle-aware forecasting. The implemented system features an automated, KPI-based monitoring mechanism that continuously evaluates deployed models against newly available ground truth data. By conditionally triggering retraining cycles only when predefined error thresholds are violated, the pipeline proactively mitigates model drift and ensures sustained predictive accuracy in non-stationary environments. Ultimately, this thesis shows that transitioning to an automated MLOps architecture provides a fault-tolerant, low-maintenance, and reliable foundation for managing forecasting models throughout their production lifecycle.
Noggranna energiprognoser är en viktig komponent i energihanteringssystem (EMS), vilket möjliggör optimal energifördelning och kostnadsreduktion i industriella tillämpningar. Traditionella prognosmetoder är dock ofta beroende av manuella arbetsflöden som är svåra att skala, hantera och uppdatera när datamönstren förändras. Detta examensarbete tar itu med dessa operativa flaskhalsar genom att utforma och implementera en modulär, konfigurationsdriven MLOps-pipeline (Machine Learning Operations) som automatiserar hela livscykeln för maskininlärning för EMS-prognoser.
Den föreslagna arkitekturen, som huvudsakligen bygger på Databricks-plattformen och är integrerad med AWS Lambda för serverlös inferens, separerar projektspecifika parametrar till externa konfigurationsfiler. Denna design gör det möjligt att integrera nya prognosprojekt utan att ändra kärnkoden för pipelinen, vilket uppfyller kravet på en mycket skalbar och generaliserbar lösning inom ett mångsidigt industriellt mjukvaruekosystem. Pipeline-systemet innehåller metoder för kontinuerlig integration och kontinuerlig distribution (CI/CD), tillsammans med Unity Catalog och MLflow, för att skapa ett robust ramverk för reproducerbarhet, spårbarhet och säker styrning.
Ett viktigt resultat av denna forskning är den framgångsrika demonstrationen av livscykelmedveten prognostisering. Det implementerade systemet har en automatiserad, KPI-baserad övervakningsmekanism som kontinuerligt utvärderar distribuerade modeller mot ny tillgänglig grundläggande data. Genom att villkorligt utlösa omskolningscykeln endast när fördefinierade feltrösklar överskrids, motverkar pipelinen proaktivt modellavvikelser och säkerställer bibehållen prognosnoggrannhet i föränderliga miljöer. Slutligen visar denna avhandling att övergången till en automatiserad MLOps-arkitektur ger en feltolerant, underhållsvänlig och pålitlig grund för att hantera prognosmodeller under hela deras livscykel i produktion.
Description
Supervisor
Zhao, BoThesis advisor
Motta, SergioYu, Cong