Learning dynamics of physical systems using neural ordinary differential equations

Thumbnail Image

Files

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-08-27

Department

Major/Subject

Bioinformaatioteknologia

Mcode

ELEC3016

Degree programme

Sähkötekniikan kandidaattiohjelma

Language

en

Pages

38

Series

Abstract

Deep learning models have great potential in modeling physical systems such as pendulums, vibrations, and fluid flows. Traditional methods for modeling physical systems often fall short when the underlying dynamics of the system are unknown. However, deep learning models combat this problem by learning the dynamics of the system directly from data. This thesis investigates neural ordinary differential equations (neural ODEs), which are a class of continuous-depth deep learning models that learn the derivative of the system. The main objective of this thesis is to evaluate the strengths and weaknesses of neural ODEs in physical systems and to compare different neural ODE models. This thesis is a literature review that provides an overview of the field of neural ODEs and their applications in physical systems. This thesis examines different neural ODE architectures and presents recent advances in the field of neural ODEs. Many of the examined models extend the original neural ODE model to address certain limitations of the original model. Furthermore, the thesis reviews practical applications of neural ODEs. This thesis also includes a simple practical implementation of a neural ODE model applied to a simple damped pendulum. The results suggest that neural ODEs can be successfully applied to various physical systems such as pendulums, the human heart, and airplane vibrations. Neural ODE models are not limited to modeling systems governed by conservation laws, like some other physics-informed models, and can model a wide variety of different systems. However, choosing or creating the right neural ODE architecture for a specific problem can be involved or difficult. Furthermore, the practical implementation indicates that the vanilla neural ODE model has problems predicting the time evolution of a simple damped pendulum. Based on the findings, possible future research paths include gaining a deeper understanding of the inner workings of neural ODEs and applying neural ODEs to more complex problems. The literature review identifies several potential future applications of neural ODEs, including physical systems, medical imaging, and time-series prediction.

Fyysisten systeemien mallintaminen on eräs perustavanlaatuinen tavoite tekniikan alalla. Klassisia esimerkkejä fyysisistä systeemeistä ovat esimerkiksi RLC-piiri ja harmoninen värähtelijä. Monet perinteiset mallinnusmenetelmät ovat kuitenkin riittämättömiä, kun mallinnettava systeemi on monimutkainen tai sitä hallitsevat fysiikan lait ovat osittain tuntemattomia. Syväoppimismenetelmät ovat mahdollistaneet näiden monimutkaisten fyysisten systeemien mallintamisen hyödyntämällä saatavilla olevaa dataa. Tämä kandidaatintyö käsittelee neurodifferentiaaliyhtälöitä (neural ODE, neural ordinary differential equations), jotka ovat eräs syväoppimismalli. Neuro-DY-mallit erottuvat monista muista malleista siinä, että ne ovat jatkuva-aikaisia ja muistitehokkaita. Nämä mallit soveltuvat luonnostaan fyysisten systeemien mallintamiseen, koska monien fysikaalisten systeemien aikakehitys seuraa differentiaaliyhtälöitä. Työn päätavoitteena on arvioida neuro-DY-mallin vahvuuksia ja heikkouksia fyysisten systeemien mallintamisessa ja vertailla erilaisia neuro-DY-pohjaisia malleja keskenään. Tavoitteena on lisäksi tunnistaa neuro-DY-mallien mahdollisia tulevaisuuden sovelluskohteita. Työssä tarkastellaan monipuolisesti erilaisia neuro-DY-malleja ja esitellään alan viimeisimpiä kehitysaskeleita kirjallisuustutkimuksen muodossa. Nämä työssä tarkastellut mallit pyrkivät ratkaisemaan jonkin alkuperäisen neuro-DY-mallin heikkouden tai soveltamaan mallia uuteen ongelmaan. Työssä käsitellään esimerkiksi kohinanpoistotekniikoiden soveltamista neuro-DY-verkoissa. Työssä esitellään myös neuro-DY-verkkojen sovelluskohteita muun muassa lääketieteellisessä kuvantamisessa, yksinkertaisen virtausmekaniikan systeemin mallintamisessa sekä sydämen painetilavuus transientin mallintamisessa. Tässä työssä esitellään myös yksinkertainen neuro-DY-mallin toteutus, jossa tarkastellaan yksinkertaista vaimennettua heiluria. Toteutuksen tarkoituksena on arvioida neuro-DY-mallin suorituskykyä yksinkertaisessa systeemissä sekä havainnollistaa käytännön haasteita neuro-DY-mallien rakentamisessa. Työn tulokset osoittavat, että neuro-DY-malleja voidaan onnistuneesti soveltaa erilaisiin fyysisiin systeemeihin sekä moniin muihin ongelmiin. Nämä mallit eivät ole rajoittuneita vain tiettyihin ongelmiin kuten monet muut fysiikkaan pohjautuvat neuroverkot. Neuro-DY-malleja voidaan soveltaa esimerkiksi systeemeihin, joiden kokonaisenergia ei säily. Soveltuvan neuro-DY-arkkitehtuurin valinta voi kuitenkin olla haastavaa johtuen monista erilaisista neuro-DY-malleista. Sen lisäksi eri neuro-DY-malleissa on eroja esimerkiksi kohinan suodattamiskyvyssä ja pitkän aikavälin ennustuskyvyssä. Lisäksi työssä laaditun toteutuksen perusteella saadut tulokset viittaavat siihen, että yksinkertaisella neuro-DY-mallilla on haasteita ennustaa yksinkertaisen vaimennetun heilurin aikakehitystä. Saatujen tulosten perusteella mahdollisia jatkotutkimusaiheita ovat neuro-DY-mallien sisäisen toiminnan syvempi ymmärtäminen sekä niiden soveltaminen vaativampiin ongelmiin. Toistaiseksi neuro-DY-malleja on sovellettu rajallisesti vaativampiin käytännön sovelluksiin. Kirjallisuustutkimuksessa tunnistettuja mahdollisia tulevaisuuden sovellusalueita ovat fyysisten systeemien lisäksi lääketieteellinen kuvantaminen ja aikasarjaennustus.

Description

Supervisor

Turunen, Markus

Thesis advisor

Das, Shreya

Keywords

neural ODE, deep learning, neural ordinary differential equation, physical systems

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202509237213

Collections

[kand] Sähkötekniikan korkeakoulu / ELEC