Lagrangian and Hamiltonian neural networks in model learning

Thumbnail Image

Files

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-05-30

Department

Major/Subject

Automaatio ja robotiikka

Mcode

ELEC3014

Degree programme

Sähkötekniikan kandidaattiohjelma

Language

en

Pages

5+24

Series

Abstract

This thesis researches physics-informed machine learning models, Lagrangian neural networks (LNNs), and Hamiltonian neural networks (HNNs) in model learning. Physics-informed neural networks (PINNs) offer a solution where physical laws are embedded into neural networks. This helps to avoid mathematically preventable errors, and often requires less data. However, models such as LNN and HNN can be challenging to expand to non-conservative systems because they assume the total energy to be conserved. This thesis explores LNN- and HNN- based modeling approaches for conservative pendulum systems and a non-conservative damped mass-spring. The reviewed implementations include a trained model using video input, two robotic systems with different motion constraints, and current- and pressure-driven systems. This thesis aims to answer the following three research questions: How are LNNs and HNNs implemented in model learning? How can they be expanded to model non-conservative systems? What are the possible industrial applications? The examination is executed as a literary review. The results indicate that in nearly conservative systems, HNNs demonstrate superior predictive performance. LNNs are relatively simple to expand to non-conservative systems through generalized formulations. However, integrating port-Hamiltonian physics, HNNs can also be extended to model non-conservative systems. Overall, in most examined cases, PINNs demonstrate more accurate performance compared to data-driven methods. Potential future applications include robotics, computer vision, and other autonomous systems, like ones to do with current- and pressure dynamics.

Tämä opinnäytetyö tutkii kirjallisuuskatsauksena Lagrangen neuroverkkoja (LNN, Lagrangian Neural Networks) ja Hamiltonin neuroverkkoja (HNN, Hamiltonian Neural Networks) fysiikan systeemien mallintamisessa. Fysiikan mallintamisessa numeeriset menetelmät ovat rajoittuneita. Ne vaativat suuria datamääriä ja saavat harvoin tarkkoja tuloksia monimutkaisista systeemeistä, johtuen siitä, että mallit approksimoivat fysiikan lakeja datan perusteella sisäistämättä niitä sellaisenaan. Tämä vaatii paljon resursseja, mikä usein on kallista, kuormittaa järjestelmiä ja kuluttaa liikaa aikaa. Uudella menetelmällä, fysiikkapohjaisilla oppimismalleilla, mahdollistetaan systeemien mallintaminen niin, että fysiikan symmetriat upotetaan neuroverkkoihin jo oppimisvaiheessa. Tämä yhdistää fysiikan ja koneoppimisen uudella tavalla, minkä seurauksena molemmat pystyvät täydentämään toisiaan. Aihe on tärkeä, koska se yhdistää kaksi suurta teknologian osa-aluetta, ja sillä on lukuisia kehityskohteita. Kyseistä teknologiaa voidaan myös hyödyntää teollisuudessa, sillä se mahdollistaa tuotteen tarkemman testauksen jo ennen kokoonpanoa, säästäen resursseja. Kaikilla oppimismalleilla on kuitenkin omat rajoitteensa. LNN ja HNN pystyvät oppimaan erinomaisesti erilaisia systeemejä, kun kokonaisenergia säilyy. Konservatiivisten systeemien joukossa molemmilla neuroverkoilla on eriävät vahvuudet. Tämä opinnäytetyö tutkii LNN- ja HNN-malleja ja pyrkii vastaamaan kysymyksiin: Miten LNN ja HNN käytetään eri systeemien mallintamisessa? Miten näitä voidaan soveltaa ei-konservatiivisiin systeemeihin? Mitkä ovat näiden mahdolliset tulevat teolliset kehityskohteet? Työssä tutkitaan vertaillen tunnettujen klassisen mekaniikan järjestelmien, konservatiivisen riipuksen ja ei-konservatiivisen vaimennetun massa-jousen, simulaatioita käyttäen LNN- ja HNN-malleja. Tarkasteltavia käytännön kohteita ovat neuroverkkoihin pohjautuva konenäkömalli, kaksi erilaista kopterirobottia sekä kaksi erilaista virtausjärjestelmää. Tutkimus päätyi seuraaviin tuloksiin. Konservatiivisissa järjestelmissä HNN on usein tarkin oppimismalli, koska se parhaiten ottaa huomioon energian säilymisen. LNN on suoraviivaisinta laajentaa järjestelmiin, joihin vaikuttaa ulkoisia voimia. Osassa näistä järjestelmistä numeeriset menetelmät pärjäävät HNN:ää paremmin. HNN:ää on kuitenkin mahdollista soveltaa ei-konservatiivisiin järjestelmiin esimerkiksi hyödyntäen port-Hamiltonin fysiikkaa. Fysiikkapohjaiset oppimismallit ovat uusi neuroverkkojen malli, minkä seurauksena niillä ei ole vielä erityisesti teollisia käytännön sovelluksia. Tutkinnan alla on kuitenkin mahdollisia käytännön kohteita esimerkiksi robotiikassa, konenäössä ja erilaisissa automaatiojärjestelmissä, kuten rakennusautomaatiossa. Näiden yhteydessä mahdollisia sovelluskohteita avautuu todennäköisesti erityisesti virhearviointiin tuotekehityksessä sekä tutkimusprosessiin.

Description

Supervisor

Forsman, Pekka

Thesis advisor

Das, Shreya

Keywords

physics-informed machine learning, Lagrangian neural networks, Hamiltonian neural networks, double pendulum

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202506174786

Collections

[kand] Sähkötekniikan korkeakoulu / ELEC