Physics-informed neural networks - Accuracy and convergence

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.

Date

2024-05-06

Department

Major/Subject

Tietotekniikka

Mcode

SCI3027

Degree programme

Teknistieteellinen kandidaattiohjelma

Language

en

Pages

29

Series

Abstract

Physics-informed neural networks (PINNs) are a promising method for solving partial differential equations. PINNs have their own unique advantages compared with the traditional numerical solvers, such as being a mesh-free method and the ability to incorporate scattered measurement information to the solution process. In some scenarios, PINNs are the state-of-the-art method for solving the problem. Nevertheless, as with all methods, they have their own pitfalls. PINNs suffer from spectral bias, causality violations, increased complexity of the loss landscape and unbalanced loss terms to name a few. This thesis presents theory behind why these issues exists, and introduce methods to alleviate them. Examples of these methods include, curriculum training, causal weighting of the loss function, dynamic balancing of the loss terms using neural tangent kernel, Gaussian Fourier feature embedding and Wavelet activation function. This thesis is a literature review, however some methods are implemented and tested to achieve a more direct comparison between them. The methods tested include Gaussian Fourier feature mapping, NTK weight balancing and Wavelet activation function. The aforementioned methods, are investigated numerically using convection partial differential equation. Traditional PINNs failed to find satisfactory results for the convection problem, while combining dynamic weight balancing and Wavelet activation function achieved up to four magnitudes lower mean squared error compared with traditional PINN.

Toisin kuin klassiset neuroverkot, fysiikkainformoidut neuroverkot eivät tarvitse dataa ratkaisufunktiosta, paitsi alkuehdoista. Verkkoa voidaan kouluttaa niin, että verkon tuloste toteuttaa osittaisdifferentiaaliyhtälön. Tämä voidaan toteuttaa derivoimalla verkon tulostetta ja sovittamalla se osittaisdifferentiaaliyhtälöön. Fysiikkainformoidun neuroverkon tappiofunktiossa on yleensä kolme termiä, jotka kuvaavat, kuinka hyvin verkko toteuttaa yhtälön, reunaehdot ja alkuehdot. Tappiofunktio on siis enemmän informatiivinen kuin yleensä neuroverkkojen tappiofunktio regressio-ongelmissa. Työn tavoitteena on tutkia fysiikkainformoitujen neuroverkkojen yleisiä ongelmia ja mahdollisia menetelmiä, joilla voidaan lieventää näiden ongelmien vaikutusta neuroverkkojen kouluttamisessa. Tässä työssä käsitellään monimutkaisempaa optimointiympäristöä, syy-yhteyksien rikkomista, spektrivinouma (Eng. Spectral bias), tappiofunktion termien epätasapainoista tilaa (Eng. Unbalanced loss terms) sekä spektrivinouma neurotangenttiytimen (Eng. Neural tangent kernel) kautta. Työ on pääosin kirjallisuuskatsaus, jossa on lisäksi numeerinen testiosio. Numeerisessa testiosiossa tutkitaan Gaussista Fourier-piirrekuvausta (Eng. Gaussian Fourier-feature mapping), Wavelet-aktivaatiofunktiota sekä tappiofunktion tasapainottamista neurotangenttiytimeen pohjautuvalla menetelmällä. Eteenpäin suuntautuvat neuroverkot kärsivät spektrivinoumasta, mikä tarkoittaa, että tämän tyyppiset neuroverkot suosivat optimoinnin aikana alhaisia taajuuksia ratkaisufunktiosta. Tämän vuoksi neuroveron tuottama ratkaisu saattaa olla liian yksinkertainen, sillä verkko ei ole oppinut korkeamman taajuuden ominaisuuksia funktiosta. Kyseinen ilmiö toistuu myös fysiikkainformoiduissa neuroverkoissa. Gaussinen Fourier-piirrekuvaus pyrkii muokkaamaan taajuuksia, joita neuroverkko suosii, jotta verkko oppisi myös korkeammat taajuudet. Wavelet-aktivaatiofunktio perustuu Fourier-piirrekuvaukseen, mutta toimii aktivaatiofunktiona ja pyrkii samaan kuin Gaussinen Fourier-piirrekuvaus. Monimutkaisempi optimointiympäristö johtuu fysiikkainformoidun neuroverkon monimutkaisemmasta tappiofunktiosta, joka koostuu useiden termien summasta. Näiden termien tasapainottaminen optimoinnin aikana on keskeistä, jotta sopiva paikallinen minimi voidaan löytää. Termejä voidaan tasapainottaa neurotangenttiytimen avulla, josta saadaan informaatiota jokaisen termin suppenemisnopeudesta. Neurotangenttiytimeen pohjautuvalla tappiofunktion tasapainottamisella pyritään tasaamaan suppenemisnopeudet eri termeillä. Menetelmiä tutkittiin käyttäen konvektion osittaisdifferentiaaliyhtälöä, jossa on korkean taajuuden ominaisuuksia. Jokainen menetelmäyhdistelmä laskettiin viisi kertaa. Tuloksista on havaittavissa, että klassinen fysiikkainformoitu neuroverkko ei kykene ratkaisemaan ongelmaa. Tappiofunktion tasapainottaminen ei korjaa spektrivinoumaa, joten keskineliövirhe on hyvin samanlainen kuin klassisella fysiikkainformoidulla neuroverkolla. Sen sijaan, jos tappiofunktion tasapainottamisen yhdistää menetelmään, joka pyrkii muokkaamaan spektrivinoumaa, menetelmä vähentää hajontaa tuloksissa. Wavelet-aktivointifunktion ja tappiofunktion tasapainottaminen tuotti lähes neljän magnitudin eron klassiseen fysiikkainformoituun neuroverkkoon keskineliövirheessä.

Description

Supervisor

Savioja, Lauri

Thesis advisor

Haitsiukevich, Katsiaryna

Keywords

physics-informed neural network, neural tangent kernel, spectral bias, convergence, multi-objective optimization

Other note

Citation