Optimal reservoir computers for nonlinear systems of varying complexity
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Licentiate thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2023
Major/Subject
Mcode
Degree programme
Language
en
Pages
55
Series
Abstract
Prediction and analysis of nonlinear systems is highly important in natural sciences, medicine, and engineering. In real-world complex systems of nonlinear dynamics the analysis relies largely on surrogate models. Reservoir computers (RC) have proven useful in replicating the climate of chaotic dynamics. The quality of surrogate models based on RCs is crucially dependent on judiciously determined optimal implementation that involves optimising both the reservoir network topology and the used hyperparameters. In this work, we explore how the topology of reservoir computers reflects in their performance in replicating and predicting systems of chaotic or merely nonlinear dynamics. We show that connectedness of the topology is significant to performance only when reproducing and predicting chaotic systems of sufficient complexity. This is done by systematically applying Bayesian optimisation to produce optimal reservoirs for each topology and using large ensembles of reservoirs. The dynamical systems used are Lorenz 63, coupled Wilson-Cowan oscillators and Kuramoto-Sivashinsky system. By applying RCs of different topologies to these systems, we show that reservoirs of unconnected nodes (RUN) outperform reservoirs of connected nodes for target systems whose estimated fractal dimension is d_f < 5.5 and that linked reservoirs are better for systems with d_f > 5.5. Inspection of Kuramoto-Sivashinsky systems up to dimension d_f = 13.5 did not show any difference between the performance of recursively and simply connected reservoir topologies. However, we anticipate that there may be another transition at a higher value of d_f, beyond which recursive neural networks (RNN) outperform non-recurrent connected reservoirs. Lastly, we show that judicious hyperparameter optimisation is crucial for obtaining reliable results.Epälineaaristen systeemien ennustaminen ja analysointi on keskeistä monissa luonnon- ja lääketieteen sekä tekniikan sovelluksissa. Reaalimaailman epälineaarisen dynamiikan systeemien analyysi pohjautuu usein vastinemalleihin. Lähdelaskenta (reservoir computing) on osoittautunut hyödylliseksi kaoottisten systeemien ergodisten ominaisuuksien mallintamisessa. Lähdelaskennan vastinmallien laatuun vaikuttaa kuitenkin ratkaisevasti, kuinka huolellisesti toteutus on optimoitu; tähän sisältyy optimaalisen topologian ja hyperparametrien määrittäminen. Tässä työssä tutkittiin lähdelaskennassa käytetyn neuroverkon topologian vaikutusta mallien suoriutumiseen epälineaarisen dynamiikan systeemien ennustamisessa ja reprodusoinnissa. Työssä osoitetaan, että topologian kytkeytyvyys on merkittävää vain ennustettaessa tarpeeksi monimutkaisia, korkeadimensioisia kaoottisia systeemejä. Topologialtaan erilaiset lähdelaskentamallit sovitettiin aikasarjadataan käyttäen systemaattista Bayes-optimointia. Mittavin simulaatioin, joissa lähdelaskentaa käytettiin Lorenzin systeemin, kytkettyjen Wilson-Cowan oskillaattoreiden sekä Kuramoto-Sivashinsky systeemin mallintamiseen, osoitettiin kytkeytymättömiin noodeihin perustuvien lähdelaskentamallien suoriutuvan kytkeytyneihin noodeihin perustuvia paremmin, kun mallinnettavan systeemin fraktaalidimensio on alle 5.5. Kytketyt lähdelaskentamallit soveltuvat tätä suurempidimensioisille systeemeille paremmin. Työssä osoitetaan, että rekursiivisesti kytkeytyneiden ja yksinkertaisesti kytkeytyneiden lähdelaskentamallien välillä ei ole laadullista eroa mallinnettaessa Kuramoto-Sivashinsky systeemiä fraktaalidimensioon 13.5 asti. On mahdollista, että tätä korkeammilla dimensioilla tapahtuu uusi transitio, jonka jälkeen topologian rekursiivisuus on merkittävää. Työssä tulee myös näytetyksi, että hyperpametrien huolellinen optimointi on keskeistä luotettavien tulosten saamiseksi.Description
Supervisor
Lampinen, JoukoThesis advisor
Linna, RikuKeywords
reservoir computing, nonlinear system, chaos, nonlinear dynamics, time series prediction, system replication, network topology, echo state network, lähdelaskenta, epälineaarinen systeemi, kaaos, epälineaarinen dynamiikka, aikasarjaennustaminen, systeemin replikointi, verkon topologia, echo state verkko