Reservoir Computing in Predicting Networks of Coupled Dynamical Systems

Abstract

Networks of coupled dynamical systems are high dimensional dynamical systems that consist of interlinked dynamical subsystems. These systems can exhibit highly complicated dynamics and emergent, system-level behaviour, such as synchronisation. Coupled dynamical systems have been used to model diverse natural phenomena from flashing fireflies to Josephson junctions. Reservoir computing and specifically echo state network (ESN) models have proven to be effective machine learning models in predicting nonlinear and chaotic dynamical systems. A network scheme of parallel ESN's presented by Keshav et al. specifically tailored to predict coupled dynamical systems, has been implied to show far superior prediction performance compared to a single ESN model in predicting these systems. The primary goal of this thesis is to replicate and extend these findings by comparing the parallel and the single ESN models. The specific dynamical systems considered in this work are the linked Kuramoto system and the linked Lorenz system. The parallel and single models are tested on both of these systems, and compared in terms of prediction performance, model optimisation and computational aspects. An additional topic of interest in this work is the effect of numerical integration method on the prediction task. In the field of reservoir computing, the training and testing data is typically generated via numerical integration, yet the choice of integration algorithms and parameters are seldom discussed in detail. In this thesis, the parallel ESN model is shown to outperform a single ESN in predicting networks of dynamical systems, in addition to bearing computational advantages. However, the difference in performance is not shown to be as large as suggested by previous publications. In addition, varying the settings of numerical integration is shown to have a meaningful effect on the properties of the simulated data and consequently on the machine learning task results.

Kytkettyjen dynaamisten systeemien verkot ovat korkeaulotteisia dynaamisia systeemeitä, jotka koostuvat toisiinsa kytketyistä dynaamisista alisysteemeistä. Nämä järjestelmät voivat ilmentää erittäin monimutkaista dynamiikkaa ja emergenttiä, järjestelmätason käyttäytymistä, kuten synkronisaatiota. Kytkettyjä dynaamisia systeemeitä käytetään mallintamaan monenlaisia luonnonilmiöitä välkkyvistä tulikärpäsistä Josephsonin liitoksiin.

Varantolaskenta- (reservoir computing) ja erityisesti echo state network (ESN) -mallit ovat osoittautuneet tehokkaiksi koneoppimistyökaluiksi ennustettaessa epälineaarisia ja kaaottisia dynaamisia systeemeitä. Aiemmassa julkaisussa (Keshav et al., 2022) esitelty rinnakkaisten ESN-mallien verkko on erityisesti kytkettyjen dynaamisten systeemien ennustamiseen suunniteltu malli, jonka on näytetty suoriutuvan huomattavasti yksittäistä ESN-mallia paremmin näiden systeemien ennustamisesta.

Tämän diplomityön ensisijainen tavoite on toistaa ja laajentaa aiempia havaintoja vertaamalla rinnakkaista ja yksittäistä ESN-mallia. Tässä työssä tarkasteltavat dynaamiset järjestelmät ovat linkitetty Kuramoto-systeemi ja linkitetty Lorenz-systeemi. Sekä rinnakkaista että yksittäistä ESN-mallia testataan kummankin systeemin ennustamisessa ja niitä verrataan niin ennustustehon, optimoinnin kuin laskennallistenkin ominaisuuksien näkökulmista.

Toinen keskeinen aihe tässä työssä on numeeristen integrointimenetelmien vaikutus itse koneoppimisongelmaan. Varantolaskentaa käsittelevässä tutkimuksessa koulutus- ja testidata tuotetaan usein numeerisella integroinnilla, mutta käytettyjen algoritmien ja niiden parametrien valintaa käsitellään harvoin yksityiskohtaisesti.

Tässä työssä rinnakkaisen ESN-mallin osoitetaan suoriutuvan paremmin kuin yksittäinen ESN-malli ennustettaessa dynaamisten systeemien verkostoja, samalla tarjoten laskennallisia etuja. Havaittu suorituskyvyn ero ei kuitenkaan näyttäydy yhtä suurena kuin aiemmat julkaisut antavat ymmärtää. Lisäksi numeerisen integroinnin algoritmien ja asetusten valinnan osoitetaan vaikuttavan merkityksellisesti simuloidun koulutus- ja testidatan ominaisuuksiin ja siten itse koneoppimisongelman tuloksiin.