Reservoir Computing in the Prediction of Nonlinear Systems
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Authors
Date
2024-05-21
Department
Major/Subject
Applied Mathematics
Mcode
SCI3053
Degree programme
Master’s Programme in Mathematics and Operations Research
Language
en
Pages
57
Series
Abstract
Machine learning models, particularly those employing artificial neural networks, are increasingly prevalent across diverse scientific domains. Understanding how a model works is important for better performance and reliable results. Reservoir computing (RC) is a machine learning method in which a reservoir, often consisting of a recurrent neural network (RNN), is trained to replicate the dynamics of an input system with time series data. The unique characteristic of the method is its ability to predict the input system’s dynamics independent of the reservoir system’s initial conditions. This has been thought to be possible due to the recurrent connections of the reservoir: In an RNN, nodes have self-connections, hence an RNN has dynamical memory. RC has been extensively studied and successfully applied to various tasks including the prediction of chaotic systems. Yet, the method is not fully understood. While traditional RC models rely on large randomly initialised reservoirs, recent advances have introduced simplified RC architectures that offer comparable performance. These include a reservoir of unconnected nodes (RUN), and block-matrix reservoir computing (BM-RC), which involves a minimal non-random recurrent reservoir. In this work, we compare the performance of these different reservoir architectures across various prediction tasks. Specifically, we investigate the reservoir performance in predicting low-dimensional dynamical systems such as the Lorenz system and the system of two coupled Wilson-Cowan oscillators. Since BM-RC cannot be used for high-dimensional dynamical systems, we propose a few modifications to obtain a smaller and sparser reservoir matrix. We then compare the performance of the modified BM-RC model with the other RC models in predicting the high-dimensional Kuramoto-Sivashinsky system. Our findings reveal that RUN with no connections outperforms connected reservoirs for predicting low-dimensional chaos. For systems exhibiting high-dimensional chaos, our sparse version of BM-RC shows the best performance. We assume this is due to the recurrent connections that make it a dynamical system. Hence, we show that a systematically created small reservoir with dynamical memory yields better results than a large random reservoir. Lastly, we show that for a fair comparison, it is not enough to train different reservoir models with the same input system, instead, the simulation of the input system must be done with the same method.Koneoppimismallit, erityisesti keinotekoiset neuroverkot, ovat yhä yleisempiä monilla tieteenaloilla. Mallin toiminnan ymmärtäminen on tärkeää paremman suorituskyvyn ja luotettavien tulosten saavuttamiseksi. Varantolaskenta (engl. Reservoir computing, RC) on koneoppimismenetelmä, jossa usein rekursiivisesta neuroverkosta (RNN) koostuva varanto (engl. reservoir) koulutetaan aikasarjadatalla toistamaan mallisysteemin dynamiikkaa. Menetelmän ainutlaatuinen piirre on sen kyky muodostaa mallisysteemin dynaamista käyttäytymistä kuvaava ennuste riippumatta varannon alkuarvoista. Tämän on ajateltu olevan mahdollista varannon rekursiivisten kytkentöjen vuoksi: RNN:ssä solmut kytkeytyvät itseensä, minkä vuoksi RNN:llä on dynaaminen muisti. RC:ta on tutkittu laajasti ja sitä on sovellettu menestyksekkäästi erilaisiin tehtäviin, kuten kaaoottisten systeemien ennustamiseen. Menetelmää ei kuitenkaan ole vielä täysin ymmärretty. Perinteiset RC mallit pohjautuvat suuriin satunnaisiin varantoihin, mutta viimeaikaisissa tutkimuksissa on osoitettu myös yksinkertaisempien RC-mallien suoriutuvan hyvin. Yksinkertaisiin malleihin lukeutuvat RUN, jossa on kytkeytymätön solmujoukko, ja BM-RC, jossa on pieni deterministinen, rekursiivinen varanto. Tässä työssä vertailemme näiden erilaisten RC-mallien suorituskykyä erilaisissa ennustetehtävissä. Tutkimme varantojen suorituskykyä ennustettaessa mataladimensioisia dynaamisia systeemejä, kuten Lorenzin systeemiä sekä kahden kytketyn Wilson-Cowan oskillaattorin systeemiä. Koska BM-RC sellaisenaan ei sovellu käytettäväksi korkeadimensioisten dynaamisten systeemien kanssa, ehdotamme siihen muutoksia. Vertaamme muokatun BM-RC:n ja muiden RC-mallien suorituskykyjä korkeadimensioisen Kuramoto-Sivashinsky systeemin ennustamisessa. Tuloksemme osoittavat, että kytkeytymätön RUN suoriutuu kytkettyjä varantoja paremmin mataladimensioisen kaaoksen ennustamisessa. Korkeadimensioisen kaaoksen ennustamisessa muokattu BM-RC-mallimme suoriutuu parhaiten. Oletamme tämän johtuvan rekursiivisista yhteyksistä, jotka tekevät siitä dynaamisen systeemin. Näin ollen osoitamme, että systemaattisesti luotu pieni varanto, jolla on dynaaminen muisti, voi tuottaa parempia tuloksia kuin suuri satunnainen varanto. Viimeiseksi osoitamme, että RC mallien vertailu on tehtävä samalla menetelmällä tuotetulla aikasarjadatalla ollakseen pätevä.Description
Supervisor
Hyvönen, NuuttiThesis advisor
Linna, RikuKeywords
reservoir computing, nonlinear dynamical systems, chaos, Lorenz attractor, coupled Wilson-Cowan oscillators, Kuramoto-Sivashinsky