Hilbert Space Methods in Infinite-Dimensional Kalman Filtering

Abstract

Many physical and biological processes include both spatial and temporal features. Spatio-temporal modeling under the machine learning paradigm of Gaussian process (GP) regression has demonstrated prominent results. However, the appealing Bayesian treatment by GP regression is often difficult in practical problems due to computational complexity. In this thesis, methods for writing spatio-temporal Gaussian process regression as infinite-dimensional Kalman filtering and Rauch - Tung - Striebel smoothing problems are presented. These scale linearly with respect to the number of time steps as opposed to the cubic scaling of the direct GP solution. Spatio-temporal covariance functions are formulated as infinite-dimensional stochastic differential equations. Furthermore, it is presented how infinite-dimensional models can be combined with a finite number of observations to an approximative solution. For this, a truncated eigenfunction expansion of the Laplace operator is formed in various domains, of which the n-dimensional hypercube and hypersphere are explicitly written out. The approach in this thesis is primarily application-driven, and therefore three real-world case studies are presented as proof of concept. The feasibility of infinite-dimensional Kalman filtering is demonstrated by forming a spatio-temporal resonator model which is applied to temperature data in two spatial dimensions, and a novel way of modeling the space{time structure of physiological noise in functional brain imaging data is considered in both two and three spatial dimensions.

Monet fysikaaliset ja biologiset mallit ovat sidottuja sekä paikkaan että aikaan. Koneoppimislähtöinen spatiotemporaalinen mallinnus gaussisten prosessien (GP) avulla on osoittautunut hyväksi lähestymistavaksi. Laskennallisen raskauden vuoksi gaussisten prosessien tarjoaman bayesilaisen malliperheen käyttö ei kuitenkaan usein käytännössä onnistu. Tässä työssä tarkastellaan menetelmiä, joissa spatiotemporaalinen GP-regressio kirjoitetaan ääretönulotteisen Kalman-suodatuksen ja Rauch -Tung - Striebel -silotuksen avulla. Näiden menetelmien laskenta-aika skaalautuu lineaarisesti aikapisteiden määrän suhteen, kun taas suorassa GP-ratkaisussa laskenta skaalautuu kuutiollisesti. Työssä käytetyssä lähestymistavassa spatiotemporaaliset kovarianssifunktiot esitetään ääretönulotteisina stokastisina differentiaaliyhtälöinä. Lisäksi tutkittiin, miten ääretönulotteiset mallit voidaan yhdistää mittausarvoihin ja saada aikaan äärellisulotteinen approksimaatio. Tähän käytettiin katkaistua ominaisfunktiohajotelmaa, joka esitetään eksplisiittisesti Laplace-operaattorille n-kuutiossa ja n-pallossa. Työn sovelluslähtöisyyden vuoksi esitellään kolme sovellusta, joissa ääretönulotteista Kalman-suodatusta voidaan käyttää. Tätä varten muodostetaan spatiotemporaalinen resonaattorimalli, jolla mallinnetaan lämpötilaa maapallon pinnalla kahdessa spatiaaliulottuvuudessa. Mallia sovelletaan myös fysiologisen kohinan mallintamiseen aivoissa kahdessa ja kolmessa spatiaaliulottuvuudessa.