Bayesian Latent Gaussian Spatio-Temporal Models

Abstract

This work develops efficient Bayesian methods for modelling large spatio-temporal datasets. The main challenge is in constructing methods that can both capture complex structure and scale to large datasets. To achieve this, the developed methods use model structures which are flexible but enable efficient learning algorithms. The contributed methods are based on widely used linear latent variable models and Gaussian processes. The contributions of the thesis can be summarized as follows: Efficient linear latent variable models are extended to handle complex temporal dynamics and spatial structure. The high computational cost of Gaussian processes is significantly reduced by particular model formulations which allow computations to be performed separately in the spatial and temporal domains. Missing values have been taken into account and the modelling of outliers has been studied, because real-world datasets are often of poor quality. The thesis also develops procedures to speed up the standard approximate Bayesian inference algorithms significantly. The discussed methods are applicable to spatio-temporal datasets which are a collection of measurements obtained from a set of sensors at a set of time instances. The thesis focuses on datasets from climate processes by using the proposed methods to reconstruct historical sea surface and air temperature datasets, to denoise a badly corrupted weather dataset and to learn the dynamics of physical processes. The methods are also applicable to many other physical processes, brain imaging and typical multi-task problems. The goal of the modelling can be to predict measurements, interpolate spatial fields, reconstruct missing values, extract interesting features or remove noise.

Tämän väitöskirjan tavoitteena oli kehittää tehokkaita bayesilaisia menetelmiä suurten aika-paikka-aineistojen mallintamiseen. Keskeisin haaste oli luoda menetelmistä sellaisia, että ne pystyvät sekä mallintamaan monimutkaisia rakenteita että skaalautumaan suuriin aineistoihin. Tutkimuksessa kehitetyt menetelmät ovatkin joustavia mutta mahdollistavat tehokkaat oppimisalgoritmit. Tutkimuksen kontribuutiot liittyvät lineaarisiin piilomuuttujamalleihin ja gaussisiin prosesseihin, ja ne voidaan tiivistää seuraavasti: Tehokkaita lineaarisia piilomuuttujamalleja muokattiin siten, että niillä voidaan kuvata aineiston monimutkaista dynamiikkaa ja sijaintiin liittyvää rakennetta. Gaussisten prosessien laskentaan tarvittavaa aikaa lyhennettiin merkittävästimuotoiluilla, jotka mahdollistavat laskennan suorittamisen ajan ja paikan suhteen osittain erikseen. Puuttuvat arvot otettiin huomioon ja poikkeuksellisten havaintojen mallintamista kehitettiin, koska aidot aineistot ovat usein laadultaan huonoja. Tutkimuksessa myös kehitettiin bayesilaisia oppimisalgoritmeja siten, että ne ovat merkittävästi nopeampia tutkituissa menetelmissä. Työssä esiteltyjä menetelmiä voi käyttää sellaiseen aika-paikka-aineistoon, joka on kerätty kaikista aineiston mittauspaikoista samoina ajanhetkinä. Menetelmiä testattiin ilmastoprosessien aineistoihin, joista rekonstruoitiin historiallisia merenpinnan ja ilman lämpötiloja, poistettiin kohinaa pahasti pilalle menneestä sääaineistosta ja pyrittiin oppimaan fysikaalisten prosessien dynamiikkaa. Menetelmiä voi kuitenkin soveltaa myös moniin muihin fysikaalisiin prosesseihin, aivokuvantamiseen ja tyypillisiin monitehtäväongelmiin, kun mallintamisen tavoitteena on esimerkiksi havaintojen ennustaminen, interpoloiminen paikkojen välillä, puuttuvien arvojen täyttäminen, mielenkiintoisten piirteiden seulominen tai kohinan poistaminen.