Bayesian Latent Gaussian Spatio-Temporal Models

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2015-05-28
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2015
Major/Subject
Mcode
Degree programme
Language
en
Pages
74 + app. 95
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 62/2015
Abstract
This work develops efficient Bayesian methods for modelling large spatio-temporal datasets. The main challenge is in constructing methods that can both capture complex structure and scale to large datasets. To achieve this, the developed methods use model structures which are flexible but enable efficient learning algorithms. The contributed methods are based on widely used linear latent variable models and Gaussian processes. The contributions of the thesis can be summarized as follows: Efficient linear latent variable models are extended to handle complex temporal dynamics and spatial structure. The high computational cost of Gaussian processes is significantly reduced by particular model formulations which allow computations to be performed separately in the spatial and temporal domains. Missing values have been taken into account and the modelling of outliers has been studied, because real-world datasets are often of poor quality. The thesis also develops procedures to speed up the standard approximate Bayesian inference algorithms significantly. The discussed methods are applicable to spatio-temporal datasets which are a collection of measurements obtained from a set of sensors at a set of time instances. The thesis focuses on datasets from climate processes by using the proposed methods to reconstruct historical sea surface and air temperature datasets, to denoise a badly corrupted weather dataset and to learn the dynamics of physical processes. The methods are also applicable to many other physical processes, brain imaging and typical multi-task problems. The goal of the modelling can be to predict measurements, interpolate spatial fields, reconstruct missing values, extract interesting features or remove noise.

Tämän väitöskirjan tavoitteena oli kehittää tehokkaita bayesilaisia menetelmiä suurten aika-paikka-aineistojen mallintamiseen. Keskeisin haaste oli luoda menetelmistä sellaisia, että ne pystyvät sekä mallintamaan monimutkaisia rakenteita että skaalautumaan suuriin aineistoihin. Tutkimuksessa kehitetyt menetelmät ovatkin joustavia mutta mahdollistavat tehokkaat oppimisalgoritmit. Tutkimuksen kontribuutiot liittyvät lineaarisiin piilomuuttujamalleihin ja gaussisiin prosesseihin, ja ne voidaan tiivistää seuraavasti: Tehokkaita lineaarisia piilomuuttujamalleja muokattiin siten, että niillä voidaan kuvata aineiston monimutkaista dynamiikkaa ja sijaintiin liittyvää rakennetta. Gaussisten prosessien laskentaan tarvittavaa aikaa lyhennettiin merkittävästimuotoiluilla, jotka mahdollistavat laskennan suorittamisen ajan ja paikan suhteen osittain erikseen. Puuttuvat arvot otettiin huomioon ja poikkeuksellisten havaintojen mallintamista kehitettiin, koska aidot aineistot ovat usein laadultaan huonoja. Tutkimuksessa myös kehitettiin bayesilaisia oppimisalgoritmeja siten, että ne ovat merkittävästi nopeampia tutkituissa menetelmissä. Työssä esiteltyjä menetelmiä voi käyttää sellaiseen aika-paikka-aineistoon, joka on kerätty kaikista aineiston mittauspaikoista samoina ajanhetkinä. Menetelmiä testattiin ilmastoprosessien aineistoihin, joista rekonstruoitiin historiallisia merenpinnan ja ilman lämpötiloja, poistettiin kohinaa pahasti pilalle menneestä sääaineistosta ja pyrittiin oppimaan fysikaalisten prosessien dynamiikkaa. Menetelmiä voi kuitenkin soveltaa myös moniin muihin fysikaalisiin prosesseihin, aivokuvantamiseen ja tyypillisiin monitehtäväongelmiin, kun mallintamisen tavoitteena on esimerkiksi havaintojen ennustaminen, interpoloiminen paikkojen välillä, puuttuvien arvojen täyttäminen, mielenkiintoisten piirteiden seulominen tai kohinan poistaminen.
Description
Supervising professor
Karhunen, Juha, Prof., Aalto University, Department of Information and Computer Science, Finland
Thesis advisor
Ilin, Alexander, Dr., Aalto University, Department of Information and Computer Science, Finland
Keywords
Bayesian modelling, variational methods, spatio-temporal, factor analysis, linear state-space model, Gaussian process, bayesilainen mallintaminen, variationaaliset menetelmät, aika-paikka-aineisto, faktorianalyysi, lineaarinen tila-avaruusmalli, gaussinen prosessi
Other note
Parts
  • [Publication 1]: Jaakko Luttinen, Alexander Ilin. Variational Gaussian-process factor analysis for modeling spatio-temporal data. In. Y. Bengio, D. Schuurmans, J.D. Lafferty, C.K.I. Williams and A. Culotta, editors, Advances in Neural Information Processing Systems 22 (NIPS 2009), Vancouver, Canada, Pages 1177-1185, Curran Associates, Inc., 2009.
  • [Publication 2]: Jaakko Luttinen, Alexander Ilin. Transformations in variational Bayesian factor analysis to speed up learning. Neurocomputing, Volume 73, Issues 7-9, Pages 1093-1102, 2010.
    DOI: 10.1016/j.neucom.2009.11.018 View at publisher
  • [Publication 3]: Jaakko Luttinen, Alexander Ilin. Efficient Gaussian process inference for short-scale spatio-temporal modeling. In N. Lawrence and M. Girolami, editors, Proceedings of the Fifteenth International Conference on Artificial Intelligence and Statistics (AISTATS 2012), La Palma, Canary Islands, Pages 741-750, 2012.
  • [Publication 4]: Jaakko Luttinen, Alexander Ilin, Juha Karhunen. Bayesian robust PCA of incomplete data. Neural Processing Letters, Volume 36, Issue 2, Pages 189-202, 2012.
    DOI: 10.1007/s11063-012-9230-4 View at publisher
  • [Publication 5]: Jaakko Luttinen. Fast variational Bayesian linear state-space model. In H. Blockeel, K. Kersting, S. Nijssen and F. Železný, editors, Proceedings of the Sixth European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2013), Prague, Czech Republic, Pages 305-320, Springer Berlin Heidelberg, 2013.
  • [Publication 6]: Jaakko Luttinen, Tapani Raiko, Alexander Ilin. Linear state-space model with time-varying dynamics. In T. Calders, F. Esposito, E. Hüllermeier and R. Meo, editors, Proceedings of the Seventh European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2014), Nancy, France, Pages 338-353, Springer Berlin Heidelberg, 2014.
  • [Publication 7]: Jaakko Luttinen. BayesPy: Variational Bayesian inference in Python. Submitted to Journal of Machine Learning Research, 5 pages, 2015.
Citation