Advances in Approximate Bayesian Inference for Gaussian Process Models

Thumbnail Image

Files

isbn9789526053332.pdf (296.66 KB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Doctoral thesis (article-based) | Defence date: 2013-10-11
Checking the digitized thesis and permission for publishing
Instructions for the author
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2013

Department

Lääketieteellisen tekniikan ja laskennallisen tieteen laitos
Department of Biomedical Engineering and Computational Science

Major/Subject

Mcode

Degree programme

Language

en

Pages

173

Series

Aalto University publication series DOCTORAL DISSERTATIONS, 144/2013

Abstract

Gaussian processes (GPs) provide a flexible approach to construct probabilistic models for Bayesian data analysis. In the Bayesian approach, GPs are used to specify prior assumptions on the latent function values that describe the underlying relationships between the explanatory variables and the associated target variables. These prior assumptions are combined with information from the observations using Bayes' rule. The obtained result is the posterior distribution that represents the uncertainty about the latent function values of interest, conditioned on the observations and the model assumptions. A challenge with the Bayesian approach is that exact inference is analytically intractable to calculate for most GP models used in practice. Therefore, approximate methods are needed in order to evaluate the posterior distribution and to make predictions for new observations. This thesis develops methods for approximate Bayesian inference in various modelling problems involving GP models. The focus is on efficient ways to form Gaussian posterior approximations based on Laplace's method or expectation propagation (EP). The inference for the studied GP models is challenging in two aspects. Firstly, observation models are generalized in the way that the probability distribution for each observation can depend on multiple values of the latent function instead of only one value, or on the derivative values of the latent function. Secondly, instead of one prior process, the models can have multiple uncorrelated prior processes that are coupled through the observation model. This thesis presents improvements to approximate Bayesian inference for GP models in density estimation, survival analysis, and multiclass classification. We describe Laplace's method for a logistic GP model and for a Cox-type survival model constructed from GP priors to speed up the inference. We develop a novel nested EP algorithm for multinomial probit GP classification that does not require numerical quadratures and scales linearly in the number of classes. In addition, we extend the existing methodology proposed for regression and binary classification by introducing monotonicity information into a GP model with EP. We demonstrate the practical accuracy of the described methods with several experiments and apply them to real-life modelling problems.

Gaussiset prosessit (GP) mahdollistavat joustavan lähestymistavan todennäköisyysmallien muodostamiseen bayesilaisessa tilastotieteessä. Bayesilaisessa päättelyssä gaussisilla prosesseilla voidaan määritellä priorioletuksia latentista funktiosta, jolla mallinnetaan selittävien ja ennustettavien muuttujien välistä tuntematonta yhteyttä. Näitä priorioletuksia päivitetään havainnoista saatavalla tiedolla Bayesin kaavaa käyttäen. Tuloksena saadaan posteriorijakauma, joka esittää tarkasteltavien latentin funktion arvojen epävarmuutta ehdollistettuna havainnoille ja mallioletuksille. Bayesilaisen mallinnuksen haasteena on, että täsmällinen päättely on useimmille GP-malleille laskennallisesti vaikeaa. Siksi posteriorijakauman ja uusien havaintojen ennusteiden laskemisessa joudutaan usein käyttämään likimääräisiä menetelmiä. Tässä väitöskirjassa kehitetään menetelmiä, jotka mahdollistavat likimääräisen bayesilaisen päättelyn GP-malleille erilaisissa mallinnusongelmissa. Väitöstyö keskittyy tehokkaisiin tapoihin muodostaa gaussisia posteriorijakauma-approksimaatioita käyttäen Laplacen menetelmää tai expectation propagation (EP) -algoritmia. Päättelyyn liittyvä laskenta tutkittavilla GP-malleilla on haastavaa kahdessa suhteessa. Ensinnäkin havaintomalleja on yleistetty siten, että jokaiseen havaintoon liittyvä todennäköisyysjakauma voi riippua latentin funktion derivaatan arvosta tai useammasta kuin yhdestä latentin funktion arvosta. Toiseksi tutkittavat GP-mallit voivat rakentua yhden prioriprosessin sijaan useammasta riippumattomasta prioriprosessista, jotka kytkeytyvät toisiinsa havaintomallin kautta. Tässä väitöstyössä esitetään menetelmiä likimääräiseen bayesilaiseen päättelyyn GP-malleille tiheysjakauman estimoinnissa, elinaika-analyysissa sekä usean luokan luokitteluongelmassa. Työssä kuvataan Laplacen menetelmä logistiselle GP-mallille sekä GP-prioreista rakennetulle Coxin elinaikamallille laskennan nopeuttamiseksi. Työssä kehitetään multinomi-probit-havaintomallille uudenlainen sisäkkäinen EP-algoritmi, joka ei tarvitse numeerisia integrointimenetelmiä toimiakseen, ja jonka laskennallinen rasite kasvaa enintään lineaarisesti luokkien lukumäärän suhteen. Lisäksi työssä esitetään regressio- ja luokittelumalleille menetelmä, joka mahdollistaa monotonisuustiedon lisäämisen GP-prioreihin EP-algoritmin avulla. Kuvattujen menetelmien tarkkuutta tutkitaan työssä monenlaisien kokeiden avulla ja menetelmiä sovelletaan käytännön mallinnusongelmiin.

Description

Supervising professor

Lampinen, Jouko, Prof., Aalto University, Finland

Thesis advisor

Vehtari, Aki, Dr., Aalto University, Finland

Keywords

Bayesian modelling, approximate inference, Gaussian processes, Laplace's method, expectation propagation, bayesilainen mallintaminen, likimääräinen päättely, gaussiset prosessit, Laplacen menetelmä, expectation propagation -algoritmi

Other note

Parts

  • [Publication 1]: Jaakko Riihimäki and Aki Vehtari. Gaussian processes with monotonicity information. In Journal of Machine Learning Research: Workshop and Conference Proceedings, Volume 9: AISTATS 2010, pages 645–652, Chia Laguna Resort, Sardinia, Italy, May 2010.
  • [Publication 2]: Jaakko Riihimäki and Aki Vehtari. Laplace approximation for logistic Gaussian process density estimation. Submitted to Bayesian Analysis, 20 pages, preprint: arXiv:1211.0174v1, 2012.
  • [Publication 3]: Jaakko Riihimäki, Pasi Jylänki and Aki Vehtari. Nested expectation propagation for Gaussian process classification with a multinomial probit likelihood. Journal of Machine Learning Research, 14(Jan):75–109, 2013.
  • [Publication 4]: Heikki Joensuu, Aki Vehtari, Jaakko Riihimäki, Toshirou Nishida, Sonja E Steigen, Peter Brabec, Lukas Plank, Bengt Nilsson, Claudia Cirilli, Chiara Braconi, Andrea Bordoni, Magnus K Magnusson, Zdenek Linke, Jozef Sufliarsky, Federico Massimo, Jon G Jonasson, Angelo Paolo Dei Tos and Piotr Rutkowski. Risk of recurrence of gastrointestinal stromal tumour after surgery: an analysis of pooled population-based cohorts. The Lancet Oncology, 13(3):265–274, 2012.
  • [Publication 5]: Jaakko Riihimäki, Reijo Sund and Aki Vehtari. Analysing the length of care episode after hip fracture: a nonparametric and a parametric Bayesian approach. Health Care Management Science, 13(2):170–181, 2010.
  • [Publication 6]: Jarno Vanhatalo, Jaakko Riihimäki, Jouni Hartikainen, Pasi Jylänki, Ville Tolvanen and Aki Vehtari. GPstuff: Bayesian modeling with Gaussian processes. Journal of Machine Learning Research, 14(Apr):1175–1179, 2013.

Citation

Permanent link to this item

https://urn.fi/URN:ISBN:978-952-60-5333-2

Collections

[diss] Perustieteiden korkeakoulu / SCI