Computational methods for Bayesian model assessment

Thumbnail Image
Files
isbn9789526408705.pdf (438.68 KB)
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2022-09-15
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2022
Department
Tietotekniikan laitos
Department of Computer Science
Major/Subject
Mcode
Degree programme
Language
en
Pages
58 + app. 74
Series
Aalto University publication series DOCTORAL THESES, 96/2022
Abstract
This thesis studies computational tools for Bayesian modelling workflow. The focus is on two important areas. The first part of the thesis discusses the use of importance sampling for model assessment. Importance sampling is a generic computational tool that is used in many different applications. In model assessment, it is commonly used to speed up the computation of leave-one-out cross-validation. This thesis studies techniques for adapting the proposal distribution of importance sampling in order to improve the accuracy of leave-one-out cross-validation computations. To accomplish this, this thesis introduces a generic method for adapting a proposal distribution implicitly, which is thus applicable to a variety of complex distributions. The thesis also studies the special characteristics of adaptive importance sampling for self-normalized importance sampling, which is commonly used, for example, with probabilistic programming tools. The thesis also studies importance sampling techniques for analyzing the sensitivity of Bayesian model posteriors to the choice of prior and likelihood. These methods can be useful for detecting various modelling issues, such as overly influential prior distributions. Importance sampling is beneficial for this purpose due to its simplicity, and these methods can be automated and used as part of Bayesian modelling workflow easily. The second part of this thesis studies the assessment of the importance of variables in supervised learning. A common approach for generic variable importance assessment is to analyze the predictions of the model in real or transformed observations. This thesis presents methods for incorporating the predictive uncertainty of the model in such evaluation of variable importance. This thesis introduces the concept of uncertainty-aware sensitivity that generalizes sensitivity analysis from single predictions to probability distributions. The thesis develops an analytical framework for uncertainty-aware sensitivity as well as practical algorithms for its computation with different supervised learning models. The method is utilized to assess the importance of variables and variable interactions in Gaussian process models applied to different settings. The uncertainty-aware methods are especially useful for Gaussian processes and other flexible models where both variable importance and predictive uncertainty can vary significantly depending on the point of evaluation. The contributions of this thesis are mostly methodological, and an integral part of the contribution is code written as part of the publications. While the thesis does not focus on any single application, the applicability of the studied methods is demonstrated with a variety of freely available data sets from different fields.

Tämä väitöskirja tutkii laskennallisia menetelmiä osana bayesilaista mallinnusta. Väitöskirja keskittyy kahteen pääaihealueeseen. Ensimmäinen näistä on painotusotannan käyttö bayesilaisten mallien arvioinnissa. Painotusotanta on laajasti käytetty ja yleispätevä laskennallinen menetelmä. Mallien arvioinnissa painotusotantaa käytetään yleisesti nopeuttamaan ristiinvalidoinnin laskentaa. Tämä väitöskirja tutkii painotusjakauman mukauttamismenetelmiä, joiden avulla ristiinvalidoinnin laskenta tarkentuu. Väitöskirja esittelee painotusjakaumien implisiittiseen mukauttamiseen soveltuvan menetelmän, jonka avulla monimutkaisia jakaumia voidaan hyödyntää tehokkaammin. Väitöskirja tutkii erityisesti painotusjakaumien mukauttamista itsenormalisoitavassa painotusotannassa, joka on yleisesti käytetty muun muassa probabilististen ohjelmointityökalujen yhteydessä. Tämä väitöskirja tutkii myös painotusotannan käyttöä bayesilaisten mallien priorien ja uskottavuusfunktioiden herkkyyden analysoimiseen. Nämä menetelmät ovat hyödyllisiä havaitsemaan erilaisia mallinnusongelmia kuten liian rajoittavia priorijakaumia. Painotusotantamenetelmät ovat hyödyllisiä tähän tarkoitukseen niiden yksinkertaisuuden vuoksi, ja väitöskirjassa tutkitut menetelmät ovat helposti automatisoitavissa osaksi bayesilaista mallinnusprosessia. Väitöskirjan jälkimmäinen osa tutkii muuttujien tärkeyden arviointia ohjatussa oppimisessa. Yleinen lähestymistapa tähän on tilastollisen mallin ennusteiden tarkastelu havaintopisteissä tai muunnelluissa havaintopisteissä. Tämä väitöskirja tutkii menetelmiä, joilla mallin ennusteiden epävarmuus voitaisiin hyödyntää tällaisessa tarkastelussa. Väitöskirja esittelee konseptin epävarmuustietoinen herkkyys, joka yleistää herkkyysanalyysin siten, että yksittäisten ennusteiden herkkyyden sijaan tarkastellaan ennustejakaumien herkkyyttä. Väitöskirja esittelee epävarmuustietoisen herkkyyden analyyttisen perustan sekä käytännöllisiä algoritmeja erilaisille tilastollisille malleille. Menetelmiä hyödynnetään muuttujien sekä niiden välisten vuorovaikutusten tärkeyden arviointiin gaussisissa prosesseissa useissa eri mallinnussovelluksissa. Epävarmuustietoista herkkyyttä hyödyntävät menetelmät ovat erityisen kiinnostavia gaussisissa prosesseissa sekä muissa joustavissa malleissa, sillä niissä sekä muuttujien tärkeys että ennusteiden epävarmuus voivat vaihdella merkittävästi tarkastelupisteestä riippuen. Tämän väitöskirjan kontribuutiot ovat pääasiassa metodologisia, ja olennainen osa niitä on julkaisujen yhteydessä kirjoitettu lähdekoodi. Väitöskirja ei keskity mihinkään tiettyyn sovellukseen, mutta tutkittujen menetelmien soveltuvuutta havainnollistetaan käyttämällä useita julkisia datalähteitä.
Description
Supervising professor
Vehtari, Aki, Prof., Aalto University, Department of Computer Science, Finland
Thesis advisor
Vehtari, Aki, Prof., Aalto University, Department of Computer Science, Finland
Keywords
model assessment, importance sampling, variable importance, mallien arviointi, painotusotanta, muuttujien tärkeys
Other note
Parts
  • [Publication 1]: Topi Paananen, Juho Piironen, Paul-Christian Bürkner and Aki Vehtari. Implicitly Adaptive Importance Sampling. Statistics and Computing,31:16. 19 pages, February 2021.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-202103102242
    DOI: 10.1007/s11222-020-09982-2 View at publisher
  • [Publication 2]: Noa Kallioinen, Topi Paananen, Paul-Christian Bürkner and Aki Vehtari. Detecting and diagnosing prior and likelihood sensitivity withpower-scaling. Submitted to a journal. 21 pages, July 2021.
    DOI: 10.48550/arXiv.2107.14054 View at publisher
  • [Publication 3]: Topi Paananen, Michael Riis Andersen and Aki Vehtari. Uncertainty-aware Sensitivity Analysis Using Rényi Divergences. In Proceedings ofthe Thirty-Seventh Conference on Uncertainty in Artificial Intelligence, volume 161 of Proceedings of Machine Learning Research, pages 1185-1194, July 2021.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-2021121510671
  • [Publication 4]: Topi Paananen, Juho Piironen, Michael Riis Andersen and Aki Vehtari. Variable selection for Gaussian processes via sensitivity analysis of theposterior predictive distribution. In Proceedings of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS), volume89 of Proceedings of Machine Learning Research, pages 1743-1752, April 2019.
    Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201907304545
Citation
Permanent link to this item
https://urn.fi/URN:ISBN:978-952-64-0870-5
Collections
[diss] Perustieteiden korkeakoulu / SCI