Steps Forward in Approximate Computational Inference

Abstract

This thesis deals with approximate computational inference, particularly with a relatively recent approach in it known as approximate Bayesian computation (ABC). ABC deals with simulator-based models whose likelihood function is intractable. To overcome the intractability of the likelihood, ABC uses simulations from the model and a principled approximation of the posterior that is traditionally defined via a distance function and a threshold. I represent the ABC approximation as an approximation of the underlying likelihood function of the simulator-based model. This interpretation provides an intuitive way of understanding the approximation in ABC. I also consider the bias and Monte Carlo error in ABC, and demonstrate that better results can be acquired with a proper approximation than with a corresponding exact method in a given computational time. I further propose using an approximation of the likelihood function in investigating the reliability of ABC inferences. This approach reveals identifiability issues with a well-known disease transmission model for tuberculosis. A new transmission model is proposed that resolves these issues by more closely modelling the epidemiological process of tuberculosis. Updated estimates of the epidemiological parameters are then provided together with an estimate of the underlying infectious population that is better aligned with the epidemiological knowledge of the disease. Apart from ABC, I consider modelling computational inference problems with graphs, and how the graph representations can be used in the algorithmic level. The graph representations are used in learning Bayesian networks with more granular dependency structures. Finally, graphs are used for effective modelling of the ABC procedure and streamlining many aspects of the inference in a new open-source software called ELFI. In addition to graph-based modelling, ELFI provides distributed parallelization, data re-use and many other practical features for performing ABC inferences.

Tämä väitöskirja käsittelee approksimatiivista laskennallista päättelyä, erityisesti siihen kuuluvaa suhteellisen uutta lähestymistapaa nimeltä approksimatiivinen Bayesilainen laskenta (englanniksi approximate Bayesian computation, ABC). Tässä lähestymistavassa käytetään simulaattoripohjaisia malleja, joiden uskottavuusfunktio on hankala. Kiertääkseen uskottavuusfunktion käytön, ABC hyödyntää mallista saatavia simulaatioita sekä johdonmukaista approksimaatiota, joka perinteisesti määritetään etäisyysfunktion ja kynnysarvon avulla. Tässä väitöskirjassa esitän ABC-approksimaation sen simulaattoripohjaisen mallin määrittelemän uskottavuusfunktion approksimaationa. Tämä tulkinta tarjoaa luonnollisen tavan ABC-approksimaation toiminnan ymmärtämiseen. Käsittelen myös harhaa ja Monte Carlo virhettä ABC:ssä, sekä havainnollistan miten sopivaa approksimaatiota käyttäen voidaan saada parempia tuloksia annetussa laskennallisessa ajassa kuin vastaavalla eksaktilla menetelmällä. Lisäksi esitän uskottavuusfunktion approksimaation käyttämistä ABC päätelmien luotettavuuden arvioimiseen. Tämä lähestymistapa paljastaa identifioituvuusongelmia tunnetusta tuberkuloosin tartuntamallista. Kehitän uuden tartuntamallin joka korjaa nämä ongelmat mallintamalla entistä tarkemmin tuberkuloosin epidemiologista prosessia. Lasken epidemiologisille parametreille päivitetyt arviot sekä arvion koko infektiivisen populaation koosta joka on paremmin sopusoinnussa taudin epidemiologiatiedon kanssa. ABC:n lisäksi tarkastelen laskennallisen päättelyn mallintamista graafien avulla, ja kuinka graafiesitystä voidaan hyödyntää algoritmien tasolla. Graafiesitystä käytetään tavallista yksityiskohtaisempia riippuvuusrakenteita sisältävien Bayesilaisten verkkojen oppimiseen. Lopulta graafeja sovelletaan ABC prosessin mallintamiseen, sekä monien päättelyvaiheiden automatisointiin uudessa avoimen lähdekoodin ELFI-nimisessä ohjelmistossa. Graafipohjaisen mallintamisen lisäksi ELFI tarjoaa tuen hajautetulle laskennalle, datan uudelleenkäytölle, sekä monille muille käytännöllisille ominaisuuksille ABC päättelyiden suorittamiseen.