Distributed Bayesian inference using expectation propagation

 dc.contributor Aalto-yliopisto fi dc.contributor Aalto University en dc.contributor.advisor Vehtari, Aki dc.contributor.author Sivula, Tuomas dc.date.accessioned 2015-05-13T09:48:57Z dc.date.available 2015-05-13T09:48:57Z dc.date.issued 2015-05-11 dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/16033 dc.description.abstract This thesis studies, how expectation propagation (EP) can be used in distributed Bayesian inference. The method is discussed in general level and an implementation using normal approximation is presented. In addition, the method is considered in the context of hierarchical probability models. en The EP method is analysed based on source literature. In addition, the method is tested in several simulated hierarchical experiments. Various methods for distributed Bayesian inference has been developed recently. However, they all perform the inference for each part of the data set independently. In EP, the parts are processed in iterative fashion and the message passing feature distributes the essential information between the parts. Previously in the EP methods, the data set has usually been factorised pointwise. By distributing the data set into bigger groups, the method can be utilised more versatilely. In hierarchical models, it is beneficial to partition the data set among the hierarchical groups. The experiments show that the method can produce good results. It can be seen from the results that increasing the number of distributed groups increase the approximation error. In addition, it can be seen that other sources of error affect the results and can prevent the algorithm from converging. Further research is required for the analysis of the approximation error. In addition, the method should be compared to other distributed Bayesian inference methods. dc.description.abstract Tämä diplomityö käsittelee odotusarvon välittämismenetelmän (expectation propagation, EP) soveltamista hajautettuun bayesilaiseen mallintamiseen. Työssä esitetään menetelmän yleinen toimintaperiaate ja yksityiskohtaisempi toteutus normaalijakauma-approksimaatiolle. Lisäksi työssä tutkitaan menetelmän soveltuvuutta hierarkkisiin todennäköisyysmalleihin. fi Tutkittavaan menetelmään perehdytään työssä lähdeaineiston pohjalta analysoiden. Lisäksi sovellettua menetelmää testataan simuloiduissa hierarkkisissa testitilanteissa. Erilaisia hajautettuja menetelmiä, joilla sovitetaan suuria datajoukkoja todennäköisyysmalleihin, on kehitetty viimeaikoina. Niille kaikille on kuitenkin yhteistä se, että kukin datajoukon osa käsitellään erikseen muista riippumattomasti. EP-menetelmässä osia käsitellään iteroiden ja viestin välitys -ominaisuus jakaa keskeistä informaatiota osien välillä. Aikaisemmin EP-menetelmässä käsiteltävä datajoukko on jaettu tyypillisesti pisteittäin. Jakamalla datajoukko suurempiin osiin, saadaan menetelmää hyödynnettyä monipuolisemmin. Hierarkkisissa malleissa on hyödyllistä jakaa datajoukko ryhmittäin. Hajautettu EP-menetelmä osoittautui simuloiduissa testitilanteissa toimivaksi. Tuloksista on havaittavissa, että datajoukon osituksen osien lukumäärän kasvattaminen kasvattaa approksimaation virhettä. Lisäksi on ilmeistä, että menetelmässä on myös muita virhelähteitä, joiden vaikutuksesta algoritmin konvergoituminen voi estyä. Menetelmän virhelähteiden arviointi ja vertailu muihin vastaaviin menetelmiin vaativat lisätutkimuksia. dc.format.extent 69+6 dc.format.mimetype application/pdf en dc.language.iso en en dc.title Distributed Bayesian inference using expectation propagation en dc.title Hajautettu bayesilainen mallintaminen välittämällä odotusarvoa fi dc.type G2 Pro gradu, diplomityö en dc.contributor.school Perustieteiden korkeakoulu fi dc.subject.keyword bayes en dc.subject.keyword EP en dc.subject.keyword distributed en dc.subject.keyword MCMC en dc.subject.keyword stan en dc.identifier.urn URN:NBN:fi:aalto-201505142686 dc.programme.major Laskennallinen tiede fi dc.programme.mcode IL3001 fi dc.type.ontasot Master's thesis en dc.type.ontasot Diplomityö fi dc.contributor.supervisor Vehtari, Aki dc.programme Tietotekniikan koulutusohjelma fi
﻿