Distributed Bayesian inference using expectation propagation

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Vehtari, Aki
dc.contributor.author Sivula, Tuomas
dc.date.accessioned 2015-05-13T09:48:57Z
dc.date.available 2015-05-13T09:48:57Z
dc.date.issued 2015-05-11
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/16033
dc.description.abstract This thesis studies, how expectation propagation (EP) can be used in distributed Bayesian inference. The method is discussed in general level and an implementation using normal approximation is presented. In addition, the method is considered in the context of hierarchical probability models. The EP method is analysed based on source literature. In addition, the method is tested in several simulated hierarchical experiments. Various methods for distributed Bayesian inference has been developed recently. However, they all perform the inference for each part of the data set independently. In EP, the parts are processed in iterative fashion and the message passing feature distributes the essential information between the parts. Previously in the EP methods, the data set has usually been factorised pointwise. By distributing the data set into bigger groups, the method can be utilised more versatilely. In hierarchical models, it is beneficial to partition the data set among the hierarchical groups. The experiments show that the method can produce good results. It can be seen from the results that increasing the number of distributed groups increase the approximation error. In addition, it can be seen that other sources of error affect the results and can prevent the algorithm from converging. Further research is required for the analysis of the approximation error. In addition, the method should be compared to other distributed Bayesian inference methods. en
dc.description.abstract Tämä diplomityö käsittelee odotusarvon välittämismenetelmän (expectation propagation, EP) soveltamista hajautettuun bayesilaiseen mallintamiseen. Työssä esitetään menetelmän yleinen toimintaperiaate ja yksityiskohtaisempi toteutus normaalijakauma-approksimaatiolle. Lisäksi työssä tutkitaan menetelmän soveltuvuutta hierarkkisiin todennäköisyysmalleihin. Tutkittavaan menetelmään perehdytään työssä lähdeaineiston pohjalta analysoiden. Lisäksi sovellettua menetelmää testataan simuloiduissa hierarkkisissa testitilanteissa. Erilaisia hajautettuja menetelmiä, joilla sovitetaan suuria datajoukkoja todennäköisyysmalleihin, on kehitetty viimeaikoina. Niille kaikille on kuitenkin yhteistä se, että kukin datajoukon osa käsitellään erikseen muista riippumattomasti. EP-menetelmässä osia käsitellään iteroiden ja viestin välitys -ominaisuus jakaa keskeistä informaatiota osien välillä. Aikaisemmin EP-menetelmässä käsiteltävä datajoukko on jaettu tyypillisesti pisteittäin. Jakamalla datajoukko suurempiin osiin, saadaan menetelmää hyödynnettyä monipuolisemmin. Hierarkkisissa malleissa on hyödyllistä jakaa datajoukko ryhmittäin. Hajautettu EP-menetelmä osoittautui simuloiduissa testitilanteissa toimivaksi. Tuloksista on havaittavissa, että datajoukon osituksen osien lukumäärän kasvattaminen kasvattaa approksimaation virhettä. Lisäksi on ilmeistä, että menetelmässä on myös muita virhelähteitä, joiden vaikutuksesta algoritmin konvergoituminen voi estyä. Menetelmän virhelähteiden arviointi ja vertailu muihin vastaaviin menetelmiin vaativat lisätutkimuksia. fi
dc.format.extent 69+6
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.title Distributed Bayesian inference using expectation propagation en
dc.title Hajautettu bayesilainen mallintaminen välittämällä odotusarvoa fi
dc.type G2 Pro gradu, diplomityö en
dc.contributor.school Perustieteiden korkeakoulu fi
dc.subject.keyword bayes en
dc.subject.keyword EP en
dc.subject.keyword distributed en
dc.subject.keyword MCMC en
dc.subject.keyword stan en
dc.identifier.urn URN:NBN:fi:aalto-201505142686
dc.programme.major Laskennallinen tiede fi
dc.programme.mcode IL3001 fi
dc.type.ontasot Master's thesis en
dc.type.ontasot Diplomityö fi
dc.contributor.supervisor Vehtari, Aki
dc.programme Tietotekniikan koulutusohjelma fi


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account