Natural gradient for variational Bayesian learning

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Honkela, Antti
dc.contributor.author Tornio, Matti
dc.date.accessioned 2012-03-12T07:21:42Z
dc.date.available 2012-03-12T07:21:42Z
dc.date.issued 2010
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/3305
dc.description.abstract Todennäköisyysmalleilla on hyvin tärkeä asema koneoppimisessa, ja näiden mallien tehokas oppiminen on tärkeä ongelma. Valitettavasti näiden mallien matemaattinen käsittely suoraan on usein mahdotonta, ja mallien oppimisessa joudutaankin turvautumaan erilaisiin approksimaatioihin. Eräs tällainen approksimaatio on variaatiol3ayes-menetelmä, jossa todellista posteriorijakaumaa approksimoidaan toisella jakaumalla ja näiden kahden jakauman välistä eroa pyritään minimoimaan. Variaatio-Bayes-oppimisessa voidaan käyttää monia eri optimointialgoritmeja. Tässä työssä keskitytään gradienttipohjaisiin algoritmeihin. Näillä algoritmeilla on kuitenkin tyypillisesti yksi heikkous. Yleensä nämä menetelmät olettavat, että avaruus, jossa funktiota optimoidaan, on geometrialtaan euklidinen. Tilastollisissa malleissa tämä ei usein pidä paikkaansa, vaan avaruus on todellisuudessa Riemannin monisto. Luonnolliseen gradienttiin pohjautuvat optimointialgoritmit ottavat tämän geometrisen ominaisuuden huomioon ja ovat usein huomattavasti nopeampia kuin perinteiset optimointialgoritmit. Eräs tehokas ja suhteellisen yksinkertainen menetelmä saadaan yleistämällä konjugaattigradienttialgoritmi Riemannin monistoille. Näin saatua menetelmää kutsutaan Riemannin konjugaattigradientiksi. Tässä työssä esitellään tehokas Riemannin konjugaattigradienttialgoritmi variaatio-Bayes-menetelmää käyttävien tilastollisten mallien oppimiseen. Esimerkkiongelmana käytetään epälineaarisia tila-avaruusmalleja, joita käytetään sekä keinotekoisten että todellisten data-aineistojen oppimiseen. Näistä kokeista saadut tulokset osoittavat että esitelty algoritmi on huomattavasti tehokkaampi kuin muut vertailussa käytetyt perinteisemmät algoritmit. fi
dc.description.abstract Probabilistic models play a very important role in machine learning, and the efficient learning of such models is a very important problem. Unfortunately, the exact statistical treatment of probabilistic models is often impossible and therefore various approximations have to be used. One such approximation is given by variational Bayesian (VB) learning which uses another distribution to approximate the true posterior distribution and tries to minimise the misfit between the two distributions. Many different optimisation algorithms can be used for variational Bayesian learning. This thesis concentrates on gradient based optimisation algorithms. Most of these algorithms suffer from one significant shortcoming, however. Typically these methods assume that the geometry of the problem space is flat, whereas in reality the space is a curved Riemannian manifold. Natural-gradient-based optimisation algorithms take this property into account, and can often result in significant speedups compared to traditional optimisation methods. One particularly powerful and relatively simple algorithm can be derived by extending conjugate gradient to Riemannian manifolds. The resulting algorithm is known as Riemannian conjugate gradient. This thesis presents an efficient Riemannian conjugate gradient algorithm for learning probabilistic models where variational approximation is used. Nonlinear state-space models are used as a case study, and results from experiments with both synthetic and real-world data sets are presented. The results demonstrate that the proposed algorithm provides significant performance gains over the other compared methods. en
dc.format.extent 65
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Aalto-yliopisto fi
dc.publisher Aalto University en
dc.title Natural gradient for variational Bayesian learning en
dc.title Luonnollinen gradientti variaatio-Bayes-oppimisessa fi
dc.type G2 Pro gradu, diplomityö fi
dc.contributor.school Informaatio- ja luonnontieteiden tiedekunta fi
dc.subject.keyword koneoppiminen fi
dc.subject.keyword luonnollinen gradientti fi
dc.subject.keyword Riemannin konjugaattigradientti fi
dc.subject.keyword epälineaariset tila-avaruusmallit fi
dc.subject.keyword variaatio-Bayes-menetelmä fi
dc.subject.keyword machine learning en
dc.subject.keyword natural gradient en
dc.subject.keyword Riemannian conjugate gradient en
dc.subject.keyword nonlinear state-space models en
dc.subject.keyword variational Bayes en
dc.identifier.urn URN:NBN:fi:aalto-201203131536
dc.type.dcmitype text en
dc.programme.major Informaatiotekniikka fi
dc.programme.mcode T-61
dc.type.ontasot Diplomityö fi
dc.type.ontasot Master's thesis en
dc.contributor.supervisor Karhunen, Juha


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account