Bayesian latent variable models for learning dependencies between multiple data sources

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2014-08-25
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2014
Major/Subject
Mcode
Degree programme
Language
en
Pages
53 + app. 101
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 110/2014
Abstract
Machine learning focuses on automated large-scale data analysis extracting useful information from data collections. The data are frequently high-dimensional and may correspond, for example, to images, text documents, or measurements of neural responses. In many applications data can be collected from multiple data sources, that is, views. This thesis presents novel machine learning methods for analyzing multiple data sources, especially for understanding relationships between them. The analysis provides a comprehensive summary of the data generating process, which may be used for exploring the relationships and for predicting observations of one or more sources. The methods are based on two assumptions: each view provides complementary information of the data generating process, and each view is corrupted by noise. The methods aim to utilize all available information (views), accumulating partly overlapping information and reducing view-specific noise. In particular, this thesis presents several Bayesian latent variable models that learn a decomposition of latent variables; some of the variables capture information shared by multiple sources, whereas the remaining variables explain noise in each view. The latent variables may be efficiently inferred based on the observed data by using sparsity assumptions and Bayesian inference. The models are applied for analyzing neural responses to natural stimulation as well as for jointly modeling images and text documents.

Koneoppiminen on suurten tietoaineistojen automaattista analysointia, jossa poimitaan hyödyllistä informaatiota näistä kokoelmista. Tietoaineistojen havainnot ovat usein moniulotteisia ja voivat esimerkiksi olla kuvia, tekstidokumentteja tai neuraalisia mittauksia. Monissa sovelluksissa aineistoja voidaan kerätä useista lähteistä. Tässä väitöskirjassa esitellään usean tietolähteen analysointiin uusia koneoppimismenetelmiä, jotka löytävät lähteiden välisiä riippuvuuksia. Menetelmillä tehtävän analyysin tavoite on tarjota kattava tiivistelmä aineistot tuottaneesta prosessista. Tätä tiivistelmää voidaan käyttää riippuvuuksien tutkimiseen ja yhden tai useamman näkymän havaintojen ennustamiseen. Kehitetyt menetelmät perustuvat kahteen oletukseen: jokainen lähde sisältää osittaista tietoa aineistot tuottaneesta prosessista ja jokaisen lähteen sisältämä tieto on kohinaista. Menetelmät pyrkivät hyödyntämään kaikkea käytettävissä olevaa tietoa (lähteitä) kokoamalla yhteen aineistoissa olevaa päällekkäistä tietoa ja vähentämällä lähteille ominaista kohinaa. Tämän väitöskirjan keskeinen tulos on joukko Bayesiläisiä piilomuuttujamalleja, jotka löytävät piilomuuttujien hajotelman; osa piilomuuttujista selittää lähteiden välistä yhteistä tietoa, kun taas jäljellä olevat muuttujat selittävät lähteille ominaista kohinaa. Piilomuuttujat voidaan tunnistaa havaitun aineiston perusteella tehokkaasti käyttämällä harvuusoletuksia ja Bayesiläistä päättelyä. Malleja on käytetty luonnollisen ärsykkeen neuraalisten vasteiden analysointiin sekä kuvien ja tekstidokumenttien yhteismallintamiseen.
Description
Supervising professor
Kaski, Samuel, Prof., Aalto University, Department of Information and Computer Science, Finland
Thesis advisor
Klami, Arto, Dr., Helsinki Institute for Information Technology, Finland
Keywords
Bayesian statistics, latent variable models, machine learning, multi-view learning, sparsity, Bayesiläinen tilastotiede, harvuus, koneoppiminen, oppiminen useasta tietolähteestä, piilomuuttujamallit
Other note
Parts
  • [Publication 1]: Seppo Virtanen, Arto Klami and Samuel Kaski. Bayesian CCA via group sparsity. In Proceedings of the Twenty-Eighth International Conference on Machine Learning, pages 457–464, 2011.
  • [Publication 2]: Arto Klami, Seppo Virtanen and Samuel Kaski. Bayesian canonical correlation analysis. Journal of Machine Learning Research, 14:965–1003, 2013.
  • [Publication 3]: Seppo Virtanen, Arto Klami, Suleiman A. Khan and Samuel Kaski. Bayesian group factor analysis. In Proceedings of the Fifteenth International Conference on Artificial Intelligence and Statistics, volume 22 of JMLR W&CP, pages 1269–1277, 2012.
  • [Publication 4]: Arto Klami, Seppo Virtanen, Eemeli Leppäaho and Samuel Kaski. Group factor analysis. Submitted to a journal, 2014.
  • [Publication 5]: Arto Klami, Seppo Virtanen and Samuel Kaski. Bayesian exponential family projections for coupled data sources. In Proceedings of the Twenty-Sixth Conference on Uncertainty in Artificial Intelligence, pages 286–293, 2010.
  • [Publication 6]: Seppo Virtanen, Yangqing Jia, Arto Klami and Trevor Darrell. Factorized multi-modal topic model. In Proceedings of the Twenty-Eighth Conference on Uncertainty in Artificial Intelligence, pages 843–851, 2012.
Citation