Locally linear robust Bayesian dependency modeling of co-occurrence data
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Authors
Date
2010
Major/Subject
Informaatiotekniikka
Mcode
T-61
Degree programme
Language
en
Pages
vi + 68
Series
Abstract
Traditional experimental design in, for instance, neuroscience is usually set up so that one needs to explain the observed signal in terms of few controlled covariates. In this setting relatively simple techniques, based on, for instance, averaging, are sufficient for data analysis. However, the analysis becomes considerably more complicated in less artificial scenarios where the cushion from experimental design is lost. The main contribution of this thesis is a novel data-driven model for analysis of natural signals resulting from such less restrictive experimental designs. More precisely we consider a task of extracting a relevant signal from observed natural signal which also includes structured noise. Traditional unsupervised methods, such as PCA, do not work in this setting because the variability of structured noise can be significant. Hence, supervision is necessary, but usually ground-truth supervision is not available or is prohibitively expensive to implement. The developed novel model is based on recently introduced approach where the supervision is learned by modelling mutual dependencies between paired multi-source data. Essentially, the assumption is that if the phenomena of interest are manifested in multiple signals, the extracted relevant signals should be statistically dependent. Canonical Correlation Analysis (CCA) is the established baseline method for extracting mutually dependent parts from multi-source data. However, plain CCA has multiple problems in dealing with natural signals. For instance, the inference is neither reliable nor robust and the signals are required to be stationary. Developed from the probabilistic interpretation of CCA, our novel model addresses these issues by switching to a mixture formulation which uses robust Bayesian inference.Neurotieteelliset kokeet suunnitellaan yleisesti siten, että havaitut signaalit voi selittää muutamilla yksinkertaisilla kovariaateilla. Tällainen koeasetelma ei vaadi hienostuneita tietoaineistojen analyysityökaluja, vaan yksinkertaisimmillaan keskiarvoistus riittää. Tietoaineistojen analyysi kuitenkin monimutkaistuu huomattavasti, kun luovutaan tarkkaan kiinnitetyn koeasetelman turvasta. Tässä diplomityössä esitellään uusi datan ohjaama malli, joka soveltuu signaalianalyysiin esimerkiksi neurotieteellisessä vähän kontrolloiduissa mittauksissa. Täsmällisemmin kuvattuna tutkimme tehtävää, jossa havaitusta signaalista pitää erotella oleellinen osa ja rakenteinen kohina. Ohjaamattoman oppimisen menetelmät, kuten pääkomponenttianalyysi, eivät sovellu tähän tehtävään, koska kohinan variaatio voi olla rakenteista. Tehtävän ratkaisu siis vaatii ohjausta, jota ei kuitenkaan useimmiten ole saatavilla, tai sen toteuttaminen maksaa liikaa. Mallimme perustuu viimeaikaiseen ideaan, jossa ohjaus opitaan tutkimalla yhteisesiintymäaineiston pareittaisia tilastollisia riippuvuuksia. Pohjimmiltaan oletetaan, että jos signaalin oleellisen osan määrittävästä ilmiöstä mitataan useita erilaisia havaintoja, niin eri signaalien oleellisten osien oletetaan olevan tilastollisesti riippuvia. Kanoninen korrelaatioanalyysi on perusmenetelmä yhteisesiintymäaineiston pareittaisten tilastollisten riippuvuuksien hakuun. Se ei kuitenkaan sovellu suoraan analyysimme, koska piste-estimaatit ylisovittuvat, päättely ei ole robustia ja tutkimamme signaalit ovat epästationaarisia. Kehittämämme malli pohjautuu kanonisen korrelaationanalyysin generatiiviseen tulkintaan, ja se ratkaisee edellä mainitut ongelmat muotoilemalla mikstuurin robusteista Bayesilaisista malleista.Description
Supervisor
Kaski, SamuelThesis advisor
Klami, ArtoKeywords
Bayesian data analysis, Bayesilainen data-analyysi, canonical correlation analysis, datafuusio, data fusion, kanoninen korrelaationanalyysi, latent variable model, piilomuuttujamallit, variational inference, variationaalinen Bayes-päättely