Targeted learning by imposing asymmetric sparsity

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Peltonen, Jaakko
dc.contributor.author Gillberg, Jussi
dc.date.accessioned 2012-07-02T08:26:42Z
dc.date.available 2012-07-02T08:26:42Z
dc.date.issued 2011
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/3726
dc.description.abstract Useat viime vuosina kerätyt havaintoaineistot koostuvat mittauksista hyvin pienestä määrästä näytteitä. Tällaisten aineistojen mallintaminen on haasteellista, koska mallit helposti ylisovittuvat aineistoon. Ongelmaan on kehitetty useita lähestymistapoja. Pääasiallisen mallinnustehtävän rinnalle voidaan ottaa muita mallinnustehtäviä, joissa käytettävät mallit kytketään pääasiallisen tehtävän malliin. Näin mallien yhteisten osien oppimiseen on käytettävissä enemmän aineistoa, mikä parantaa tulosten yleistymistä uusiin aineistoihin. Tätä lähestymistapaa kutsutaan monitehtäväoppimiseksi. Käytettävää mallia voidaan myös rajoittaa lisäämällä siihen oletuksia, jotka rajoittavat mallin sovittumista aineistoon ja siten vähentävät ylisovittumista. Tyypilliset monitehtäväoppimista hyödyntävät mallit painottavat kaikkia oppimistehtäviä yhtä voimakkaasti, vaikka yksi oppimistehtävä on yleensä muita tärkeämpi. Tämä diplomityö on esitutkimus uudesta lähestymistavasta, joka pyrkii monitehtäväoppimisasetelmassa parantamaan yleistyvyyttä yhdessä oppimistehtävässä eri mallien sovittumiskykyä rajoittavien oletusten avulla. Valitussa oppimistehtävässä mallin sovittumista aineistoon rajoitetaan muita oppimistehtäviä enemmän mallin harvuutta lisäämällä, jotta tehtävälle opittu malli yleistyisi paremmin. Uutta lähestymistapaa tutkitaan rajaamalla tutkimuskysymys suosittuihin LDAmalleihin, joissa hyödynnetään bayesilaisia epäparametrisia priorijakaumia. Epäsymmetrisen harvuuden vaikutuksia tutkitaan tämän malliperheen avulla. Tuloksissa on havaittavissa hienovaraisia parannuksia yleistyvyyteen. Tulokset uudella mallilla ovat kilpailukykyisiä tämän hetkisten johtavien menetelmien tulosten kanssa. fi
dc.description.abstract Modern data sets often suffer from the problem of having measurements from very few samples. The small sample size makes modeling such data sets very difficult, as models easily overfit to the data. Many approaches to alleviate the problem have been taken. One such approach is multi-task learning, a subfield of statistical machine learning, in which multiple data sets are modeled simultaneously. More generally, multiple learning tasks may be learnt simultaneously to achieve better performance in each. Another approach to the problem of having too few samples is to prevent over fitting by constraining the model by making suitable assumptions. Traditional multi-task methods treat all learning tasks and data sets equally, even thought we are usually mostly interested in learning one of them. This thesis is a case study about promoting predictive performance in a specific data set of interest in a multi-task setting by constraining the models for the learning tasks unevenly. The model for the data set of interest more sparse as compared to the models for the secondary data sets. To study the new approach, the research question is limited to the very specific and popular family of so-called topic models using Bayesian nonparametric priors. A new model is presented which enables us to study the effects of asymmetric sparsity. The effects of asymmetric sparsity are studied by using the new model on real data and toy data. Subtle beneficial effects of asymmetric sparsity are observed on toy data and the new model performs comparably to existing state-of-the-art methods on real data. en
dc.format.extent [8] + 64
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Aalto-yliopisto fi
dc.publisher Aalto University en
dc.title Targeted learning by imposing asymmetric sparsity en
dc.title Oppimisen kohdentaminen easymmetrisen harvuuden avulla fi
dc.type G2 Pro gradu, diplomityö fi
dc.contributor.department Tietojenkäsittelytieteen laitos fi
dc.subject.keyword bayesilaiset epäparametriset jakaumat fi
dc.subject.keyword epäsymmetrinen monitehtäväoppiminen fi
dc.subject.keyword harvuus fi
dc.subject.keyword latentti Dirichlet allokaatio fi
dc.subject.keyword pienen näytejoukon ongelmat fi
dc.subject.keyword asymmetric multi-task learning en
dc.subject.keyword latent Dirichlet allocation en
dc.subject.keyword nonparametric Bayesian statistics en
dc.subject.keyword small sample size en
dc.subject.keyword sparsity en
dc.identifier.urn URN:NBN:fi:aalto-201207022692
dc.type.dcmitype text en
dc.programme.major Informaatiotekniikka fi
dc.programme.mcode T-61
dc.type.ontasot Diplomityö fi
dc.type.ontasot Master's thesis en
dc.contributor.supervisor Kaski, Samuel


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account