Comparison of Bayesian predictive methods for variable selection

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorVehtari, Aki
dc.contributor.authorPiironen, Juho
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.supervisorLampinen, Jouko
dc.date.accessioned2014-08-29T06:54:54Z
dc.date.available2014-08-29T06:54:54Z
dc.date.issued2014-08-19
dc.description.abstractTo date, several methods for Bayesian model selection have been proposed. Although there are many studies discussing the theoretical properties of these methods for model assessment, an extensive quantitative comparison between the methods for model selection for finite data seems to be lacking. This thesis reviews the most commonly used methods in the literature and compares their performance in practical variable selection problems, especially in situations where the data is scarce. The study also discusses the selection induced bias in detail and underlines its relevance for variable selection. Although the focus of the study is on variable selection, the presented ideas are generalizable to other model selection problems as well. The numerical results consist of simulated experiments and one real world problem. The results suggest that even though there are nearly unbiased methods for assessing the performance of a given model, the high variance in the performance estimation may lead to considerable selection induced bias and selection of an overfitted model. The results also suggest that the reference predictive and projection methods are least sensitive to the selection induced bias and are therefore more robust for searching promising models than the alternative methods, such as cross validation and information criteria. However, due to the selection bias, also for these methods the estimated divergence between the reference and candidate models may be an unreliable indicator of the performance of the selected models. For this reason, the performance estimation of the found models should be done for example using cross validation outside the selection process.en
dc.description.abstractKirjallisuudessa on esitetty useita erilaisia menetelmiä bayesilaiseen mallin valintaan. Vaikka näiden menetelmien teoreettisia ominaisuuksia erityisesti mallin suorituskyvyn mittaamiseen on tutkittu runsaasti, kattavaa tutkimusta eri menetelmien eroista mallin valintaan äärelliselle aineistolle ei näytä olevan tehty. Tässä työssä käsitellään yleisimmin käytettyjä mallinvalintamenetelmiä ja vertaillaan näiden käyttäytymistä käytännön muuttujavalintaongelmissa, erityisesti tilanteissa joissa dataa on niukasti. Työn tarkoituksena on käsitellä myös valintaharhaksi kutsuttua ilmiötä ja korostaa sen merkitystä muuttujavalintaongelmissa. Vaikka työ käsittelee pääosin muuttujavalintaa, työssä esitetyt johtopäätökset ovat yleistettävissä myös muihin mallinvalintaongelmiin. Numeeriset esimerkit koostuvat simuloiduista testeistä sekä yhdestä reaalimaailman ongelmasta. Tulosten perusteella näyttää siltä, että vaikka yksittäisten mallien suorituskykyä voidaan arvioida harhattomasti, valintaharha voi vaikeuttaa mallinvalintaa huomattavasti ja johtaa ylisovittuneen mallin valintaan. Näyttää myös siltä, että referenssiprediktiiviset ja projektiomenetelmät ovat vähiten herkkiä valinnan aiheuttamalle harhalle ja kykenevät näin ollen löytämään parempia malleja kuin vaihtoehtoiset menetelmät kuten ristiinvalidointi ja informaatiokriteerit. Valintaharhasta johtuen kuitenkin myös näille menetelmille estimoitu eroavuus referenssimallin ja kandidaattimallien välillä voi antaa epäluotettavan kuvan valittujen mallien suorituskyvystä. Tästä syystä lopullinen valittujen mallien suorituskyvyn arviointi tulisi tehdä käyttäen esimerkiksi valintaprosessin ulkopuolista ristiinvalidointia.fi
dc.format.extent60 + 6
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/13891
dc.identifier.urnURN:NBN:fi:aalto-201408292542
dc.language.isoenen
dc.programmeTeknillisen fysiikan ja matematiikan koulutusohjelmafi
dc.programme.majorLaskennallinen tiede ja tekniikkafi
dc.programme.mcodeF3009fi
dc.rights.accesslevelopenAccess
dc.subject.keywordBayesian model selectionen
dc.subject.keywordvariable selectionen
dc.subject.keywordselection induced biasen
dc.subject.keywordcross validationen
dc.subject.keywordinformation criteriaen
dc.subject.keywordreference modelen
dc.subject.keywordprojectionen
dc.subject.keywordbayesilainen mallinvalintafi
dc.subject.keywordmuuttujavalintafi
dc.subject.keywordvalintaharhafi
dc.subject.keywordristiinvalidointifi
dc.subject.keywordinformaatiokriteeritfi
dc.subject.keywordreferenssimallifi
dc.subject.keywordprojektiofi
dc.titleComparison of Bayesian predictive methods for variable selectionen
dc.titleBayesilaisten prediktiivisten muuttujavalintamenetelmien vertailufi
dc.typeG2 Pro gradu, diplomityöen
dc.type.okmG2 Pro gradu, diplomityö
dc.type.ontasotMaster's thesisen
dc.type.ontasotDiplomityöfi
dc.type.publicationmasterThesis
local.aalto.digifolderAalto_05495
local.aalto.idinssi49670
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Piironen_Juho_2014.pdf
Size:
839.76 KB
Format:
Adobe Portable Document Format