Comparison of Bayesian predictive methods for variable selection

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Vehtari, Aki
dc.contributor.author Piironen, Juho
dc.date.accessioned 2014-08-29T06:54:54Z
dc.date.available 2014-08-29T06:54:54Z
dc.date.issued 2014-08-19
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/13891
dc.description.abstract To date, several methods for Bayesian model selection have been proposed. Although there are many studies discussing the theoretical properties of these methods for model assessment, an extensive quantitative comparison between the methods for model selection for finite data seems to be lacking. This thesis reviews the most commonly used methods in the literature and compares their performance in practical variable selection problems, especially in situations where the data is scarce. The study also discusses the selection induced bias in detail and underlines its relevance for variable selection. Although the focus of the study is on variable selection, the presented ideas are generalizable to other model selection problems as well. The numerical results consist of simulated experiments and one real world problem. The results suggest that even though there are nearly unbiased methods for assessing the performance of a given model, the high variance in the performance estimation may lead to considerable selection induced bias and selection of an overfitted model. The results also suggest that the reference predictive and projection methods are least sensitive to the selection induced bias and are therefore more robust for searching promising models than the alternative methods, such as cross validation and information criteria. However, due to the selection bias, also for these methods the estimated divergence between the reference and candidate models may be an unreliable indicator of the performance of the selected models. For this reason, the performance estimation of the found models should be done for example using cross validation outside the selection process. en
dc.description.abstract Kirjallisuudessa on esitetty useita erilaisia menetelmiä bayesilaiseen mallin valintaan. Vaikka näiden menetelmien teoreettisia ominaisuuksia erityisesti mallin suorituskyvyn mittaamiseen on tutkittu runsaasti, kattavaa tutkimusta eri menetelmien eroista mallin valintaan äärelliselle aineistolle ei näytä olevan tehty. Tässä työssä käsitellään yleisimmin käytettyjä mallinvalintamenetelmiä ja vertaillaan näiden käyttäytymistä käytännön muuttujavalintaongelmissa, erityisesti tilanteissa joissa dataa on niukasti. Työn tarkoituksena on käsitellä myös valintaharhaksi kutsuttua ilmiötä ja korostaa sen merkitystä muuttujavalintaongelmissa. Vaikka työ käsittelee pääosin muuttujavalintaa, työssä esitetyt johtopäätökset ovat yleistettävissä myös muihin mallinvalintaongelmiin. Numeeriset esimerkit koostuvat simuloiduista testeistä sekä yhdestä reaalimaailman ongelmasta. Tulosten perusteella näyttää siltä, että vaikka yksittäisten mallien suorituskykyä voidaan arvioida harhattomasti, valintaharha voi vaikeuttaa mallinvalintaa huomattavasti ja johtaa ylisovittuneen mallin valintaan. Näyttää myös siltä, että referenssiprediktiiviset ja projektiomenetelmät ovat vähiten herkkiä valinnan aiheuttamalle harhalle ja kykenevät näin ollen löytämään parempia malleja kuin vaihtoehtoiset menetelmät kuten ristiinvalidointi ja informaatiokriteerit. Valintaharhasta johtuen kuitenkin myös näille menetelmille estimoitu eroavuus referenssimallin ja kandidaattimallien välillä voi antaa epäluotettavan kuvan valittujen mallien suorituskyvystä. Tästä syystä lopullinen valittujen mallien suorituskyvyn arviointi tulisi tehdä käyttäen esimerkiksi valintaprosessin ulkopuolista ristiinvalidointia. fi
dc.format.extent 60 + 6
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.title Comparison of Bayesian predictive methods for variable selection en
dc.title Bayesilaisten prediktiivisten muuttujavalintamenetelmien vertailu fi
dc.type G2 Pro gradu, diplomityö en
dc.contributor.school Perustieteiden korkeakoulu fi
dc.subject.keyword Bayesian model selection en
dc.subject.keyword variable selection en
dc.subject.keyword selection induced bias en
dc.subject.keyword cross validation en
dc.subject.keyword information criteria en
dc.subject.keyword reference model en
dc.subject.keyword projection en
dc.subject.keyword bayesilainen mallinvalinta fi
dc.subject.keyword muuttujavalinta fi
dc.subject.keyword valintaharha fi
dc.subject.keyword ristiinvalidointi fi
dc.subject.keyword informaatiokriteerit fi
dc.subject.keyword referenssimalli fi
dc.subject.keyword projektio fi
dc.identifier.urn URN:NBN:fi:aalto-201408292542
dc.programme.major Laskennallinen tiede ja tekniikka fi
dc.programme.mcode F3009 fi
dc.type.ontasot Master's thesis en
dc.type.ontasot Diplomityö fi
dc.contributor.supervisor Lampinen, Jouko
dc.programme Teknillisen fysiikan ja matematiikan koulutusohjelma fi


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account