Comparison of Bayesian predictive methods for variable selection

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2014-08-19
Department
Major/Subject
Laskennallinen tiede ja tekniikka
Mcode
F3009
Degree programme
Teknillisen fysiikan ja matematiikan koulutusohjelma
Language
en
Pages
60 + 6
Series
Abstract
To date, several methods for Bayesian model selection have been proposed. Although there are many studies discussing the theoretical properties of these methods for model assessment, an extensive quantitative comparison between the methods for model selection for finite data seems to be lacking. This thesis reviews the most commonly used methods in the literature and compares their performance in practical variable selection problems, especially in situations where the data is scarce. The study also discusses the selection induced bias in detail and underlines its relevance for variable selection. Although the focus of the study is on variable selection, the presented ideas are generalizable to other model selection problems as well. The numerical results consist of simulated experiments and one real world problem. The results suggest that even though there are nearly unbiased methods for assessing the performance of a given model, the high variance in the performance estimation may lead to considerable selection induced bias and selection of an overfitted model. The results also suggest that the reference predictive and projection methods are least sensitive to the selection induced bias and are therefore more robust for searching promising models than the alternative methods, such as cross validation and information criteria. However, due to the selection bias, also for these methods the estimated divergence between the reference and candidate models may be an unreliable indicator of the performance of the selected models. For this reason, the performance estimation of the found models should be done for example using cross validation outside the selection process.

Kirjallisuudessa on esitetty useita erilaisia menetelmiä bayesilaiseen mallin valintaan. Vaikka näiden menetelmien teoreettisia ominaisuuksia erityisesti mallin suorituskyvyn mittaamiseen on tutkittu runsaasti, kattavaa tutkimusta eri menetelmien eroista mallin valintaan äärelliselle aineistolle ei näytä olevan tehty. Tässä työssä käsitellään yleisimmin käytettyjä mallinvalintamenetelmiä ja vertaillaan näiden käyttäytymistä käytännön muuttujavalintaongelmissa, erityisesti tilanteissa joissa dataa on niukasti. Työn tarkoituksena on käsitellä myös valintaharhaksi kutsuttua ilmiötä ja korostaa sen merkitystä muuttujavalintaongelmissa. Vaikka työ käsittelee pääosin muuttujavalintaa, työssä esitetyt johtopäätökset ovat yleistettävissä myös muihin mallinvalintaongelmiin. Numeeriset esimerkit koostuvat simuloiduista testeistä sekä yhdestä reaalimaailman ongelmasta. Tulosten perusteella näyttää siltä, että vaikka yksittäisten mallien suorituskykyä voidaan arvioida harhattomasti, valintaharha voi vaikeuttaa mallinvalintaa huomattavasti ja johtaa ylisovittuneen mallin valintaan. Näyttää myös siltä, että referenssiprediktiiviset ja projektiomenetelmät ovat vähiten herkkiä valinnan aiheuttamalle harhalle ja kykenevät näin ollen löytämään parempia malleja kuin vaihtoehtoiset menetelmät kuten ristiinvalidointi ja informaatiokriteerit. Valintaharhasta johtuen kuitenkin myös näille menetelmille estimoitu eroavuus referenssimallin ja kandidaattimallien välillä voi antaa epäluotettavan kuvan valittujen mallien suorituskyvystä. Tästä syystä lopullinen valittujen mallien suorituskyvyn arviointi tulisi tehdä käyttäen esimerkiksi valintaprosessin ulkopuolista ristiinvalidointia.
Description
Supervisor
Lampinen, Jouko
Thesis advisor
Vehtari, Aki
Keywords
Bayesian model selection, variable selection, selection induced bias, cross validation, information criteria, reference model, projection, bayesilainen mallinvalinta, muuttujavalinta, valintaharha, ristiinvalidointi, informaatiokriteerit, referenssimalli, projektio
Other note
Citation