Assessment of predictive relevance of covariates in Gaussian process models
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2018-03-13
Department
Major/Subject
Tilastotiede
Mcode
SCI3063
Degree programme
Master’s Programme in Engineering Physics
Language
en
Pages
57
Series
Abstract
The thesis introduces two novel covariate selection methods for Gaussian process models. The methods sort the covariates of a full Gaussian process model based on predictive relevance by examining the posterior predictive distribution in the vicinity of the training points. Experiments conducted on synthetic and real world data sets demonstrate improved variable selection compared to automatic relevance determination, a commonly used existing method. The new methods are shown to be more consistent and produce submodels with a better predictive performance. The proposed methods are expected to be useful in simplifying and interpreting complex Gaussian process models.Tässä työssä esitetään kaksi uutta muuttujanvalintamenetelmää Gaussisten prosessien avulla rakennetuille tilastollisille malleille. Menetelmät järjestävät kovariaatit perustuen niiden kykyyn ennustaa selitettävän muuttujan arvoja. Tämä tehdään tarkastelemalla täyden mallin tuottamia ennusteita lähellä mallin sovitukseen käytettyjä datapisteitä. Kovariaattien järjestyksen perusteella voidaan rakentaa yksinkertaisempi malli käyttämällä vain parhaita muuttujia. Menetelmien kykyä järjestää kovariaatit niiden merkitsevyyden mukaan tutkittiin simuloitujen sekä avointen tietoaineistojen avulla rakennetuissa muuttujanvalintaongelmissa. Tulokset osoittavat, että uudet menetelmät järjestävät muuttujat johdonmukaisemmin kuin yleisesti käytetty olemassa oleva ARD-menetelmä, sekä valitut muuttujat ennustavat selitettävää muuttujaa paremmin. Esiteltyjen menetelmien uskotaan olevan hyödyksi yksinkertaistamaan ja tulkitsemaan monimutkaisia Gaussisten prosessien avulla rakennettuja malleja.Description
Supervisor
Vehtari, AkiThesis advisor
Vehtari, AkiKeywords
Gaussian process, Bayesian inference, model selection, covariate selection