Gaussisten prosessien hyperparametrien yli integroinnin aproksimointi

Abstract

Tässä työssä tutkitaan kolmea numeerista menetelmää, jotka approksimoivat integraalia Gaussisten prosessien hyperparametrien posteriorijakauman yli. Tämän integraalin analyyttinen käsittely on usein mahdotonta. Työssä tutkitaan approksimaatioiden ominaisuuksia,ja niiden suorituskykyä verrataan keskenään sekä piste-estimaattia käyttävään menetelmään.

Perinteisesti integraali hyperparametrien posteriorin yli on laskettu käyttäen Markovin ketju Monte Carlo (MCMC) -menetelmiä. MCMC-menetelmät kuitenkin kärsivät Gaussisten prosessien laskennan raskaudesta, sillä Gaussisten prosessien kompleksisuus kasvaa käytettävän datan kasvaessa. Yksi vaihtoehtoinen menetelmä on käyttää piste-estimaattia hyperparametrien posteriorijakauman yli integroimisen sijaan. Tämä on laskennallisesti nopea tapa, mutta se jättää huomioimatta hyperparametreihin liittyvän epävarmuuden.

Tässä työssä esitetyt approksimaatiot pyrkivät ottamaan huomioon hyperparametrien epävarmuuden piste-estimaattia paremmin, mutta kuitenkin pysymään laskennallisesti kevyempinä kuin MCMC-menetelmät. Työn tulokset osoittavat että hyperparametrien posteriorin yli integroiminen on hyödyllistä tietyissä olosuhteissa. Lisäksi näytetään että pisteestimaatti tuottaa integrointimenetelmien kanssa yhtä tarkkoja tuloksia joissain tilanteissa. Käytettävän datan määrä ja mallien käyttötarkoitus vaikuttavat integrointimenetelmien tarpeellisuuteen, ja työssä tarkastellaan näitä olosuhteita.

This thesis examines three numerical approximations for the analytically intractable integral over the posterior distribution of the hyperparameters in Gaussian processes. The properties of the approximations are studied, and their performance is compared to each other and to a method using a point-estimate.

Traditionally the integral over the posterior of the hyperparameters is computed using Markov chain Monte Carlo (MCMC) -methods. However, MCMC methods suffer from a heavy computational burden of Gaussian processes, because the complexity of Gaussian process models grows with the amount of the data used. An alternative approach has been to use only a point estimate for the hyperparameters instead of integrating over their posterior distribution. This is a computationally attractive approach, but it ignores the uncertainty related to the hyperparameters.

The approximations discussed in this thesis attempt to take the uncertainty in the hyperparameters into consideration better than does a point estimate method, and to be computationally lighter than MCMC methods. The results demonstrate that the integration over the hyperparameters is beneficial in particular conditions. In addition, it is shown that a point estimate method yields equally accurate results with the integration methods in other situations. The amount of the data and the use of the models determine the need for the integration methods and the determining conditions are discussed in this work.