Applications of human feedback in Gaussian processes
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2021-10-29
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021
Major/Subject
Mcode
Degree programme
Language
en
Pages
68 + app. 80
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 124/2021
Abstract
Gaussian processes (GPs) are a widely established family of non-parametric models used to model latent functions in regression and classification tasks. In GPs, the prior assumptions are encoded directly in the function space by defining the prior mean and covariance of the latent function. This approach provides flexibility over parametric models, where the exact parametric form of the latent function has to be fixed even if the knowledge of the shape of the latent function is limited. This relative flexibility of GPs has made them a popular model in many disciplines. One problem with this flexibility is the relatively slow convergence of the posterior uncertainties. In practical applications, this might be an issue due to the data often being expensive to collect in time, resources, or money, which often results in the available datasets being sparse. There are two ways of solving the problem of wide posterior uncertainties caused by the sparsity of the data. The first way is to introduce new model assumptions in the form of prior belief. As GPs are defined by their prior mean and covariance, prior belief is traditionally encoded in the functional form of these or into the hyper-prior distributions of the parameters of these functions. This thesis studies new use cases for an alternative way of adding prior belief to GPs, virtual observations. Virtual observations are unobserved data that are used to encode prior assumptions, like function values or function derivative values for specific input values. Another way of solving the problem of sparsity is by collecting new data. If this is possible, the new data is often collected iteratively by querying at inputs where observations are potentially most beneficial. This work studies methods of using and gathering new types of data that are based on comparisons between data points. If the new data is provided by a human expert, data that is based on comparisons might be less noisy and unbiased than direct observations. The contributions of this dissertation are mainly methodological. The applicability of the techniques developed in this dissertation is tested with datasets from various fields but in particular, from the field of medical research. The results presented in this thesis take small steps in providing more tools for GPs to be used in practical applications with sparse datasets.Gaussiset prosessit (GP:t) on laajasti käytetty epäparametrinen malliperhe, jota käytetään latenttien funktioiden mallintamiseen regressio- ja luokittelutehtävissä. Gaussisissa prosesseissa priorioletukset koodataan funktioavaruuteen määrittelemällä latentin funktion priori kovarianssi ja keskiarvo. Tämä lähestymistapa on yleensä joustavampi kuin parametristen mallien käyttö, joissa funktion parametrinen muoto joudutaan päättämään usein puutteellisen tiedon varassa. GP:ien suhteessa suurempi joustavuus on tehnyt niistä suositun mallin monilla tieteenaloilla. Joustavuuden ongelmana kuitenkin on posterioriepävarmuuden hitaampi suppeneminen. Käytännön sovelluksissa tämä saattaa olla ongelma, sillä tietoaineistojen kerääminen on usein kallista suhteessa käytettävissä olevaan aikaan, resursseihin tai rahaan ja tästä johtuen käytettävissä olevat aineistot ovat usein harvoja. Harvojen tietoaineistojen ongelmaa voidaan ratkaista kahdella tavalla. Ensimmäinen tapa on tehdä uusia priorioletuksia. Koska Gaussiset prosessit määritellään kovarianssi- ja keskiarvofunktioilla, priorioletukset voidaan koodata suoraan niihin tai niiden parametrien priorijakaumiin. Tämä väitöskirja tarjoaa uusia tapoja priorioletusten vaihtoehtoiseen esittämiseen niin kutsuttuilla oletettuilla havainnoilla. Oletetut havainnot ovat havaitsematonta tietoaineistoa, jota käytetään havaitun aineiston tapaan priorioletuksien, kuten funktion tai sen derivaatan arvojen, koodaamiseen. Toinen tapa harvojen tietoaineistojen ongelman ratkaisemiseen on uusien havaintojen teko. Jos tämä on mahdollista, se tehdään yleensä iteratiivisesti keräämällä havainto sellaisesta sijainnista josta siitä on todennäköisimmin eniten hyötyä. Tässä väitöskirjassa tutkitaan uusien tietoaineistotyyppien keräämistä, jotka perustuvat latentin funktion arvojen vertailuun eri pisteissä. Jos tietoaineistoja kartutetaan esittämällä kysymyksiä asiantuntijalle, saattavat vertailuihin perustuvat vastaukset olla vähemmän kohinaisia ja vinoutuneita kuin suorat arviot latentin funktion arvosta. Tämän väitöskirjan kontribuutiot ovat suurelta osin menetelmällisiä. Kehitettyjä menetelmiä testattiin eri tieteenaloilta, ja erityisesti lääketieteellisestä tutkimuksesta, peräisin oleviin tietoaineistoihin. Väitöskirjassa esitetyt tulokset ovat pieniä lisäaskelia Gaussisten prosessien soveltamiseen entistä pienemmillä tietoaineistoilla.Description
Supervising professor
Vehtari, Aki, Prof., Aalto University, Department of Computer Science, FinlandThesis advisor
Vehtari, Aki, Prof., Aalto University, Department of Computer Science, FinlandKeywords
Gaussian processes, Bayesian optimization, Gaussinen prosessi, Bayesilainen optimointi
Other note
Parts
-
[Publication 1]: Eero Siivola, Aki Vehtari, Jarno Vanhatalo, Javier González, Michael Riis Andersen. Correcting boundary over-exploration deficiencies in Bayesian optimization with virtual derivative sign observations. In International Workshop on Machine Learning for Signal Processing 2018, Aalborg (Denmark), Proceedings of MLSP2018, Volume 28, pages 1–6. September 2018.
DOI: 10.1109/MLSP.2018.8516936 View at publisher
-
[Publication 2]: Iiris Sundin, Peter Schulam, Eero Siivola, Aki Vehtari, Suchi Saria, Samuel Kaski. Active learning for decision-making from imbalanced observational data. In International Conference on Machine Learning 2019, Long Beach (California, USA), Proceedings of Machine Learning Research, Volume 97, pages 6046-6055, June 2019.
Full text in Acris/Aaltodoc: http://urn.fi/URN:NBN:fi:aalto-201907304532
-
[Publication 3]: Eero Siivola, Sebastian Weber, Aki Vehtari. Qualifying drug dosing regimens in pediatrics using Gaussian processes. Statistics in Medicine, Volume 40, Issue 10, pages 2355–2372. May 2021.
DOI: 10.1002/sim.8907 View at publisher
- [Publication 4]: Eero Siivola, Akash Kumar Dhaka, Michael Riis Andersen, Javier González, Pablo García Moreno, Aki Vehtari. Preferential batch Bayesian optimization. Accepted for publication in International Workshop on Machine Learning for Signal Processing 2021, Cold Coast (Australia). Accepted for publication. 6 pages. Available online at https://arxiv.org/abs/2003.11435, October 2021.
-
[Publication 5]: Eero Siivola, Andrei Paleyes, Javier González, Aki Vehtari. Good practices for Bayesian optimization of high dimensional structured spaces. Applied AI Letters, Volume 2, Issue e24, pages 1–12. May 2021.
DOI: 10.1002/ail2.24 View at publisher