Humans as Information Sources in Bayesian Optimization
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2024-03-28
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024
Major/Subject
Mcode
Degree programme
Language
en
Pages
82 + app. 146
Series
Aalto University publication series DOCTORAL THESES, 49/2024
Abstract
Humans are at the heart of the current computational revolution, not only as end-users, but also as integral contributors to computational systems such as machine learning (ML) solutions. This is because these systems depend on data that mainly originate from human activities, such as textual content, artistic creations, or transcribed audio clips. This data is not the only human-derived information flowing into the process, as human expertise plays an important role at all stages of ML development. This thesis reviews methodologies for expert knowledge elicitation, and delves into a promising approach to harnessing humans as a source of information, which is based on the following two ideas. The first idea is to assume the existence of a latent "intuition function" that describes an expert's knowledge over the problem of interest. The intuition function can only be accessed through queries that allow for human feedback, such as preferential queries. Learning the intuition function presents a tractable machine learning problem that can be approached through Gaussian process learning with a probabilistic user model on how the expert data is generated. The second idea pertains to how queries should be selected for an expert and how the expert's knowledge should be applied to the problem of interest. Multi-fidelity Bayesian optimization (MFBO) is a global optimization approach that incorporates multiple information sources with differing levels of accuracy and cost, accelerating the search for optimal solutions. Treating humans as auxiliary information sources within the MFBO framework effectively tackles issues concerning knowledge integration and sample-efficiency. This thesis addresses three problems that arise when humans serve as information sources in Bayesian optimization: (i) the requirement for natural human interaction, (ii) the inherent unreliability of human input, and (iii) the high cost associated with human labor. The articles included in the thesis present novel algorithms as viable solutions to the problems (i), (ii), and (iii). Specifically, we identify problem (ii) as an issue of negative transfer, and we provide an algorithm that establishes theoretical bounds on the negative transfer gap.Ihmiset ovat nykyisen laskennallisen vallankumouksen keskiössä, ei vain loppukäyttäjinä, vaan myös olennaisina osina laskennallisissa järjestelmissä kuten koneoppimisratkaisuissa. Nämä järjestelmät riippuvat pääasiassa ihmisen toiminnasta peräisin olevasta datasta, kuten tekstisisällöstä, taiteellisista luomuksista tai transkriptioista. Tämä data ei ole ainoa ihmisperäinen informaatio, joka virtaa järjestelmiin, koska ihmisen asiantuntemus on tärkeässä roolissa kaikissa koneoppimisjärjestelmän kehitysvaiheissa. Tämä väitöskirja tarkastelee asiantuntijatiedon elisitaatiomenetelmiä ja syventyy lupaavaan lähestymistapaan hyödyntää ihmisiä tietolähteenä, joka perustuu seuraaviin kahteen ideaan. Ensimmäinen idea on olettaa, että on olemassa latentti "intuitiofunktio", joka kuvaa asiantuntijan tietoa kiinnostuksen kohteena olevasta ongelmasta. Intuitiofunktiosta voidaan saavuttaa tietoa vain kyselyjen kautta, jotka sallivat ihmispalautteen, kuten preferenssikyselyjen muodossa. Intuitiofunktion oppiminen esittää ratkaistavissa olevan koneoppimisongelman, jota voidaan lähestyä todennäköisyysmallilla, joka kuvaa asiantuntijasta saadun datan syntymistä perustuen gaussisien prosessien malleihin. Toinen ajatus liittyy siihen, mitä kyselyjä tulisi valita asiantuntijalle ja miten asiantuntijan tietoa tulisi soveltaa kiinnostuksen kohteena olevaan ongelmaan. Multifideliteetti bayesiläinen optimointi (MFBO) on globaali optimointimenetelmä, joka yhdistää useita tietolähteitä, joilla on eri tarkkuudet ja kustannukset, nopeuttaen optimaalisten ratkaisujen etsintää. Ihmisten käyttäminen lisäinformaationlähteinä MFBO-kehyksessä mahdollistaa tehokkaan tietojen integroinnin ja asiantuntijalta kysyttyjen kyselyiden tehokkaan valitsemisen. Tämä väitöskirja käsittelee kolmea ongelmaa, jotka kohdataan, kun ihmiset toimivat tietolähteinä bayesiläisessä optimoinnissa: (i) vaatimus luonnollisesta ihmisten vuorovaikutuksesta, (ii) ihmislähtöisen datan luontainen epäluotettavuus ja (iii) korkeat kustannukset, jotka liittyvät ihmistyöhön. Väitöskirjaan sisältyvät artikkelit esittävät uusia algoritmeja kelpoisina ratkaisuina ongelmiin (i), (ii) ja (iii). Erityisesti tunnistamme ongelman (ii) negatiivisen siirron (engl. negative transfer) ongelmaksi, ja esitämme algoritmin, joka määrittää teoreettiset rajat negatiiviselle siirrolle.Description
Supervising professor
Kaski, Samuel, Prof., Aalto University, Department of Computer Science, FinlandKeywords
elicitation, Bayesian optimization, elisitaatio, bayesiläinen optimointi
Other note
Parts
-
[Publication 1]: Mikkola, P., Todorovi´c, M., Järvi, J., Rinke, P., and Kaski, S.. Projective Preferential Bayesian Optimization. In Proceedings of the 37th International Conference on Machine Learning, Volume 119, p.6884–6892, July 2020.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202106027165
-
[Publication 2]: Mikkola, P., Martinelli, J., Filstroff, J., and Kaski, S.. Multi-Fidelity Bayesian Optimization with Unreliable Information Sources. In Proceedings of the 26th International Conference on Artificial Intelligence and Statistics, Volume 206, p.7425–7454, April 2023.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202304262855
-
[Publication 3]: Mikkola, P., Martin, O. A., Chandramouli, S., Hartmann, M., Abril Pla, O., Thomas, O., Pesonen, P., Corander, J., Vehtari, A., Kaski, S., Bürkner, P-C., and Klami, A.. Prior knowledge elicitation: The past, present, and future. Bayesian Analysis, Advance Publication, p.1–33, May 2023.
DOI: 10.1214/23-BA1381 View at publisher
-
[Publication 4]: Louis Filstroff, Iiris Sundin, Petrus Mikkola, Aleksei Tiulpin, Juuso Kylmäoja, Samuel Kaski. Targeted Active Learning for Bayesian Decision-Making. Submitted to a journal, August 2023.
DOI: 10.48550/arXiv.2106.04193 View at publisher