Bayesian meta-learning for task adaptation using expert-inferred task similarities

Thumbnail Image

Files

master_Mäkinen_Lotta_2025.pdf (561.56 KB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-04-28

Department

Major/Subject

Applied Mathematics

Mcode

Degree programme

Master's Programme in Mathematics and Operations Research

Language

en

Pages

55

Series

Abstract

Meta-learning, the concept of learning-to-learn, refers to machine learning methods that leverage prior knowledge across tasks to enable faster and more efficient adaptation to new tasks. However, the success of meta-learning typically depends on the similarity between the source and target tasks, and its performance can deteriorate under distribution shift. This thesis proposes a novel adaptation pipeline for Bayesian meta-learning, focusing on enabling efficient task adaptation through expert-inferred task similarities. We build upon a hierarchical Bayesian meta-learning framework and introduce a human-in-the-loop approach, where expert feedback is used to infer task similarities and construct informative priors for new tasks. The proposed pipeline is evaluated on synthetic datasets, assessing both the quality of task similarity inference and the downstream adaptation performance. Our experiments show that task embeddings inferred from noisy expert feedback improve adaptation to new tasks, with performance approaching oracle-level adaptation under low expert noise. Furthermore, active querying strategies based on Bayesian experimental design achieve better inference quality with fewer expert queries compared to random querying. These results demonstrate the effectiveness of expert-driven prior construction for improving task adaptation in Bayesian meta-learning.

Metakoneoppiminen eli "oppimaan oppiminen" viittaa koneoppimismenetelmiin, jotka hyödyntävät aiemmista tehtävistä kertynyttä tietoa mahdollistamaan nopeamman ja tehokkaamman sopeutumisen uusiin tehtäviin. Metakoneoppimisen tehokkuus riippuu kuitenkin olennaisesti lähde- ja kohdetehtävien samankaltaisuudesta, ja sen suorituskyky voi heikentyä, jos tehtävien jakaumissa tapahtuu muutoksia. Tämä diplomityö esittelee uuden sopeutumismenetelmän bayesilaiseen metakoneoppimiseen, jossa pyritään tehostamaan mallin sopeutumista uusiin tehtäviin perustuen asiantuntija-arvioihin tehtävien samankaltaisuudesta. Malli pohjautuu hierarkiseen bayesilaiseen metakoneoppimiskehykseen ja hyödyntää "ihminen silmukassa"-lähestymistapaa, jossa asiantuntijapalautteen avulla päätellään tehtävien samankaltaisuuksia ja muodostetaan informatiivisia priorijakaumia uusille tehtäville. Menetelmän toimivuutta arvioidaan synteettisillä aineistoilla tarkastelemalla sekä onnistumista tehtävien samankaltaisuuksien päättelyssä että mallin sopeutumista uuteen tehtäviin tämän tiedon perusteella. Kokeet osoittavat, että epävarmastakin asiantuntijapalautteesta päätellyt tehtävien samankaltaisuudet parantavat mallin sopeutumiskykyä. Matalan asiantuntijaepävarmuuden kohdalla päätellyillä samankaltaisuuksilla saavutetaan lähes samankaltainen suorituskyky kuin todellista samankaltaisuustietoa käytettäessä. Lisäksi aktiivinen kyselystrategia, joka pohjautuu bayesilaiseen kokeiden suunnitteluun, mahdollistaa paremman päättelytarkkuuden vähemmillä asiantuntijakyselyillä verrattuna satunnaisiin kyselyihin. Tulokset osoittavat, että asiantuntijatietoon perustuva priorijakaumien muodostaminen tehostaa sopeutumista uusiin tehtäviin bayesilaisessa metakoneoppimisessa.

Description

Supervisor

Kaski, Samuel

Thesis advisor

Loría, Jorge

Keywords

meta-learning, Bayesian meta-learning, task adaptation, distribution shift, Bayesian inference, knowledge elicitation

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202506174903

Collections

[dipl] Perustieteiden korkeakoulu / SCI