aalto1 untyped-item.component.html
A brief overview of conformal prediction
Loading...
Files
Aalto login required (access for Aalto Staff only).
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
ELEC3015
Degree programme
Language
en
Pages
30
Series
Abstract
Machine learning models are increasingly used in different practical applications. However, the predictions produced by these models are far from perfect. Quantifying the uncertainty related to these prediction is critical for usefull and trusthworthy applications of machine learning. Conformal prediction is a method to quantify uncertainty related to machine learning models. It gives distribution-free and rigorous guarantees and can be easily integrated with existing machine learning models. This Bachelor's thesis gives a brief, non-comprhenesive overview of conformal prediction methods, important theoretical results and recent advances by conducting a literature review. This thesis does present and discuss possible use cases, but pays little to no attention to the finer details of practical implementation. Results indicate that conformal prediction has been extended to work with increasingly difficult data and has seen practical applications accross wide variety of scientific fields.
Koneoppmismallien ennusteisiin liittyy useimmiten merkittävää epävarmuutta. Epävarmuuden arviointi (eng. Uncertainty Quantification) on siten tärkeää päätäksenteon kannalta hyödyllisten koneoppimissovellusten kehittämisessä. Koneoppimismallien suuren määrän vuoksi epävarmuuden arviointimenetelmän tulisi toimia mallista riippumatta. Käytännön sovelluksissa käytettävä data ei useinkaan noudata helposti tunnistettavaa todennäköisyysjakaumaa, joten epävarmuuden mittausmenetelmän tulisi myös olla jakaumasta riippumaton. Lopuksi menetelmän tulisi mieluiten olla helposti yhteensovitettavissa jo koulutettujen koneoppimismallien kanssa.
Kyseiset kriteerit täyttää menetelmä, joka voidaan suomeksi kääntää esimerkiksi konformatiiviseksi ennustamiseksi (eng. Conformal Prediction). Konformatiivinen ennustaminen on käytetyn datan todennäköisyysjakaumasta riippumaton metodi koneoppmismallien epävarmuuden mittaamiseksi. Konformatiivinen ennustamisen toiminnan perusperiaate on, että koneoppmismalli antaa luotettavampia ennusteita datapisteille, jotka ovat samankaltaisia mallin koulutuksessa käytettyihin datapisteisiin verrattuna. Vastaavasti koneoppmismalli antaa epäluotettavampia ennusteita datapisteille, jotka eroavat selkeästi aikaisemmasta datasta.
Konformatiivinen ennustaminen tuottaa luokittelumalleille ennustusjoukon ja regressiomalleille luottamusvälin, joka sisältää oikean ennustuksen ennalta määritettävällä todennäköisyydellä. Tämä teoreettinen tulos, joka voidaan kääntää marginaaliseksi kattavuudeksi (eng. Marginal Coverage), lupaa oikean lopputuloksen sisältyvän keskimäärin ennustusjoukkoon tai luottamusväliin.
Konformatiivisella ennustamisen rajoitteet voidaan jakaa kahteen osa-alueeseen: 1. Vaatimus datan vaihdettavuudesta ja 2. Ehdollisen kattavuuden osittainen mahdottomuus. Useimmat konformatiivisen ennustamisen versiot vaativat datan vaihdettavuutta (eng. exchangeability) ehtona marginaalisen kattavuuden voimassaololle. Data, jonka järjestys ei sisällä informaatiota, on vaihdettavaa. Esimerkiksi osakkeen hinnan aikasarjan käyttäminen konformatiivisen ennustamisen yhteydessä ei takaa marginaalista kattavuutta. Ehdollinen kattavuus (eng. Conditional Coverage) tarkoittaa oikean lopputuloksen ennustusjoukkoon tai luottamusväliin sisältymisen ehdollista todennäköisyyttä ennustamiseen käytetyllä datapisteellä. Kyseinen ominaisuus ei päde yleisesti konformatiivisen ennustamisen metodeille, vaikkakin samankaltaisia heikompia teoreettisia tuloksia on saavutettu.
Tämän kandidaatin työn tavoitteena on esitellä tiivistetyssä muodossa konformatiivinen ennustaminen, sen laajennukset ei-vaihdettavalle datalle ja miten sitä on hyödynnetty käytännössä. Opinnenäytetyössä ei käsitellä tarkemmin konformatiivisen ennustamisen toteuttamista käytännössä, vaan keskitytään teoreettisiin tuloksiin. Työn tarkoituksena ei ole käsitellä kaikkia mahdollisia konformatiivisen ennustamisen metodeja ja käyttötarkoituksia. Työssä esitellään ensin konformatiivinen ennustaminen ja tärkeimmät teoreettiset tulokset. Konformatiivisen ennustamisen kaksi tärkeintä versiota, täysi konformatiivinen ennustaminen (eng. Full Confomal Prediction) ja jaettu konformatiivinen ennustaminen (Split Conformal Prediction) käydään läpi. Lisäksi kolme erilaista tunnettua konformatiivisen ennustamisen metodia esitellään. Seuraavaksi käydään läpi ei-vaihdettavalla datalle kehitettyjä konformatiivisen ennustamisen metodeja. Lopuksi esitellään, miten konformatiivista ennustamista on hyödynnetty käytännössä eri tieteen aloilla.