Methods of Active Learning with Model Selection

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Helsinki University of Technology | Master's thesis
Checking the digitized thesis and permission for publishing
Instructions for the author
Location:
P1 Ark Aalto

Authors

Date

2005

Department

Tietotekniikan osasto

Major/Subject

Informaatiotekniikka

Mcode

T-115

Degree programme

Language

en

Pages

(9) + 55 s. + liitt. 6

Series

Abstract

Aktiivisessa oppimisessa valitaan syötepisteet siten, että ne ovat optimaalisia yhdelle mallille. Mallinvalinnassa on päinvastaisesti annettu joukko näytteitä, joita käytetään usean mallin opettamiseen. Lopuksi valitaan paras malli. Näiden ongelmien samanaikaista ratkaisemista kutsutaan yhtäaikaisen aktiivisen oppimisen ja mallinvalinnan ongelmaksi, jota ei voi ratkaista yksinkertaisesti yhdistämällä tavanomaisia aktiivisen oppimisen ja mallinvalinnan menetelmiä siten, että kaikki syötepisteet valittaisiin yhdellä kertaa. Tässä diplomityössä ongelma on lievennetty siten, että syötepisteitä valitaan yksi kerrallaan. Muunnetulle ongelmalle esitetään kolme ratkaisumenetelmää, joista ensimmäinen valitsee syötepisteen, jonka arvioidaan tuottavan parhaan tuloksen kaikista syötepisteistä mallista riippumatta. Toisessa menetelmässä valitaan lupaavin malli ja optimoidaan uusi syötepiste valitulle mallille. Nämä menetelmät voivat ylisovittaa syötepisteitä yhdelle mallille, joka myöhemmin havaitaan huonoksi. Tämän ongelman välttämiseksi ehdotetaan myös kolmatta menetelmää, jossa seuraava syötepiste optimoidaan useille hyville malleille. Menetelmät toteutetaan algoritmeiksi, joita, verrataan toisiinsa ja passiiviseen oppimiseen teoreettisten ja numeeristen analyysien avulla. Tulosten perusteella kolmas menetelmä osoittautuu muita paremmaksi.

Description

Supervisor

Simula, Olli

Thesis advisor

Sugiyama, Masashi

Keywords

active learning, aktiivinen oppiminen, model selection, mallinvalinta, active learning with model selection, yhtäaikainen aktiivinen oppiminen ja mallinvalinta, generalization error, kovarianssisiirtymä, covariate shift

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-2020120452128

Collections

[dipl] Teknillinen korkeakoulu / TKK