Bayesian Hyperparameter Optimization of Gaze Estimation Neural Networks

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorVehtari, Aki
dc.contributor.authorKettunen, Jani
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.supervisorVehtari, Aki
dc.date.accessioned2016-12-22T11:09:59Z
dc.date.available2016-12-22T11:09:59Z
dc.date.issued2016-12-12
dc.description.abstractNeural networks have seen a surge in usage during the last decade. They involve several hyperparameters which need to be tuned in order to achieve the best performance. Lately Bayesian hyperparameter optimization methods have shown good results on this task. Gaze estimation has traditionally been done in controlled laboratory environments or with equipment not widely available. Lately there have been efforts to bring gaze estimation closer to the real world by creating datasets with realistic lighting and by using commercially mainstream cameras. Neural networks have previously been applied to these datasets, but the network structure has been left unoptimized. This thesis utilizes Bayesian hyperparameter optimization to improve the neural networks previously used for gaze estimation. The results show that Bayesian hyperparameter optimization does improve the previous results, and we improve on the previous best by 3 percent. However, we also show that Bayesian hyperparameter optimization left room for improvement by utilizing neural network ensembles to achieve a 6 percent improvement. More generally, we conclude that utilizing Bayesian hyperparameter optimization is a relatively easy way to increase network performance, but comes with its own caveats.en
dc.description.abstractNeuroverkkojen suosio on lisääntynyt viimeisen vuosikymmenen aikana. Jotta niitä voitaisiin käyttää tehokkaasti ja saavuttaa hyviä tuloksia, täytyy määritellä useita niin sanottuja hyperparametreja. Viime aikoina Bayesialaisilla menetelmillä on saatu hyviä tuloksia neuroverkkojen hyperparametrien optimoinnissa. Katseen suunnan tunnistus on perinteisesti tehty laboratorio-olosuhteissa tai käyttäen laitteistoa, jota ei ole laajalti saatavilla. Viime aikoina on kuitenkin julkaistu tutkimuksia liittyen katseen suunnan tunnistukseen realistisessa valaistuksessa ja käyttäen laajalti käytössä olevia kameroita. Näiden tuloksien saavuttamisessa on hyödynnetty myös neuroverkkoja, mutta neuroverkkojen hyperparametreja ei ole erikseen optimoitu. Tässä diplomityössä tutkitaan Bayesialaisen menetelmien käyttöä neuroverkkojen hyperparametrien optimointiin ja sovelletaan sitä katseen suunnan tunnistukseen. Tulokset osoittavat, että Bayesialainen hyperparametrioptimointi paransi tuloksia ja paransimme parasta tämänhetkistä tulosta 3 prosentilla. Näytämme kuitenkin myös, että hyperparametrioptimointi jätti parannusvaraa käyttämällä neuroverkko-ensemblea joka paransi tuloksia 6 prosentilla. Yleisemmällä tasolla havaitsimme, että Bayesialainen hyperparametrioptimointi on suhteellisen helppo tapa parantaa verkon suorituskykyä, mutta parhaiden tulosten saaminen vaatii myös ihmisen asiantuntemusta.fi
dc.format.extent50 + 8
dc.format.mimetypeapplication/pdfen
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/23934
dc.identifier.urnURN:NBN:fi:aalto-201612226227
dc.language.isoenen
dc.programmeMaster’s Programme in Computer, Communication and Information Sciencesfi
dc.programme.majorComputer Sciencefi
dc.programme.mcodeSCI3042fi
dc.rights.accesslevelopenAccess
dc.subject.keywordhyperparameter optimizationen
dc.subject.keywordneural networksen
dc.subject.keywordgaze estimationen
dc.subject.keyworddropouten
dc.titleBayesian Hyperparameter Optimization of Gaze Estimation Neural Networksen
dc.titleBayesialainen hyperparametrioptimointi katseen suuntaa arvioiville neuroverkoillefi
dc.typeG2 Pro gradu, diplomityöfi
dc.type.okmG2 Pro gradu, diplomityö
dc.type.ontasotMaster's thesisen
dc.type.ontasotDiplomityöfi
dc.type.publicationmasterThesis
local.aalto.idinssi55265
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
master_Kettunen_Jani_2016.pdf
Size:
734.13 KB
Format:
Adobe Portable Document Format