Bayesian Hyperparameter Optimization of Gaze Estimation Neural Networks

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2016-12-12
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
50 + 8
Series
Abstract
Neural networks have seen a surge in usage during the last decade. They involve several hyperparameters which need to be tuned in order to achieve the best performance. Lately Bayesian hyperparameter optimization methods have shown good results on this task. Gaze estimation has traditionally been done in controlled laboratory environments or with equipment not widely available. Lately there have been efforts to bring gaze estimation closer to the real world by creating datasets with realistic lighting and by using commercially mainstream cameras. Neural networks have previously been applied to these datasets, but the network structure has been left unoptimized. This thesis utilizes Bayesian hyperparameter optimization to improve the neural networks previously used for gaze estimation. The results show that Bayesian hyperparameter optimization does improve the previous results, and we improve on the previous best by 3 percent. However, we also show that Bayesian hyperparameter optimization left room for improvement by utilizing neural network ensembles to achieve a 6 percent improvement. More generally, we conclude that utilizing Bayesian hyperparameter optimization is a relatively easy way to increase network performance, but comes with its own caveats.

Neuroverkkojen suosio on lisääntynyt viimeisen vuosikymmenen aikana. Jotta niitä voitaisiin käyttää tehokkaasti ja saavuttaa hyviä tuloksia, täytyy määritellä useita niin sanottuja hyperparametreja. Viime aikoina Bayesialaisilla menetelmillä on saatu hyviä tuloksia neuroverkkojen hyperparametrien optimoinnissa. Katseen suunnan tunnistus on perinteisesti tehty laboratorio-olosuhteissa tai käyttäen laitteistoa, jota ei ole laajalti saatavilla. Viime aikoina on kuitenkin julkaistu tutkimuksia liittyen katseen suunnan tunnistukseen realistisessa valaistuksessa ja käyttäen laajalti käytössä olevia kameroita. Näiden tuloksien saavuttamisessa on hyödynnetty myös neuroverkkoja, mutta neuroverkkojen hyperparametreja ei ole erikseen optimoitu. Tässä diplomityössä tutkitaan Bayesialaisen menetelmien käyttöä neuroverkkojen hyperparametrien optimointiin ja sovelletaan sitä katseen suunnan tunnistukseen. Tulokset osoittavat, että Bayesialainen hyperparametrioptimointi paransi tuloksia ja paransimme parasta tämänhetkistä tulosta 3 prosentilla. Näytämme kuitenkin myös, että hyperparametrioptimointi jätti parannusvaraa käyttämällä neuroverkko-ensemblea joka paransi tuloksia 6 prosentilla. Yleisemmällä tasolla havaitsimme, että Bayesialainen hyperparametrioptimointi on suhteellisen helppo tapa parantaa verkon suorituskykyä, mutta parhaiden tulosten saaminen vaatii myös ihmisen asiantuntemusta.
Description
Supervisor
Vehtari, Aki
Thesis advisor
Vehtari, Aki
Keywords
hyperparameter optimization, neural networks, gaze estimation, dropout
Other note
Citation