Gamification in video labeling

Abstract

Machine learning is used in many fields in today's world. For many supervised and semi-supervised methods more accurate results can be achieved by gathering more labeled data. The increased amount of available data introduces problems to the labeling process. As a result, many crowdsourcing platforms have risen to help ease the labeling process. These crowdsourcing platforms offer monetary rewards for users that label data. However, the expenses start to be noticeable, as the databases grow larger.

This thesis surveys the existing methods used in computer vision based data labeling, as well as designs and implements a game around video labeling using bounding boxes. Using gamification we aim to lower the cost of the labeling process.

A user study was conducted to evaluate the game. User satisfaction and the labels created by the study participants were evaluated using a ground truth model. The user study showed us that building a simple game for the labeling process did not get the users engaged in the activity. The labels provided by the users were inaccurate. Area and standard deviation based filtering techniques were implemented to clear the data. These two filtering techniques helped to improve the accuracy of the labels. However, majority of the labels did not meet the accuracy criteria of 50\% intersection over the union on average. The inaccurate labels are partly caused by the low density of answers. Thus, the accuracies are expected to improve with more answers.

Koneoppiminen on laajasti käytössä nykypäivän teollisuudessa. Usein ohjatut sekä puoli-ohjatut menetelmät tarkentuvat, kun uusia syöte-tulos pareja saadaan kerättyä. Kuitenkin kasvavan datan määrä Internetissä aiheuttaa ongelmia syöte-tulos parien keräämisessä. Kasvun seurauksena monia joukkoistamis alustoja on syntynyt. Näitä alustoja käyttämällä voidaan palkata monia ihmisiä suorittamaan pieniä tehtäviä rahallista korvausta vastaan. Tietokantojen kasvaessa suuriksi rahalliset kustannukset kasvavat myös huomattaviksi.

Tämä työ tarkastelee nykyisiä menetelmiä joita käytetään syöte-tulos parien muodostamisessa konenäön algoritmeille. Lisäksi työssä suunniteltiin ja toteutettiin peli, joka loi syöte-tulos pareja rajaavien laatikoiden muodossa. Pelillistämisen avulla pyrittiin leikkaamaan syöte-tulos parien luomisen kustannuksia.

Pelin evaluoimiskesi suoritettiin käyttäjätutkimus. Käyttäjätyytyväisyyden lisäksi käyttäjätutkimuksesta saatujen syöte-tulos parien tarkkuutta arvioitiin totuusmallia käyttäen. Käyttäjätutkimus paljasti, että yksinkertainen pelimme ei saanut käyttäjiä kiehtoutumaan merkkaamisesta. Käyttäjien vastauksista luodut syöte-tulos parit olivat epätarkkoja. Kahta suodatin menetelmää käytettiin syöte-tulos parien puhdistamiseksi. Nämä menetelmät auttoivat parantamaan luodun syöte-tulos tietokannan tarkkuutta. Suurimmassa osassa tarkkuus ei kuitenkaan saavuttanut halutta 50\% keskiarvoista tarkkuutta leikkauksen ja unionin suhteessa. Osa-syy mallin epätarkkuuteen oli alhainen vastaustiheys. Voidaan olettaa, että malli tarkentuisi uusien vastauksien seurauksena.