Gamification in video labeling
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2019-06-17
Department
Major/Subject
Tietotekniikka
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
63 + 2
Series
Abstract
Machine learning is used in many fields in today's world. For many supervised and semi-supervised methods more accurate results can be achieved by gathering more labeled data. The increased amount of available data introduces problems to the labeling process. As a result, many crowdsourcing platforms have risen to help ease the labeling process. These crowdsourcing platforms offer monetary rewards for users that label data. However, the expenses start to be noticeable, as the databases grow larger. This thesis surveys the existing methods used in computer vision based data labeling, as well as designs and implements a game around video labeling using bounding boxes. Using gamification we aim to lower the cost of the labeling process. A user study was conducted to evaluate the game. User satisfaction and the labels created by the study participants were evaluated using a ground truth model. The user study showed us that building a simple game for the labeling process did not get the users engaged in the activity. The labels provided by the users were inaccurate. Area and standard deviation based filtering techniques were implemented to clear the data. These two filtering techniques helped to improve the accuracy of the labels. However, majority of the labels did not meet the accuracy criteria of 50\% intersection over the union on average. The inaccurate labels are partly caused by the low density of answers. Thus, the accuracies are expected to improve with more answers.Koneoppiminen on laajasti käytössä nykypäivän teollisuudessa. Usein ohjatut sekä puoli-ohjatut menetelmät tarkentuvat, kun uusia syöte-tulos pareja saadaan kerättyä. Kuitenkin kasvavan datan määrä Internetissä aiheuttaa ongelmia syöte-tulos parien keräämisessä. Kasvun seurauksena monia joukkoistamis alustoja on syntynyt. Näitä alustoja käyttämällä voidaan palkata monia ihmisiä suorittamaan pieniä tehtäviä rahallista korvausta vastaan. Tietokantojen kasvaessa suuriksi rahalliset kustannukset kasvavat myös huomattaviksi. Tämä työ tarkastelee nykyisiä menetelmiä joita käytetään syöte-tulos parien muodostamisessa konenäön algoritmeille. Lisäksi työssä suunniteltiin ja toteutettiin peli, joka loi syöte-tulos pareja rajaavien laatikoiden muodossa. Pelillistämisen avulla pyrittiin leikkaamaan syöte-tulos parien luomisen kustannuksia. Pelin evaluoimiskesi suoritettiin käyttäjätutkimus. Käyttäjätyytyväisyyden lisäksi käyttäjätutkimuksesta saatujen syöte-tulos parien tarkkuutta arvioitiin totuusmallia käyttäen. Käyttäjätutkimus paljasti, että yksinkertainen pelimme ei saanut käyttäjiä kiehtoutumaan merkkaamisesta. Käyttäjien vastauksista luodut syöte-tulos parit olivat epätarkkoja. Kahta suodatin menetelmää käytettiin syöte-tulos parien puhdistamiseksi. Nämä menetelmät auttoivat parantamaan luodun syöte-tulos tietokannan tarkkuutta. Suurimmassa osassa tarkkuus ei kuitenkaan saavuttanut halutta 50\% keskiarvoista tarkkuutta leikkauksen ja unionin suhteessa. Osa-syy mallin epätarkkuuteen oli alhainen vastaustiheys. Voidaan olettaa, että malli tarkentuisi uusien vastauksien seurauksena.Description
Supervisor
Xiao, YuThesis advisor
Byvshev, PetrKeywords
gamification, video labeling, labelling, crowdsourcing