Detection of Mahjong tiles from videos using computer vision

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Ylioinas, Juha
dc.contributor.author Hirvola, Ossi
dc.date.accessioned 2019-06-23T15:05:38Z
dc.date.available 2019-06-23T15:05:38Z
dc.date.issued 2019-06-17
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/38947
dc.description.abstract Mahjong is a popular 4-player game originating from China. The result of a single game of Mahjong involves considerable amount of chance, similarly to that of a few hands of Poker. Hence, long term data analysis is often required to evaluate one's decisions. There are internet Mahjong platforms that provide replays of past games, but no solution providing digital replays for games played in person exists. In this thesis, we approached this problem by the means of object detection. Recently in object detection, convolutional neural network (CNN) based methods have been popular. To train these methods, large amounts of labeled training data is required. For this, we implemented synthetic data generator that produces synthetic images containing Mahjong tiles. We used synthetic images to train single-shot multibox detector (SSD), our object detector of choice. The SSD network that was trained solely on synthetic training data performed remarkably on synthetic validation data, but did not reach desirable accuracy on real video data. However, by introducing scarce amount of real images as part of the training data, we achieved reasonable accuracy on Mahjong tile detection from real video data. Fine tuning the synthetic data generation to better correspond to real data, as well as implementing error correction to further post process object proposals are potential future improvements. en
dc.description.abstract Mahjong on suosittu kiinalainen neljän pelaajan peli. Yksittäisen mahjong-pelin lopputulema riippuu paljon sattumasta, samaan tapaan kuin esimerkiksi muutaman pokerikäden lopputulema. Tämän vuoksi siirtojen hyvyyttä arvioidessa on usein tarvetta analysoida pelejä pitkän aikavälin yli. Monet internetin digitaaliset mahjong alustat tarjoavat pelaajalle aiempien pelien tallenteet, mutta tällaista ratkaisua ei ole fyysisesti pelatuille peleille. Tässä työssä lähestymme tätä ongelmaa kohteentunnistuksen avulla. Viime aikoina konvoluutioneuroverkkoihin pohjautuvat menetelmät ovat olleet suosittuja kohteentunnistuksessa. Näiden menetelmien opettamiseen tarvitaan suuria määriä ennalta merkittyä opetusdataa. Tästä syystä kehitimme ohjelman, joka tuottaa mahjong-tiiliä sisältäviä synteettisiä kuvia. Käytämme näitä synteettisiä kuvia opettamaan Single-shot multibox detector (SSD) -kohteentunnistusmenetelmää. Kokonaan synteettisellä datalla opetettu SSD neuroverkko tuotti erittäin tarkkoja tuloksia synteettisellä testidatalla, mutta ei saavuttanut toivottua tarkkuutta oikeille videoille. Kuitenkin lisäämällä opetusdataan hieman aitoja kuvia synteettisten kuvien ohelle, menetelmä saavutti kohtuullisen tarkkuuden mahjong-tiilien tunnistuksessa. Tulevaisuudessa tarkkuutta voidaan pyrkiä parantamaan hienosäätämällä synteettisen datan generointia vastaamaan paremmin aitoja kuvia sekä parantamalla virheenkorjausmenetelmiä. fi
dc.format.extent 49
dc.format.mimetype application/pdf en
dc.language.iso en en
dc.title Detection of Mahjong tiles from videos using computer vision en
dc.title Mahjong-tiilien tunnistus videoista konenäöllä fi
dc.type G2 Pro gradu, diplomityö fi
dc.contributor.school Perustieteiden korkeakoulu fi
dc.subject.keyword computer vision en
dc.subject.keyword object detection en
dc.subject.keyword convolutional neural networks en
dc.subject.keyword ssd en
dc.identifier.urn URN:NBN:fi:aalto-201906234013
dc.programme.major Computer Science fi
dc.programme.mcode SCI3042 fi
dc.type.ontasot Master's thesis en
dc.type.ontasot Diplomityö fi
dc.contributor.supervisor Kannala, Juho
dc.programme Master’s Programme in Computer, Communication and Information Sciences fi
local.aalto.electroniconly yes
local.aalto.openaccess yes


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account