The impact of user interface content to translation quality in a crowdsourced translation system

Thumbnail Image

Files

master_Laakso_Tomi_2018.pdf (1.24 MB)

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2018-06-19

Department

Major/Subject

Information Networks

Mcode

SCI3047

Degree programme

Master’s Programme in Information Networks

Language

en

Pages

74 + 9

Series

Abstract

HandbookGermany.de is Europe's biggest online information portal for refugees. It offers them information about different aspects of living in Germany. The content of the website has to be translated into commonly spoken languages among refugees. Crowdsourcing the translations was identified as a potential method to reduce costs and time requirements of traditional translators. Even though crowdsourcing can often create poor quality translations, the development of a new crowdsourced translation system was started. To tackle the quality issues, the system has to prevent the unsatisfactory responses of crowd workers from becoming the end results, and to enable the workers to write better translations to begin with. We focused on improving the user interfaces shown to crowd workers. We developed three user interface variants and tested those alongside the first version of the system. The variants showed different content, and two of those simulated information that could be received from a machine translation backend. The tests were run with English-to-Arabic language pair. We analyzed the results and compared the variants with the initial system and each other. For this, we used automatic translation evaluation metric BLEU and qualitative methods. Our findings tell that showing the surrounding sentences around the original sentence helps crowd workers to write better quality translations. We conclude also that crowd workers improve the quality of existing translations poorly when they have to find the mistakes in the translations themselves. Our system needs a more advanced workflow to benefit from the machine translation backend. After modifications, the system should be retested preferably with a larger sample size. Future research could try to identify the optimal amount of visible context around original sentence.

HandbookGermany.de on Euroopan suurin verkosta löytyvä pakolaisille tarkoitettu tietoportaali. Se tarjoaa pakolaisille tietoa eri aiheista liittyen Saksassa elämiseen. Verkkosivun sisältö on käännettävä pakolaisten yleisesti käyttämille kielille. Käännösten joukkoistaminen tunnistettiin potentiaaliseksi tavaksi säästää rahaa ja aikaa verrattuna perinteisiin kielenkääntäjiin. Vaikka joukkoistaminen voi usein tuottaa huonolaatuisia käännöksiä, uutta joukkoistettua käännöspalvelua alettiin kehittämään. Laatuongelmien ratkaisemiseksi palvelun on estettävä heikkojen vastausten päätyminen lopullisiksi tuloksiksi sekä luoda joukkoistajille alusta alkaen mahdollisuuksia parempien käännösten kirjoittamiseen. Keskityimme parantamaan joukkoistajille näytettäviä käyttöliittymiä. Kehitimme niistä kolme eri muunnelmaa, joita testasimme palvelun ensimmäisen version ohella. Muunnelmien sisältö erosi keskenään toisistaan, ja kaksi niistä simuloi tietoa, jota voisi saada konekäännösohjelmasta. Testeissä käännettiin englantia arabiaksi. Analysoimme tulokset ja vertasimme muunnelmia alkuperäisen palvelun kanssa sekä keskenään. Tässä käytimme automaattista arviointimittaria, BLEU:ta, sekä kvalitatiivisia menetelmiä. Löydöksemme kertovat, että ympäröivien lauseiden näyttäminen käännettävän lauseen ympärillä auttaa joukkoistajia kirjoittamaan laadukkaampia käännöksiä. Päättelemme myös joukkoistajien parantavan olemassa olevia käännöksiä huonosti, jos heidän täytyy etsiä virheet niistä itse. Palvelumme tarvitsee kehittyneemmän tavan järjestää tehtäviä hyötyäkseen konekäännösohjelmasta. Muutosten jälkeen palvelua kannattaisi testata uudestaan mielellään suuremmalla otoksella. Jatkotutkimus voisi selvittää, mikä on optimaalinen määrä näkyvälle kontekstille käännettävän lauseen ympärillä.

Description

Supervisor

Nieminen, Marko

Thesis advisor

Nieminen, Mika

Keywords

crowdsourcing, user interfaces, translation quality, BLEU metric, A/B testing, small sample size

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-201806293929

Collections

[dipl] Perustieteiden korkeakoulu / SCI