Puhemuotoisten konekäännösten automatisoitu testaus tietoliikenneverkoissa

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorJungner, Peter
dc.contributor.authorTirronen, Silja
dc.contributor.departmentSignaalinkäsittelyn ja akustiikan laitosfi
dc.contributor.supervisorAlku, Paavo
dc.date.accessioned2012-07-02T08:08:35Z
dc.date.available2012-07-02T08:08:35Z
dc.date.issued2011
dc.description.abstractGlobalisoituvassa maailmassa kyky kommunikoida kielimuurien yli käy yhä tärkeämmäksi. Kielten opiskelu on työlästä ja siksi halutaan kehittää automaattisia konekäännösjärjestelmiä. Ericsson on kehittänyt prototyypin nimeltä Real-Time Interpretation System (RTIS), joka toimii mobiiliverkossa ja kääntää matkailuun liittyviä fraaseja puhemuodossa kahden kielen välillä. Nykyisten konekäännösjärjestelmien suorituskyky on suhteellisen huono ja siksi testauksella on suuri merkitys järjestelmien suunnittelussa. Testauksen tarkoituksena on varmistaa, että järjestelmä säilyttää käännösekvivalenssin sekä puhekäännösjärjestelmän tapauksessa myös riittävän puheenlaadun. Luotettavimmin testaus voidaan suorittaa ihmisten antamiin arviointeihin perustuen, mutta tällaisen testauksen kustannukset ovat suuria ja tulokset subjektiivisia. Tässä työssä suunniteltiin ja analysoitiin automatisoitu testiympäristö Real-Time Interpretation System -käännösprototyypille. Tavoitteina oli tutkia, voidaanko testaus suorittaa automatisoidusti ja pystytäänkö todellinen, käyttäjän havaitsema käännösten laatu mittaamaan automatisoidun testauksen keinoin. Tulokset osoittavat että mobiiliverkoissa puheenlaadun testaukseen käytetyt menetelmät eivät ole optimaalisesti sovellettavissa konekäännösten testaukseen. Nykytuntemuksen mukaan ihmisten suorittama arviointi on ainoa luotettava tapa mitata käännösekvivalenssia ja puheen ymmärrettävyyttä. Konekäännösten testauksen automatisointi vaatii lisää tutkimusta, jota ennen subjektiivinen arviointi tulisi säilyttää ensisijaisena testausmenetelmänä RTIS-testauksessa.fi
dc.description.abstractIn the globalizing world, the ability to communicate over language barriers is increasingly important. Learning languages is laborious, which is why there is a strong desire to develop automatic machine translation applications. Ericsson has developed a speech-to-speech translation prototype called the Real-Time Interpretation System (RTIS). The service runs in a mobile network and translates travel phrases between two languages in speech format. The state-of-the-art machine translation systems suffer from a relatively poor performance and therefore evaluation plays a big role in machine translation development. The purpose of evaluation is to ensure the system preserves the translational equivalence, and in case of a speech-to-speech system, the speech quality. The evaluation is most reliably done by human judges. However, human-conducted evaluation is costly and subjective. In this thesis, a test environment for Ericsson Real-Time Interpretation System prototype is designed and analyzed. The goals are to investigate if the RTIS verification can be conducted automatically, and if the test environment can truthfully measure the end-to-end performance of the system. The results conclude that methods used in end-to-end speech quality verification in mobile networks can not be optimally adapted for machine translation evaluation. With current knowledge, human-conducted evaluation is the only method that can truthfully measure translational equivalence and the speech intelligibility. Automating machine translation evaluation needs further research, until which human-conducted evaluation should remain the preferred method in RTIS verification.en
dc.format.extent64
dc.format.mimetypeapplication/pdf
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/3665
dc.identifier.urnURN:NBN:fi:aalto-201207022631
dc.language.isoenen
dc.locationP1fi
dc.programme.majorAkustiikka ja äänenkäsittelytekniikkafi
dc.programme.mcodeS-89
dc.publisherAalto Universityen
dc.publisherAalto-yliopistofi
dc.rights.accesslevelopenAccess
dc.subject.keywordnatural language processingen
dc.subject.keywordautomatic speech recognitionen
dc.subject.keywordspeech synthesisen
dc.subject.keywordmachine translationen
dc.subject.keywordtranslational equivalenceen
dc.subject.keyworduser-plane verificationen
dc.subject.keywordspeech qualityen
dc.subject.keywordluonnollisten kielten prosessointifi
dc.subject.keywordautomaattinen puheentunnistusfi
dc.subject.keywordpuhesynteesifi
dc.subject.keywordkonekäännösfi
dc.subject.keywordkäännösekvivalenssifi
dc.subject.keywordkäyttäjätason testausfi
dc.subject.keywordpuheenlaatufi
dc.titlePuhemuotoisten konekäännösten automatisoitu testaus tietoliikenneverkoissafi
dc.titleAutomated Testing of Speech-to-Speech Machine Translation in Telecom Networksen
dc.typeG2 Pro gradu, diplomityöfi
dc.type.dcmitypetexten
dc.type.okmG2 Pro gradu, diplomityö
dc.type.ontasotDiplomityöfi
dc.type.ontasotMaster's thesisen
dc.type.publicationmasterThesis
local.aalto.digifolderAalto_11457
local.aalto.idinssi41607
local.aalto.openaccessyes
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
urn100412.pdf
Size:
993.93 KB
Format:
Adobe Portable Document Format