Multimodaalisen informaation hyödyntäminen reitinopastusdialogeissa

No Thumbnail Available

URL

Journal Title

Journal ISSN

Volume Title

Helsinki University of Technology | Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author

Date

2005

Major/Subject

Laskennallinen tekniikka

Mcode

S-114

Degree programme

Language

fi

Pages

100

Series

Abstract

Mobiilit sovellukset ovat lisääntyneet viime vuosina mobiililaitteiden suorituskyvyn kasvaessa ja langattomien tiedonsiirtoyhteyksien kehittyessä. Laitteiden pienen koon vuoksi käyttäjärajapinnan suunnitteluun on kuitenkin kiinnitettävä aiempaa enemmän huomiota. Yleisimpiä ja käytettävimpiä mobiilisovelluksia ovat melko yksinkertaiset tiedonhakutyyppiset palvelut, esimerkiksi numero- tai nimihakupalvelut ja aikataulupalvelut, joissa puheentunnistuksen heikko taso kuitenkin tekee interaktiosta vähemmän luonnollista. Puhetta voidaan kuitenkin tukea erilaisten ihmiselle luonnollisten rinnakkaisten informaatiokanavien, esimerkiksi eleiden, avulla, ja tätä niin kutsuttua multimodaalisuutta on hyödynnetty jo jonkin aikaa erilaisissa rajoitetuissa tehtävissä. Vaikka multimodaalisuuden hyödyt ovat kiistattomat, monimutkaistaa se järjestelmän rakennetta sekä ihmisen ja koneen välisen interaktion suunnittelua. Tämä rajoittaa osaltaan multimodaalisten järjestelmien yleistymistä. Tässä diplomityössä esitellään allekirjoittaneen suunnittelema ja toteuttama julkiseen liikenteeseen tarkoitettu MUMS-reitinopastusjärjestelmä. Käyttäjä keskustelee järjestelmän kanssa kämmentietokoneen välityksellä, käyttäen luonnollista puhetta ja laitteen kartalle piirrettyjä syötteitä. Järjestelmä opastaa käyttäjää synteettisen puheen ja graafisten karttaesitysten avulla. Työn tarkoituksena oli tutkia missä laajuudessa luonnollisen suomenkielisen interaktiomallin toteuttaminen tämän kaltaisessa melko erikoistuneessa sovelluksessa on nykymenetelmin mahdollista. Tutkimuksen kohteena oli myös erityisesti informaatiovirtojen yhdistämiseen tarkoitettu fuusiokomponentti. Tutkimukselle ja järjestelmälle asetetut tavoitteet voidaan katsoa saavutetuiksi, ja alustavien tulosten perusteella järjestelmän interaktiomalli ja syötteiden fuusiointi toimivat erinomaisesti. Puheentunnistus asettaa kuitenkin edelleen järjestelmälle tiettyjä rajoituksia. Tutkimuksen perusteella voidaan tehdä seuraavat johtopäätökset: jotta multimodaalisesta järjestelmästä saadaan luonnollinen ja helppokäyttöinen, on sen tehtävät rajattava sopivasti ja keskityttävä suunnittelussa interaktiomalliin, syötteiden käsittelyyn ja informaatiokanavien fuusioon. MUMS-järjestelmän toiminnallisuuksiltaan rajoitettu prototyyppi on tällä hetkellä toiminnassa, ja allekirjoittanut jatkaa sen kehitystä.

Description

Supervisor

Jääskeläinen, Iiro

Thesis advisor

Jokinen, Kristiina

Keywords

multimodality, multimodaalisuus, multimodal systems, multimodaaliset järjestelmät, speech systems, puhejärjestelmät, multimodal architectures, multimodaalliset arkkitehtuurit, multimodal interfaces, multimodaaliset käyttöliittymät, route guidance, reitinopastus, dialogue management, dialoginhallinta, mobile applications, mobiilit sovellukset, modality fusion, modaliteettien fuusio, natural human-computer interaction, luonnollinen ihmisen ja konee välinen vuorovaikutus

Other note

Citation