Multimodaalisen informaation hyödyntäminen reitinopastusdialogeissa

No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology | Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2005
Major/Subject
Laskennallinen tekniikka
Mcode
S-114
Degree programme
Language
fi
Pages
100
Series
Abstract
Mobiilit sovellukset ovat lisääntyneet viime vuosina mobiililaitteiden suorituskyvyn kasvaessa ja langattomien tiedonsiirtoyhteyksien kehittyessä. Laitteiden pienen koon vuoksi käyttäjärajapinnan suunnitteluun on kuitenkin kiinnitettävä aiempaa enemmän huomiota. Yleisimpiä ja käytettävimpiä mobiilisovelluksia ovat melko yksinkertaiset tiedonhakutyyppiset palvelut, esimerkiksi numero- tai nimihakupalvelut ja aikataulupalvelut, joissa puheentunnistuksen heikko taso kuitenkin tekee interaktiosta vähemmän luonnollista. Puhetta voidaan kuitenkin tukea erilaisten ihmiselle luonnollisten rinnakkaisten informaatiokanavien, esimerkiksi eleiden, avulla, ja tätä niin kutsuttua multimodaalisuutta on hyödynnetty jo jonkin aikaa erilaisissa rajoitetuissa tehtävissä. Vaikka multimodaalisuuden hyödyt ovat kiistattomat, monimutkaistaa se järjestelmän rakennetta sekä ihmisen ja koneen välisen interaktion suunnittelua. Tämä rajoittaa osaltaan multimodaalisten järjestelmien yleistymistä. Tässä diplomityössä esitellään allekirjoittaneen suunnittelema ja toteuttama julkiseen liikenteeseen tarkoitettu MUMS-reitinopastusjärjestelmä. Käyttäjä keskustelee järjestelmän kanssa kämmentietokoneen välityksellä, käyttäen luonnollista puhetta ja laitteen kartalle piirrettyjä syötteitä. Järjestelmä opastaa käyttäjää synteettisen puheen ja graafisten karttaesitysten avulla. Työn tarkoituksena oli tutkia missä laajuudessa luonnollisen suomenkielisen interaktiomallin toteuttaminen tämän kaltaisessa melko erikoistuneessa sovelluksessa on nykymenetelmin mahdollista. Tutkimuksen kohteena oli myös erityisesti informaatiovirtojen yhdistämiseen tarkoitettu fuusiokomponentti. Tutkimukselle ja järjestelmälle asetetut tavoitteet voidaan katsoa saavutetuiksi, ja alustavien tulosten perusteella järjestelmän interaktiomalli ja syötteiden fuusiointi toimivat erinomaisesti. Puheentunnistus asettaa kuitenkin edelleen järjestelmälle tiettyjä rajoituksia. Tutkimuksen perusteella voidaan tehdä seuraavat johtopäätökset: jotta multimodaalisesta järjestelmästä saadaan luonnollinen ja helppokäyttöinen, on sen tehtävät rajattava sopivasti ja keskityttävä suunnittelussa interaktiomalliin, syötteiden käsittelyyn ja informaatiokanavien fuusioon. MUMS-järjestelmän toiminnallisuuksiltaan rajoitettu prototyyppi on tällä hetkellä toiminnassa, ja allekirjoittanut jatkaa sen kehitystä.
Description
Supervisor
Jääskeläinen, Iiro
Thesis advisor
Jokinen, Kristiina
Keywords
multimodality, multimodaalisuus, multimodal systems, multimodaaliset järjestelmät, speech systems, puhejärjestelmät, multimodal architectures, multimodaalliset arkkitehtuurit, multimodal interfaces, multimodaaliset käyttöliittymät, route guidance, reitinopastus, dialogue management, dialoginhallinta, mobile applications, mobiilit sovellukset, modality fusion, modaliteettien fuusio, natural human-computer interaction, luonnollinen ihmisen ja konee välinen vuorovaikutus
Other note
Citation