Interaction with eyes-free and gestural interfaces

 |  Login

Show simple item record

dc.contributor Aalto-yliopisto fi
dc.contributor Aalto University en
dc.contributor.advisor Lokki, Tapio, Associate Prof., Aalto University, Finland
dc.contributor.author Kajastila, Raine
dc.date.accessioned 2013-02-06T09:30:17Z
dc.date.available 2013-02-06T09:30:17Z
dc.date.issued 2013
dc.identifier.isbn 978-952-60-5003-4 (electronic)
dc.identifier.isbn 978-952-60-5002-7 (printed)
dc.identifier.issn 1799-4942 (electronic)
dc.identifier.issn 1799-4934 (printed)
dc.identifier.issn 1799-4934 (ISSN-L)
dc.identifier.uri https://aaltodoc.aalto.fi/handle/123456789/7720
dc.description.abstract Eyes-free interaction aims to control devices without the need to look at them. This is especially useful while driving, walking on a bustling street, or in other situations when looking at a display would be dangerous, inconvenient or restricted. Hand gestures and feedback with sound offer an eyes-free alternative to visual displays, and this thesis studies using them with devices and the surrounding environment. In this thesis work, advanced circular auditory menus and three parallel control methods for using them were developed. Essentially, the thesis work concentrated on a circular interaction metaphor in auditory menus, in which the gesture was mapped directly to the position in the menu. The introduced control methods and auditory menu properties were tested with user experiments, and a mobile application integrating auditory and visual menus was built. The three gestural control methods to control circular auditory menus included accelerometer-based, touch screen-based, and camera-based interaction. All control methods were proven accurate and fast enough for efficient eyes-free use. Additionally, the same control methods were used in both visual and auditory domains, which facilitates switching to eyes-free use when needed and may also improve the accessibility of the interface for visually impaired users. Results of user experiments showed that the introduced visual and auditory menu design was easy and intuitive to learn without extensive training. Furthermore, a solution for eyes-free access to large menus was proposed, and user experiments indicated that dynamic menu item placement is efficient, accurate, and allowed the use of large menus. This thesis also investigated the use of auditory displays and gesture interfaces in performing arts. The perceived shape and size of a space can be changed by applying different reverberation times in different directions using multiple reverberation systems. Implementing a reverberation system and a test setup for subjective evaluation validated this. The implemented reverberation system has been utilized in live opera performances and to enhance lecture room acoustics. The use of gesture control is explored in an experimental opera production in which the performers controlled an audiovisual virtual stage live. The live interaction was useful when user controlled media was directly mapped onto gestures and when detailed nuances of movement were hard for a technician controlling the media to follow. en
dc.description.abstract Käyttöliittymiä joita ei tarvitse katsoa kutsuttaan eyes-free käyttöliittymiksi. Ne mahdollistavat turvallisemman laitteiden käytön tilanteissa, joissa näytön katsominen on hankalaa, vaarallista tai mahdotonta, kuten esimerkiksi autoa ajaessa tai kävellessä vilkkaalla kadulla. Käden eleillä ja äänipalautteella toteutetut eyes-free käyttöliittymät ovat vaihtoehto visuaalisille näytöille ja tässä väitöskirjassa esitellään niiden käyttämistä laitteiden ohjaukseen ja vuorovaikutukseen ympäristön kanssa. Tässä väitöstyössä tutkittiin edistyksellisiä äänivalikkoja, joita ohjattiin kolmella rinnakkaisella ohjausmenetelmällä. Käytetyt ohjausmenetelmät perustuivat käden eleisiin, joita seurattiin kiihtyvyysantureiden, kosketusnäytön tai kameran avulla. Pääasiallisesti väitöstyössä keskityttiin ympyränmuotoisen vuorovaikutusmetaforan käyttöön äänivalikoissa, joissa käden liike määritti paikan ympyrävalikossa. Esitettyjen ohjausmenetelmien ja valikkoratkaisuiden toimivuus arvioitiin käyttäjäkokeilla ja lisäksi toteutettiin älypuhelinsovellus, joka yhdisti ääni- sekä visuaalisten valikkojen toiminnallisuuden. Kolme kehitettyä äänivalikkojen ohjausmenetelmää osoitettiin käyttäjäkokeilla tarkoiksi ja riittävän nopeiksi käyttöön äänipalautteen kanssa. Lisäksi samat ohjausmenetelmät soveltuivat äänivalikon kanssa yhtenevän visuaalisen valikon ohjaamiseen, mikä voi helpottaa äänivalikon käyttöönottoa sekä parantaa käyttöliittymien yleistä soveltuvuutta näkövammaisille. Käyttäjätestin tulokset osoittivat, että audiovisuaalinen valikkoratkaisu oli helppo sekä intuitiivinen oppia ilman pitkää harjoittelua. Äänivalikkoihin kehitettiin myös uusi tapa selata isoja valikkorakenteita, joka todistettiin käyttäjäkokeilla tehokkaaksi. Tässä väitöskirjassa tutkittiin myös äänipalautetta ja elekäyttöliittymiä esittävässä taiteessa. Ympäröivän tilan havaittua kokoa ja muotoa säädeltiin muuttamalla sähköisesti seinistä tulevia äänten heijastuksia kaikulaitteilla. Tämä osoitettiin mahdolliseksi käyttäjäkokeilla ja varta vasten rakennetulla kaikulaitejärjestelmällä, jota käytettiin myös oopperatuotannossa sekä luentosalin akustiikan parantamiseen. Oopperatuotannon osana tutkittiin myös eleohjauksen ja audiovisuaalisen lavastuksen vuorovaikutusta. Esiintyjien käyttämä eleohjaus oli hyödyllistä etenkin improvisoitavissa kohtauksissa tai kun ulkopuolisen ohjaajan oli hankala seurata näyttelijöiden liikkeiden vivahteita. fi
dc.format.extent 105 + app. 65
dc.format.mimetype application/pdf
dc.language.iso en en
dc.publisher Aalto University en
dc.publisher Aalto-yliopisto fi
dc.relation.ispartofseries Aalto University publication series DOCTORAL DISSERTATIONS en
dc.relation.ispartofseries 22/2013
dc.relation.haspart [Publication 1]: Tapio Lokki, Raine Kajastila and Tapio Takala. Virtual acoustic spaces with multiple reverberation enhancement systems. In Proceedings of the AES 30th international conference, CD-ROM Proceedings, Saariselka, Finland, March 15–17 2007.
dc.relation.haspart [Publication 2]: Raine Kajastila and Tapio Takala. Interaction in digitally augmented opera. In Proceedings of international conference on digital arts, pp. 216–219, Porto, Portugal, November 7–8 2008.
dc.relation.haspart [Publication 3]: Raine Kajastila and Tapio Lokki. A gesture-based and eyes-free control method for mobile devices. In Proceedings of the 27th international conference extended abstracts on human factors in computing systems (CHI ’09), pp. 3559–3564, Boston, MA, USA, April 4–9 2009.
dc.relation.haspart [Publication 4]: Raine Kajastila and Tapio Lokki. Eyes-free methods for accessing large auditory menus. In Proceedings of 16th international conference on auditory display (ICAD 2010), pp. 223–230, Washington, D.C, USA, June 9–15 2010.
dc.relation.haspart [Publication 5]: Raine Kajastila and Tapio Lokki. Eyes-free interaction with freehand gestures and auditory menus. International journal of humancomputer studies, Accepted for publication (In press), 14 pages, November 2012.
dc.relation.haspart [Publication 6]: Raine Kajastila and Tapio Lokki. Combining auditory and visual menus. Acta acustica united with acustica, vol. 98, no. 6, pp. 945-956, 2012.
dc.subject.other Computer science en
dc.subject.other New media en
dc.subject.other Publication en
dc.title Interaction with eyes-free and gestural interfaces en
dc.title Vuorovaikutus ele- ja äänikäyttöliittymillä fi
dc.type G5 Artikkeliväitöskirja fi
dc.contributor.school Perustieteiden korkeakoulu fi
dc.contributor.school School of Science en
dc.contributor.department Mediatekniikan laitos fi
dc.contributor.department Department of Media Technology en
dc.subject.keyword eyes-free en
dc.subject.keyword gesture interaction en
dc.subject.keyword auditory menus en
dc.subject.keyword auditory display en
dc.subject.keyword spatial sound en
dc.subject.keyword interface en
dc.subject.keyword HCI en
dc.subject.keyword performing arts en
dc.subject.keyword elekäyttöliittymä fi
dc.subject.keyword äänivalikot fi
dc.subject.keyword tilaääni fi
dc.subject.keyword käyttöliittymät fi
dc.subject.keyword eyes-free käyttöliittymä fi
dc.subject.keyword esittävä taide fi
dc.identifier.urn URN:ISBN:978-952-60-5003-4
dc.type.dcmitype text en
dc.type.ontasot Doctoral dissertation (article-based) en
dc.type.ontasot Väitöskirja (artikkeli) fi
dc.contributor.supervisor Lokki, Tapio, Associate Prof., Aalto University, Finland
dc.opn Brewster, Stephen, Prof., University of Glasgow, United Kingdom
dc.rev Walker, Bruce N., Associate Prof., Georgia Institute of Technology in Atlanta, the United States of America
dc.rev Avanzini, Federico, Assistant Prof., University of Padova, Italy
dc.date.defence 2013-02-08


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search archive


Advanced Search

article-iconSubmit a publication

Browse

My Account