Interaction with eyes-free and gestural interfaces

dc.contributorAalto-yliopistofi
dc.contributorAalto Universityen
dc.contributor.advisorLokki, Tapio, Associate Prof., Aalto University, Finland
dc.contributor.authorKajastila, Raine
dc.contributor.departmentMediatekniikan laitosfi
dc.contributor.departmentDepartment of Media Technologyen
dc.contributor.schoolPerustieteiden korkeakoulufi
dc.contributor.schoolSchool of Scienceen
dc.contributor.supervisorLokki, Tapio, Associate Prof., Aalto University, Finland
dc.date.accessioned2013-02-06T09:30:17Z
dc.date.available2013-02-06T09:30:17Z
dc.date.defence2013-02-08
dc.date.issued2013
dc.description.abstractEyes-free interaction aims to control devices without the need to look at them. This is especially useful while driving, walking on a bustling street, or in other situations when looking at a display would be dangerous, inconvenient or restricted. Hand gestures and feedback with sound offer an eyes-free alternative to visual displays, and this thesis studies using them with devices and the surrounding environment. In this thesis work, advanced circular auditory menus and three parallel control methods for using them were developed. Essentially, the thesis work concentrated on a circular interaction metaphor in auditory menus, in which the gesture was mapped directly to the position in the menu. The introduced control methods and auditory menu properties were tested with user experiments, and a mobile application integrating auditory and visual menus was built. The three gestural control methods to control circular auditory menus included accelerometer-based, touch screen-based, and camera-based interaction. All control methods were proven accurate and fast enough for efficient eyes-free use. Additionally, the same control methods were used in both visual and auditory domains, which facilitates switching to eyes-free use when needed and may also improve the accessibility of the interface for visually impaired users. Results of user experiments showed that the introduced visual and auditory menu design was easy and intuitive to learn without extensive training. Furthermore, a solution for eyes-free access to large menus was proposed, and user experiments indicated that dynamic menu item placement is efficient, accurate, and allowed the use of large menus. This thesis also investigated the use of auditory displays and gesture interfaces in performing arts. The perceived shape and size of a space can be changed by applying different reverberation times in different directions using multiple reverberation systems. Implementing a reverberation system and a test setup for subjective evaluation validated this. The implemented reverberation system has been utilized in live opera performances and to enhance lecture room acoustics. The use of gesture control is explored in an experimental opera production in which the performers controlled an audiovisual virtual stage live. The live interaction was useful when user controlled media was directly mapped onto gestures and when detailed nuances of movement were hard for a technician controlling the media to follow.en
dc.description.abstractKäyttöliittymiä joita ei tarvitse katsoa kutsuttaan eyes-free käyttöliittymiksi. Ne mahdollistavat turvallisemman laitteiden käytön tilanteissa, joissa näytön katsominen on hankalaa, vaarallista tai mahdotonta, kuten esimerkiksi autoa ajaessa tai kävellessä vilkkaalla kadulla. Käden eleillä ja äänipalautteella toteutetut eyes-free käyttöliittymät ovat vaihtoehto visuaalisille näytöille ja tässä väitöskirjassa esitellään niiden käyttämistä laitteiden ohjaukseen ja vuorovaikutukseen ympäristön kanssa. Tässä väitöstyössä tutkittiin edistyksellisiä äänivalikkoja, joita ohjattiin kolmella rinnakkaisella ohjausmenetelmällä. Käytetyt ohjausmenetelmät perustuivat käden eleisiin, joita seurattiin kiihtyvyysantureiden, kosketusnäytön tai kameran avulla. Pääasiallisesti väitöstyössä keskityttiin ympyränmuotoisen vuorovaikutusmetaforan käyttöön äänivalikoissa, joissa käden liike määritti paikan ympyrävalikossa. Esitettyjen ohjausmenetelmien ja valikkoratkaisuiden toimivuus arvioitiin käyttäjäkokeilla ja lisäksi toteutettiin älypuhelinsovellus, joka yhdisti ääni- sekä visuaalisten valikkojen toiminnallisuuden. Kolme kehitettyä äänivalikkojen ohjausmenetelmää osoitettiin käyttäjäkokeilla tarkoiksi ja riittävän nopeiksi käyttöön äänipalautteen kanssa. Lisäksi samat ohjausmenetelmät soveltuivat äänivalikon kanssa yhtenevän visuaalisen valikon ohjaamiseen, mikä voi helpottaa äänivalikon käyttöönottoa sekä parantaa käyttöliittymien yleistä soveltuvuutta näkövammaisille. Käyttäjätestin tulokset osoittivat, että audiovisuaalinen valikkoratkaisu oli helppo sekä intuitiivinen oppia ilman pitkää harjoittelua. Äänivalikkoihin kehitettiin myös uusi tapa selata isoja valikkorakenteita, joka todistettiin käyttäjäkokeilla tehokkaaksi. Tässä väitöskirjassa tutkittiin myös äänipalautetta ja elekäyttöliittymiä esittävässä taiteessa. Ympäröivän tilan havaittua kokoa ja muotoa säädeltiin muuttamalla sähköisesti seinistä tulevia äänten heijastuksia kaikulaitteilla. Tämä osoitettiin mahdolliseksi käyttäjäkokeilla ja varta vasten rakennetulla kaikulaitejärjestelmällä, jota käytettiin myös oopperatuotannossa sekä luentosalin akustiikan parantamiseen. Oopperatuotannon osana tutkittiin myös eleohjauksen ja audiovisuaalisen lavastuksen vuorovaikutusta. Esiintyjien käyttämä eleohjaus oli hyödyllistä etenkin improvisoitavissa kohtauksissa tai kun ulkopuolisen ohjaajan oli hankala seurata näyttelijöiden liikkeiden vivahteita.fi
dc.format.extent105 + app. 65
dc.format.mimetypeapplication/pdf
dc.identifier.isbn978-952-60-5003-4 (electronic)
dc.identifier.isbn978-952-60-5002-7 (printed)
dc.identifier.issn1799-4942 (electronic)
dc.identifier.issn1799-4934 (printed)
dc.identifier.issn1799-4934 (ISSN-L)
dc.identifier.urihttps://aaltodoc.aalto.fi/handle/123456789/7720
dc.identifier.urnURN:ISBN:978-952-60-5003-4
dc.language.isoenen
dc.opnBrewster, Stephen, Prof., University of Glasgow, United Kingdom
dc.publisherAalto Universityen
dc.publisherAalto-yliopistofi
dc.relation.haspart[Publication 1]: Tapio Lokki, Raine Kajastila and Tapio Takala. Virtual acoustic spaces with multiple reverberation enhancement systems. In Proceedings of the AES 30th international conference, CD-ROM Proceedings, Saariselka, Finland, March 15–17 2007.
dc.relation.haspart[Publication 2]: Raine Kajastila and Tapio Takala. Interaction in digitally augmented opera. In Proceedings of international conference on digital arts, pp. 216–219, Porto, Portugal, November 7–8 2008.
dc.relation.haspart[Publication 3]: Raine Kajastila and Tapio Lokki. A gesture-based and eyes-free control method for mobile devices. In Proceedings of the 27th international conference extended abstracts on human factors in computing systems (CHI ’09), pp. 3559–3564, Boston, MA, USA, April 4–9 2009.
dc.relation.haspart[Publication 4]: Raine Kajastila and Tapio Lokki. Eyes-free methods for accessing large auditory menus. In Proceedings of 16th international conference on auditory display (ICAD 2010), pp. 223–230, Washington, D.C, USA, June 9–15 2010.
dc.relation.haspart[Publication 5]: Raine Kajastila and Tapio Lokki. Eyes-free interaction with freehand gestures and auditory menus. International journal of humancomputer studies, Accepted for publication (In press), 14 pages, November 2012.
dc.relation.haspart[Publication 6]: Raine Kajastila and Tapio Lokki. Combining auditory and visual menus. Acta acustica united with acustica, vol. 98, no. 6, pp. 945-956, 2012.
dc.relation.ispartofseriesAalto University publication series DOCTORAL DISSERTATIONSen
dc.relation.ispartofseries22/2013
dc.revWalker, Bruce N., Associate Prof., Georgia Institute of Technology in Atlanta, the United States of America
dc.revAvanzini, Federico, Assistant Prof., University of Padova, Italy
dc.subject.keywordeyes-freeen
dc.subject.keywordgesture interactionen
dc.subject.keywordauditory menusen
dc.subject.keywordauditory displayen
dc.subject.keywordspatial sounden
dc.subject.keywordinterfaceen
dc.subject.keywordHCIen
dc.subject.keywordperforming artsen
dc.subject.keywordelekäyttöliittymäfi
dc.subject.keywordäänivalikotfi
dc.subject.keywordtilaäänifi
dc.subject.keywordkäyttöliittymätfi
dc.subject.keywordeyes-free käyttöliittymäfi
dc.subject.keywordesittävä taidefi
dc.subject.otherComputer scienceen
dc.subject.otherNew mediaen
dc.subject.otherPublicationen
dc.titleInteraction with eyes-free and gestural interfacesen
dc.titleVuorovaikutus ele- ja äänikäyttöliittymilläfi
dc.typeG5 Artikkeliväitöskirjafi
dc.type.dcmitypetexten
dc.type.ontasotDoctoral dissertation (article-based)en
dc.type.ontasotVäitöskirja (artikkeli)fi
local.aalto.digiauthask
local.aalto.digifolderAalto_65503
Files
Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
isbn9789526050034.pdf
Size:
7.38 MB
Format:
Adobe Portable Document Format