Interaction with eyes-free and gestural interfaces

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2013-02-08
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2013
Major/Subject
Mcode
Degree programme
Language
en
Pages
105 + app. 65
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 22/2013
Abstract
Eyes-free interaction aims to control devices without the need to look at them. This is especially useful while driving, walking on a bustling street, or in other situations when looking at a display would be dangerous, inconvenient or restricted. Hand gestures and feedback with sound offer an eyes-free alternative to visual displays, and this thesis studies using them with devices and the surrounding environment. In this thesis work, advanced circular auditory menus and three parallel control methods for using them were developed. Essentially, the thesis work concentrated on a circular interaction metaphor in auditory menus, in which the gesture was mapped directly to the position in the menu. The introduced control methods and auditory menu properties were tested with user experiments, and a mobile application integrating auditory and visual menus was built. The three gestural control methods to control circular auditory menus included accelerometer-based, touch screen-based, and camera-based interaction. All control methods were proven accurate and fast enough for efficient eyes-free use. Additionally, the same control methods were used in both visual and auditory domains, which facilitates switching to eyes-free use when needed and may also improve the accessibility of the interface for visually impaired users. Results of user experiments showed that the introduced visual and auditory menu design was easy and intuitive to learn without extensive training. Furthermore, a solution for eyes-free access to large menus was proposed, and user experiments indicated that dynamic menu item placement is efficient, accurate, and allowed the use of large menus. This thesis also investigated the use of auditory displays and gesture interfaces in performing arts. The perceived shape and size of a space can be changed by applying different reverberation times in different directions using multiple reverberation systems. Implementing a reverberation system and a test setup for subjective evaluation validated this. The implemented reverberation system has been utilized in live opera performances and to enhance lecture room acoustics. The use of gesture control is explored in an experimental opera production in which the performers controlled an audiovisual virtual stage live. The live interaction was useful when user controlled media was directly mapped onto gestures and when detailed nuances of movement were hard for a technician controlling the media to follow.

Käyttöliittymiä joita ei tarvitse katsoa kutsuttaan eyes-free käyttöliittymiksi. Ne mahdollistavat turvallisemman laitteiden käytön tilanteissa, joissa näytön katsominen on hankalaa, vaarallista tai mahdotonta, kuten esimerkiksi autoa ajaessa tai kävellessä vilkkaalla kadulla. Käden eleillä ja äänipalautteella toteutetut eyes-free käyttöliittymät ovat vaihtoehto visuaalisille näytöille ja tässä väitöskirjassa esitellään niiden käyttämistä laitteiden ohjaukseen ja vuorovaikutukseen ympäristön kanssa. Tässä väitöstyössä tutkittiin edistyksellisiä äänivalikkoja, joita ohjattiin kolmella rinnakkaisella ohjausmenetelmällä. Käytetyt ohjausmenetelmät perustuivat käden eleisiin, joita seurattiin kiihtyvyysantureiden, kosketusnäytön tai kameran avulla. Pääasiallisesti väitöstyössä keskityttiin ympyränmuotoisen vuorovaikutusmetaforan käyttöön äänivalikoissa, joissa käden liike määritti paikan ympyrävalikossa. Esitettyjen ohjausmenetelmien ja valikkoratkaisuiden toimivuus arvioitiin käyttäjäkokeilla ja lisäksi toteutettiin älypuhelinsovellus, joka yhdisti ääni- sekä visuaalisten valikkojen toiminnallisuuden. Kolme kehitettyä äänivalikkojen ohjausmenetelmää osoitettiin käyttäjäkokeilla tarkoiksi ja riittävän nopeiksi käyttöön äänipalautteen kanssa. Lisäksi samat ohjausmenetelmät soveltuivat äänivalikon kanssa yhtenevän visuaalisen valikon ohjaamiseen, mikä voi helpottaa äänivalikon käyttöönottoa sekä parantaa käyttöliittymien yleistä soveltuvuutta näkövammaisille. Käyttäjätestin tulokset osoittivat, että audiovisuaalinen valikkoratkaisu oli helppo sekä intuitiivinen oppia ilman pitkää harjoittelua. Äänivalikkoihin kehitettiin myös uusi tapa selata isoja valikkorakenteita, joka todistettiin käyttäjäkokeilla tehokkaaksi. Tässä väitöskirjassa tutkittiin myös äänipalautetta ja elekäyttöliittymiä esittävässä taiteessa. Ympäröivän tilan havaittua kokoa ja muotoa säädeltiin muuttamalla sähköisesti seinistä tulevia äänten heijastuksia kaikulaitteilla. Tämä osoitettiin mahdolliseksi käyttäjäkokeilla ja varta vasten rakennetulla kaikulaitejärjestelmällä, jota käytettiin myös oopperatuotannossa sekä luentosalin akustiikan parantamiseen. Oopperatuotannon osana tutkittiin myös eleohjauksen ja audiovisuaalisen lavastuksen vuorovaikutusta. Esiintyjien käyttämä eleohjaus oli hyödyllistä etenkin improvisoitavissa kohtauksissa tai kun ulkopuolisen ohjaajan oli hankala seurata näyttelijöiden liikkeiden vivahteita.
Description
Supervising professor
Lokki, Tapio, Associate Prof., Aalto University, Finland
Thesis advisor
Lokki, Tapio, Associate Prof., Aalto University, Finland
Keywords
eyes-free, gesture interaction, auditory menus, auditory display, spatial sound, interface, HCI, performing arts, elekäyttöliittymä, äänivalikot, tilaääni, käyttöliittymät, eyes-free käyttöliittymä, esittävä taide
Other note
Parts
  • [Publication 1]: Tapio Lokki, Raine Kajastila and Tapio Takala. Virtual acoustic spaces with multiple reverberation enhancement systems. In Proceedings of the AES 30th international conference, CD-ROM Proceedings, Saariselka, Finland, March 15–17 2007.
  • [Publication 2]: Raine Kajastila and Tapio Takala. Interaction in digitally augmented opera. In Proceedings of international conference on digital arts, pp. 216–219, Porto, Portugal, November 7–8 2008.
  • [Publication 3]: Raine Kajastila and Tapio Lokki. A gesture-based and eyes-free control method for mobile devices. In Proceedings of the 27th international conference extended abstracts on human factors in computing systems (CHI ’09), pp. 3559–3564, Boston, MA, USA, April 4–9 2009.
  • [Publication 4]: Raine Kajastila and Tapio Lokki. Eyes-free methods for accessing large auditory menus. In Proceedings of 16th international conference on auditory display (ICAD 2010), pp. 223–230, Washington, D.C, USA, June 9–15 2010.
  • [Publication 5]: Raine Kajastila and Tapio Lokki. Eyes-free interaction with freehand gestures and auditory menus. International journal of humancomputer studies, Accepted for publication (In press), 14 pages, November 2012.
  • [Publication 6]: Raine Kajastila and Tapio Lokki. Combining auditory and visual menus. Acta acustica united with acustica, vol. 98, no. 6, pp. 945-956, 2012.
Citation