Dynamic tactile feedback in human computer interaction
Loading...
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2012-10-06
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2012
Major/Subject
Mcode
Degree programme
Language
en
Pages
130
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 113/2012
Abstract
Vibrotactile stimulation is an efficient way to provide feedback when a user is interacting with a mobile device. Because the device is held in hand, the user's input, such as touch and gesturing, can be easily measured with force- and motion sensors. In addition, the feedback can be provided into the same device with a vibrotactile actuator. This thesis introduces a set of methods to provide the vibrotactile feedback dynamically i.e. proportionally to the applied input in real-time during the interaction. The effects of dynamic tactile feedback in gesture and touch interaction are investigated in five studies reported in the thesis. The first two studies introduce the method for providing the dynamic feedback based on wavetable synthesis and assess the perceptual dimensions of the feedback when coupled with gesture movements. The studies indicated that the method is a powerful tool for creating an illusion of real textures with a simple vibrotactile actuator and motion sensor. Modifications in texture ridge length and spatial density lead into large variation in subjective evaluations of texture roughness, bumpiness, stickiness and pleasantness. In study III, mobile device was used to search for targets in the environment. Tactile feedback turned out to be an efficient way to indicate target directions. The finding hints that vibration could be efficiently used as a private and transparent signal to indicate directions and target locations in augmented reality interaction. In study IV, dynamic tactile feedback was provided when playing a gesture controlled virtual musical instrument. The feedback reflecting the distance to a virtual control surface assisted the temporal accuracy of the playing. In study V, vibrotactile feedback was provided proportionally to the applied force on a rigid surface. In a force repetition task, all the dynamic feedback models assisted the accuracy of the force control. On contrast, in a force hold task, the feedback did not assist the performance. Dynamic tactile feedback appeared to be a powerful tool to create illusions of real textures and it improved the motor accuracy in repetitive gesture- and force based interaction. The findings make a contribution to research focusing on touch and gesture based user interfaces as well as psychophysics research dealing with augmented feedback. In order to apply the findings in future user interfaces of mobile devices, more studies are needed. In further work, system latency should be minimized and tactile feedback should be design in parallel with visual and auditory feedback.Ihmisen tuntoaistia voidaan hyödyntää tehokkasti mobiililaitteiden käyttöliittymissä käyttämällä laitteen värinäaktuaattoria palautteen antamiseen. Tämän lisäksi käyttäjän syötteitä, kuten eleitä ja kosketusta, voidaan helposti mitata laitteeseen asennetuilla liike- ja voima-antureilla. Tässä työssä esitellään erilaisia tapoja tuottaa dynaamista värinäpalautetta joka syntetisoidaan reaaliajassa käyttäjän antaman syötteen perusteella. Näiden palautetapojen hyödyllisyyttä ele- ja kosketusvuorovaikutuksessa tutkittiin viidessä eri tutkimuksessa. Kahdessa ensimmäisessä tutkimuksessa tarkasteltiin aaltomuotosynteesin avulla tuotettua palautetta, joka on suhteutettu käyttäjän käden liikenopeuteen. Tutkimukset osoittivat, että tällä tavalla voidaan tehokkaasti synnyttää illuusio virtuaalisesta tekstuurista yksinkertaista värinäaktuaattoria ja liikeanturia hyväksikäyttäen. Tekstuurin tiheyttä ja kuvioinnin leveyttä muuttamalla voidaan saada aikaan erilaisia vaikutelmia tekstuurin karkeudesta, epätasaisuudesta, tahmeudesta ja miellyttävyydestä. Kolmannessa tutkimuksessa mobiililaitetta käytettiin virtuaalisten kohteiden etsintään ympäristöstä. Värinäpalaute todettiin tehokkaaksi tavaksi osoittaa kohteen suunta. Tässä vahvistetun todellisuuden käyttöskenaariossa tuntopalaute toimii siis oivallisesti henkilökohtaisena signaalina kohteiden sijainnin paljastamiseen, eikä se sido käyttäjän näkö- ja kuuloaistia käyttötilanteessa. Neljännessä tutkimuksessa dynaamista palautetta annettiin eleohjattua virtuaalirumpua soitettaessa. Värinäpalaute, jonka amplitudi voimistui virtuaalista rummunkalvoa lähestyttäessä paransi merkittävästi suoritusta rytmistä tarkkuutta vaativassa tehtävässä. Viidennessä tutkimuksessa dynaaminen palaute suhteutettiin voimaan, jolla sormi painoi laitteen pintaa. Voimatasojen toistotehtävässä kaikki dynaamiset palautetavat auttoivat käyttäjiä voiman kontrolloinnissa. Toisaalta, dynaaminen palaute ei auttanut voimatason ylläpitotehtävässä. Dynaaminen palaute osoittautui tehokkaaksi työkaluksi illuusioiden muodostamiseen oikeista tekstuureista ja se paransi motorista tarkkuutta toistoa vaativissa ele- ja voimainteraktiossa. Löydökset ovat merkittäviä sekä ele- ja kosketuskäyttöliittymien kehittämisen että vahvistettuun palautteeseen keskittyvän psykofysiologisen tutkimuksen kannalta. Jotta tuloksia voitaisiin hyödyntää tulevaisuuden käyttöliittymissä, tarvitaan lisätutkimuksia. Niissä tulisi minimoida systeemin viiveet ja tuntopalaute tulisi suunnitella yhdessä visuaalisen ja auditorisen palautteen kanssa.Description
Supervising professor
Sams, MikkoThesis advisor
Kangas, JariKildal, Johan
Lantz, Vuokko
Keywords
haptics, tactile feedback, human computer interaction, haptiikka, tuntopalaute
Parts
- [Publication 1]: Teemu Ahmaniemi, Vuokko Lantz, and Juha Marila. 2008. Dynamic audiotactile feedback in gesture interaction. In: G. Henri ter Hofte, Ingrid Mulder, and Boris E. R. de Ruyter (editors). Proceedings of the 10th International Conference on Human Computer Interaction with Mobile Devices and Services (MobileHCI 2008). Amsterdam, The Netherlands. 2-5 September 2008. New York, NY, USA. ACM. Pages 339-342. ISBN 978-1-59593-952-4.
- [Publication 2]: Teemu Ahmaniemi, Vuokko Lantz, and Juha Marila. 2008. Perception of dynamic audiotactile feedback to gesture input. In: Vassilis Digalakis, Alex Potamianos, Matthew Turk, Roberto Pieraccini, and Yuri Ivanov (editors). Proceedings of the 10th International Conference on Multimodal Interfaces (ICMI 2008). Chania, Crete, Greece. 20-22 October 2008. New York, NY, USA. ACM. Pages 85-92. ISBN 978-1-60558-198-9.
- [Publication 3]: Teemu Ahmaniemi, Juha Marila, and Vuokko Lantz. 2010. Design of dynamic vibrotactile textures. IEEE Transactions on Haptics, volume 3, number 4, pages 245-256.
- [Publication 4]: Teemu Ahmaniemi and Vuokko Lantz. 2009. Augmented reality target finding based on tactile cues. In: James L. Crowley, Yuri Ivanov, Christopher Richard Wren, Daniel Gatica-Perez, Michael Johnston, and Rainer Stiefelhagen (editors). Proceedings of the 11th International Conference on Multimodal Interfaces and the 6th Workshop on Machine Learning for Multimodal Interaction (ICMI-MLMI 2009). Cambridge, Massachusetts, USA. 2-4 November 2009. New York, NY, USA. ACM. Pages 335-342. ISBN 978-1-60558-772-1.
- [Publication 5]: Teemu Ahmaniemi. 2011. Acquisition of dynamically revealed multimodal targets. In: Hervé Bourlard, Thomas S. Huang, Enrique Vidal, Daniel Gatica-Perez, Louis-Philippe Morency, and Nicu Sebe (editors). Proceedings of the 13th International Conference on Multimodal Interfaces (ICMI 2011). Alicante, Spain. 14-18 November 2011. New York, NY, USA. ACM. Pages 189-192. ISBN 978-1-4503-0641-6.
- [Publication 6]: Teemu Ahmaniemi. 2010. Gesture controlled virtual instrument with dynamic vibrotactile feedback. In: Kirsty Beilharz, Andrew Johnston, Sam Ferguson, and Amy Yi-Chun Chen (editors). Proceedings of the 10th International Conference on New Interfaces for Musical Expression (NIME 2010). Sydney, Australia. 15-18 June 2010. Sydney, Australia. University of Technology Sydney. Pages 485-488. ISBN 978-0-646-53482-4.
- [Publication 7]: Teemu Ahmaniemi. Effect of dynamic vibrotactile feedback on the control of isometric finger force. IEEE Transactions on Haptics, submitted for publication.
