Usability of emerging technologies - User studies with wearable, multimodal and augmented reality solutions

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
School of Science | Doctoral thesis (article-based) | Defence date: 2018-08-17
Date
2018
Major/Subject
Mcode
Degree programme
Language
en
Pages
107 + app. 74
Series
Aalto University publication series DOCTORAL DISSERTATIONS, 139/2018
Abstract
Working life is undergoing a gradual change from using computers to devices that enable access to information anywhere and anytime. The devices once seen only in science fiction films are permeating our homes and workplaces. In the work context, however, the introduction of new technologies has not always been a painless process for the users despite usability improvement efforts. Nevertheless, working life is now facing an abundance of emerging technologies whose suitability for work is as yet unknown. The six user studies of this thesis examine the usability of emerging technologies and their suitability for work in the context of navigation, maintenance, telerobotics, robotic surgery, and e-justice in courts. Additionally, aspects related to their evaluation are considered. The emerging technologies cover wearable, multimodal and augmented reality solutions. Wearable devices are bodyworn computers or interfaces. Augmented reality means that the user is presented with information that enriches what is seen or experienced in the real world. With multimodal systems, the user is presented with feedback through multiple sensory channels or the user interacts using multiple input modes or devices. A requisite for all of these technologies is well-functioning electronic information exchange. The examined technologies were mostly in the early development stages, meaning that the potential of the technologies for the users in the context of work gained more emphasis than usability evaluations in the traditional sense. The qualitative research methods included questionnaires, interviews, observations, focus groups and future workshops. This thesis offers a collection of practical user aspects that need to be considered when designing, developing and adopting these technologies at workplaces. Most of the evaluated technologies were estimated to be useful for work tasks, although their suitability for work contexts was partially limited. Firstly, the issues of robustness and distractibility were raised especially regarding wearables, although wearables otherwise feel easy and natural to use. Secondly, the redundancy offered by multimodal solutions can benefit users with added certainty, but can also cause confusion in multiple ways. Thirdly, augmented guidance is easy to follow, but its usefulness for experienced workers is unclear. Finally, when technologies bear combinations of these characteristics, issues such as mental load, ergonomics, workflow, collaboration and information presentation need careful consideration. Suitable user evaluation approaches are suggested for these technologies, with a special emphasis on the often under-recognised multimodal interaction. The results will facilitate designing future technologies with the user's best interests in mind, benefiting the users in general, but especially future workers and employers, in addition to researchers developing and evaluating these solutions.

Työelämässä on meneillään asteittainen muutos perinteisistä tietokoneista laitteisiin, joiden avulla tietoon pääsee käsiksi missä ja milloin vain. Laitteet, joita ennen nähtiin vain tieteiselokuvissa, ovat lipumassa koteihin ja työpaikoille. Työpaikoilla uusien teknologioiden käyttöönotto ei kuitenkaan ole sujunut aina kitkatta, vaikka käytettävyyden parantamiseen on panostettu. Tästä huolimatta työelämään on tarjolla paljon teknologioita, joiden soveltuvuudesta työhön ei ole vielä varmuutta. Tämän väitöskirjan kuusi osatutkimusta tarkastelevat tulevaisuuden teknologioiden käytettävyyttä ja niiden soveltuvuutta työhön navigoinnin, huoltotyön, telerobotiikan, robottikirurgian ja lainkäytön sähköistämisen kontekstissa. Lisäksi käsitellään käyttäjäarviointiin liittyviä näkökohtia. Näihin teknologioihin kuuluvat puettavat, multimodaaliset ja lisätyn todellisuuden sovellukset. Puettavat laitteet ovat vartalon päälle puettavia tietokoneita tai käyttöliittymiä. Lisätty todellisuus tarkoittaa, että käyttäjälle esitetään tietoa, joka rikastaa hänen näkemäänsä tai kokemaansa reaalimaailmaa. Multimodaaliset järjestelmät antavat käyttäjälle palautetta useamman kuin yhden aistikanavan välityksellä, tai käyttäjä toimii järjestelmän kanssa useamman syöttötavan tai –laitteen avulla. Hyvin toimiva sähköinen tietojenvaihto on edellytys näiden teknologioiden käytölle. Tutkitut teknologiat olivat varhaisessa kehitysvaiheessa, minkä vuoksi tutkimuksissa keskityttiin vahvasti niiden tuomiin mahdollisuuksiin työkontekstissa ja perinteistä käytettävyysarviota painotettiin vähemmän. Laadullisiin tutkimusmenetelmiin kuuluivat kyselyt, haastattelut, havainnoinnit, fokusryhmähaastattelut ja tulevaisuustyöpajat. Tämä väitöskirja tarjoaa kokoelman käytännöllisiä käyttäjänäkökohtia, jotka tulee huomioida, kun näitä teknologioita suunnitellaan, kehitetään ja otetaan käyttöön työpaikoilla. Suurin osa arvioiduista teknologioista arvioitiin hyödyllisiksi työtehtäviin, vaikka niiden soveltuvuus työhön oli osittain rajoittunutta. Puettavien teknologioiden kohdalla nousivat erityisesti esiin laitteiden kestävyys ja häiritsevyys, vaikka niiden käyttöä pidettiin muuten helppona ja luonnollisena. Multimodaalisten järjestelmien tarjoama redundanssi voi tuoda käyttäjille varmuutta, mutta aiheuttaa myös hämmennystä useilla tavoilla. Lisätyn todellisuuden teknologioilla toteutettuja ohjeita oli helppo seurata, mutta niiden hyödyllisyys kokeneille työntekijöille jäi epäselväksi. Lisäksi, jos teknologialla on piirteitä useista edellä mainituista tulevaisuuden teknologioista, tulee tarkastella huolellisesti myös käyttäjän kokemaa henkistä kuormitusta, ergonomiaa, työnkulkua, yhteistyötä ja tiedon esitysmuotoa. Väitöskirjassa esitetään näiden teknologioiden käyttäjäarviointiin soveltuvia tapoja painottaen erityisesti usein huomiotta jäävää multimodaalisuutta. Tulokset auttavat suunnittelemaan tulevaisuuden teknologioita käyttäjän näkökulma edellä hyödyttäen käyttäjiä yleisesti, sekä tulevaisuuden työntekijöitä, työnantajia ja tutkijoita, jotka kehittävät ja arvioivat ratkaisuja.
Description
Supervising professor
Sams, Mikko, Prof., Aalto University, Department of Neuroscience and Biomedical Engineering, Finland
Thesis advisor
Laarni, Jari, Dr., VTT Technical Research Centre of Finland Ltd, Finland
Keywords
usability, user study, user evaluation, evaluation methods, emerging technologies, wearable, multimodal, augmented reality, work context, käytettävyys, käyttäjätutkimus, käyttäjäarviointi, arviointimenetelmä, tulevaisuuden teknologia, puettava, multimodaalinen, lisätty todellisuus, työkonteksti
Other note
Parts
  • [Publication 1]: Aaltonen, Iina; Laarni, Jari. 2017. Field evaluate on of a wearable multimodal soldier navigation system. Elsevier Ltd. Applied Ergonomics, volume 63, pages 79–90. ISSN 00036870.
    DOI: 10.1016/j.apergo.2017.04.005 View at publisher
  • [Publication 2]: Aromaa, Susanna; Aaltonen, Iina, Kaasinen, Eija; Elo, Joona; Parkkinen, Ilari. 2016. Use of Wearable and Augmented Reality Technologies in Industrial Main tenance Work. In: Proceedings of the 20th International Academic Mindtrek Conference, Tampere, Finland, October 17–18. ACM. AcademicMindtrek ’16. Pages 235–242. ISBN 9781450343671.
    DOI: 10.1145/2994310.2994321 View at publisher
  • [Publication 3]: Tablet-guided maintenance Aaltonen, Iina; Kuula, Timo; Helin, Kaj; Karjalainen, Jaakko. 2016. Maintenance Past or Through the Tablet? Examining Tablet Use with AR Guidance System. In: Proceedings of European Association for Virtual Reality and Augmented Reality Conference, Athens, Greece, November 22–24. EuroVR Association. Pages 1–6. ISBN 978-618-80348-3-9.
  • [Publication 4]: Aaltonen, Iina; Aromaa, Susanna; Helin, Kaj. Muhammad, Ali. 2018. Multimodality Evaluation Metrics for Human-Robot Interaction Needed: A Case Study in Immersive Telerobotics. In: Chen, J. (ed) Advances in Human Factors in Robots and Unmanned Systems. AHFE 2017, Los Angeles, USA, July 17–21, 2017. Springer International Publishing. Advances in Intelligent Systems and Computing, volume 595. Pages 335–347. ISBN 978-3-319-60384-1.
    DOI: 10.1007/978-3-319-60384-1_32 View at publisher
  • [Publication 5]: Aaltonen, Iina; Wahlström, Mikael. 2018. Envisioning robotic surgery: surgeons’ needs and views on interacting with future technologies and interfaces. The International Journal of Medical Robotics and Computer Assisted Surgery, e1941. 12 pages.
    DOI: 10.1002/rcs.1941 View at publisher
  • [Publication 6]: Aaltonen, Iina; Laarni, Jari; Tammela, Karo. 2015. Envisioning e-Justice for Criminal Justice Chain in Finland. Academic Conferences and Publishing International Limited. The Electronic Journal of e-Government, volume 13, issue 1, pages 55–66, available online at www.ejeg.com. ISSN 1479-439X.
Citation