Usability of emerging technologies - User studies with wearable, multimodal and augmented reality solutions

Abstract

Working life is undergoing a gradual change from using computers to devices that enable access to information anywhere and anytime. The devices once seen only in science fiction films are permeating our homes and workplaces. In the work context, however, the introduction of new technologies has not always been a painless process for the users despite usability improvement efforts. Nevertheless, working life is now facing an abundance of emerging technologies whose suitability for work is as yet unknown.

The six user studies of this thesis examine the usability of emerging technologies and their suitability for work in the context of navigation, maintenance, telerobotics, robotic surgery, and e-justice in courts. Additionally, aspects related to their evaluation are considered. The emerging technologies cover wearable, multimodal and augmented reality solutions. Wearable devices are bodyworn computers or interfaces. Augmented reality means that the user is presented with information that enriches what is seen or experienced in the real world. With multimodal systems, the user is presented with feedback through multiple sensory channels or the user interacts using multiple input modes or devices. A requisite for all of these technologies is well-functioning electronic information exchange. The examined technologies were mostly in the early development stages, meaning that the potential of the technologies for the users in the context of work gained more emphasis than usability evaluations in the traditional sense. The qualitative research methods included questionnaires, interviews, observations, focus groups and future workshops.

This thesis offers a collection of practical user aspects that need to be considered when designing, developing and adopting these technologies at workplaces. Most of the evaluated technologies were estimated to be useful for work tasks, although their suitability for work contexts was partially limited. Firstly, the issues of robustness and distractibility were raised especially regarding wearables, although wearables otherwise feel easy and natural to use. Secondly, the redundancy offered by multimodal solutions can benefit users with added certainty, but can also cause confusion in multiple ways. Thirdly, augmented guidance is easy to follow, but its usefulness for experienced workers is unclear. Finally, when technologies bear combinations of these characteristics, issues such as mental load, ergonomics, workflow, collaboration and information presentation need careful consideration. Suitable user evaluation approaches are suggested for these technologies, with a special emphasis on the often under-recognised multimodal interaction. The results will facilitate designing future technologies with the user's best interests in mind, benefiting the users in general, but especially future workers and employers, in addition to researchers developing and evaluating these solutions.

Työelämässä on meneillään asteittainen muutos perinteisistä tietokoneista laitteisiin, joiden avulla tietoon pääsee käsiksi missä ja milloin vain. Laitteet, joita ennen nähtiin vain tieteiselokuvissa, ovat lipumassa koteihin ja työpaikoille. Työpaikoilla uusien teknologioiden käyttöönotto ei kuitenkaan ole sujunut aina kitkatta, vaikka käytettävyyden parantamiseen on panostettu. Tästä huolimatta työelämään on tarjolla paljon teknologioita, joiden soveltuvuudesta työhön ei ole vielä varmuutta.

Tämän väitöskirjan kuusi osatutkimusta tarkastelevat tulevaisuuden teknologioiden käytettävyyttä ja niiden soveltuvuutta työhön navigoinnin, huoltotyön, telerobotiikan, robottikirurgian ja lainkäytön sähköistämisen kontekstissa. Lisäksi käsitellään käyttäjäarviointiin liittyviä näkökohtia. Näihin teknologioihin kuuluvat puettavat, multimodaaliset ja lisätyn todellisuuden sovellukset. Puettavat laitteet ovat vartalon päälle puettavia tietokoneita tai käyttöliittymiä. Lisätty todellisuus tarkoittaa, että käyttäjälle esitetään tietoa, joka rikastaa hänen näkemäänsä tai kokemaansa reaalimaailmaa. Multimodaaliset järjestelmät antavat käyttäjälle palautetta useamman kuin yhden aistikanavan välityksellä, tai käyttäjä toimii järjestelmän kanssa useamman syöttötavan tai –laitteen avulla. Hyvin toimiva sähköinen tietojenvaihto on edellytys näiden teknologioiden käytölle. Tutkitut teknologiat olivat varhaisessa kehitysvaiheessa, minkä vuoksi tutkimuksissa keskityttiin vahvasti niiden tuomiin mahdollisuuksiin työkontekstissa ja perinteistä käytettävyysarviota painotettiin vähemmän. Laadullisiin tutkimusmenetelmiin kuuluivat kyselyt, haastattelut, havainnoinnit, fokusryhmähaastattelut ja tulevaisuustyöpajat.

Tämä väitöskirja tarjoaa kokoelman käytännöllisiä käyttäjänäkökohtia, jotka tulee huomioida, kun näitä teknologioita suunnitellaan, kehitetään ja otetaan käyttöön työpaikoilla. Suurin osa arvioiduista teknologioista arvioitiin hyödyllisiksi työtehtäviin, vaikka niiden soveltuvuus työhön oli osittain rajoittunutta. Puettavien teknologioiden kohdalla nousivat erityisesti esiin laitteiden kestävyys ja häiritsevyys, vaikka niiden käyttöä pidettiin muuten helppona ja luonnollisena. Multimodaalisten järjestelmien tarjoama redundanssi voi tuoda käyttäjille varmuutta, mutta aiheuttaa myös hämmennystä useilla tavoilla. Lisätyn todellisuuden teknologioilla toteutettuja ohjeita oli helppo seurata, mutta niiden hyödyllisyys kokeneille työntekijöille jäi epäselväksi. Lisäksi, jos teknologialla on piirteitä useista edellä mainituista tulevaisuuden teknologioista, tulee tarkastella huolellisesti myös käyttäjän kokemaa henkistä kuormitusta, ergonomiaa, työnkulkua, yhteistyötä ja tiedon esitysmuotoa. Väitöskirjassa esitetään näiden teknologioiden käyttäjäarviointiin soveltuvia tapoja painottaen erityisesti usein huomiotta jäävää multimodaalisuutta. Tulokset auttavat suunnittelemaan tulevaisuuden teknologioita käyttäjän näkökulma edellä hyödyttäen käyttäjiä yleisesti, sekä tulevaisuuden työntekijöitä, työnantajia ja tutkijoita, jotka kehittävät ja arvioivat ratkaisuja.