Usability evaluation of a robotic-guided multi-locus transcranial magnetic stimulation (mTMS) system

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2024-01-22

Department

Major/Subject

Human-Computer Interaction

Mcode

SCI3097

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

31+5

Series

Abstract

As medical systems grow more complex, an increasing emphasis on evaluating and improving the usability of these systems is required to prevent potentially dangerous user errors and to fix existing usability problems. However, usability evaluation of complex and domain-specific systems presents unique challenges, such as lacking domain knowledge, and choosing the optimal evaluation methods. Careful planning is required to mitigate these challenges and find usability problems that are the most relevant to the users. The two goals of this thesis include: 1) finding usability problems in the robotic-guided mTMS system in a research context and creating improvement suggestions and 2) Analyzing the difference in usability between manual operation of the system and robotic operation of the system based on the results of the usability evaluation. The usability evaluation was conducted using four evaluation methods: heuristic evaluation, user testing, semi-structured interview, and System Usability Scale (SUS) questionnaire. Additionally, I also facilitated a workshop to validate the improvement suggestions and prototypes. The usability evaluation recognized a total of 36 usability problems with the system, with efficiency and error prevention being the two most problematic usability attributes. The findings showed that although the system is currently usable by expert users for research purposes, there are still lots of usability problems, some of which are severe. The findings also showed that the system was easier to use with robotic operation when compared to manual operation.

Kun lääketieteelliset järjestelmät kehittyvät aiempaa monimutkaisemmiksi, niiden käytettävyyden arviointi ja käytettävyyden kehitys muuttuvat entistä vaarallisten käyttäjävirheiden välttämiseksi ja olemassaolevien käytettävyysongelmien korjaamiseksi. Monimutkaisten alakohtaisten järjestelmien käytettävyyden arviointiin liittyy kuitenkin erityisiä haasteita, kuten alakohtaisen tiedon puute, sekä optimaalisten arviointimenetelmien valinta. Monimutkaisten alakohtaisten järjestelmien käytettävyysarviointiin liittyviä haasteita ja riskejä voidaan lieventää huolellisella suunnittelulla, joka on myös tarpeellista järjestelmän käyttäjien näkökulmasta suurimpien käytettävyysongelmien löytämiseksi. Tämän diplomityön kaksi tavoitetta ovat: 1) Järjestelmän käytettävyysongelmien löytäminen tutkimuskontekstissa ja niiden pohjalta parannusideoiden luominen, ja 2) Järjestelmän manuaalisen ja robottiohjauksen käytettävyyden erojen analysointi. Käytettävyysarviointi toteutettiin neljällä arviointimenetelmällä: heuristisella evaluaatiolla, käyttäjätestauksella, puolistrukturoidulla haastattelulla, ja System Usability Scale (SUS) kyselyllä. Lisäksi parannusehdotuksia ja prototyyppejä validoitiin työpajassa. Käytettävyysarvioinnissa järjestelmästä löytyi 36 käytettävyysongelmaa, ja tehokkuus sekä virheiden välttäminen olivat kaksi ongelmallisinta käytettävyysatribuuttia. Löydökset osoittivat, että järjestelmän käytettävyydessä on monia ongelmia, joista osa on vakavia, mutta järjestelmän alhainen käytettävyys ei kuitenkaan estä käyttämästä järjestelmää tutkimukseen. Löydösten perusteella robottiohjausta on helpompaa käyttää kuin manuaalista ohjausta.

Description

Supervisor

Viitanen, Johanna

Thesis advisor

Souza, Victor

Keywords

heuristic evaluation, usability evaluation, complex medical system, user testing, mTMS

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202401282129

Collections

[dipl] Perustieteiden korkeakoulu / SCI