AI trust you: The relationship between perceived usability and trust in machine learning software for healthcare professionals

Thumbnail Image

Files

master_Palosuo_Joonas_2024.pdf (12.52 MB)

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-01-22

Department

Major/Subject

Human-Computer Interaction

Mcode

SCI3097

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

62 + 17

Series

Abstract

The advances in machine learning and computer vision have taken significant leaps in the last decade, but these have yet to be widely adopted by healthcare professionals; it is theorized that a key blocker is the lack of trust. In the field of human-computer interaction, considerations related to some system’s efficiency and ease-of-use are characterized by the term usability. As the goal of machine learning based healthcare software is to improve the users’ efficiency and accuracy, we are thus interested in the potential intersection between the perceived usability of a system and the trust in it. In this thesis, we investigate trust in machine learning based software and the relationship between trust and perceived usability. We conducted a scoping review of related literature (n=14) and an empirical case study on healthcare professionals’ trust and perceived usability of a machine learning based software used for analyzing hematopathological microscope images. The empirical study comprised a two-week period during which the physicians (n=7) used the software, and pre- and post-test interviews and questionnaires were conducted. Our preliminary results indicate that a key contributor for healthcare professionals to establish trust in machine learning software is external validation from a reputable source, and sufficient time to get accustomed to the system, which could be reduced with validation. Furthermore, the results also suggest that in order for a software to provide an increase in efficiency, the users need to be able to trust the software’s ability, indicating a potential link between trust and perceived usability.

Koneoppimisen ja konenäön kehitys on ottanut valtavia harppauksia viimeisen vuosikymmenen aikana. Tästä huolimatta koneoppimista hyödyntäviä sovelluksia ei juurikaan käytetä terveydenhuollossa; yhtenä avaintekijänä pidetään luottamuksen puuttumista. Ihmisen ja tietokoneen vuorovaikutuksen tutkimuksessa jonkin sovelluksen helppokäyttöisyyttä ja tehokkuutta kuvataan käsitteellä "käytettävyys". Koska lääketieteellisten koneoppimissovellusten tarkoitus on tehostaa lääkärien työtä, koetun käytettävyyden ja luottamuksen yhteys on mielenkiintoinen tutkimuskohde. Tässä työssä tutkittiin luottamusta koneoppimissovelluksissa, sekä luottamuksen ja koetun käytettävyyden mahdollista yhteyttä. Pohjatyönä toteutettiin kartoittava kirjallisuuskatsaus (n=14), jonka jälkeen empiirisessä osuudessa tutkittiin lääkäreiden (n=7) kokemaa käytettävyyttä ja luottamusta hematopatologisten mikroskooppikuvien analyysiin erikoistuneen koneoppimissovelluksen kanssa. Empiirisessä kokeessa lääkärit käyttivät sovellusta kahden viikon ajan, ja koejakson aluksi ja lopuksi lääkärit osallistuivat haastatteluun ja vastasivat kyselylomakkeisiin. Alustavien tulosten perusteella luottamuksen muodostumisen avaintekijöitä ovat sovelluksen toiminnan validaatio sekä riittävä aika luottamuksen rakentumiselle, jota mahdollisesti voisi lyhentää validaation avulla. Lisäksi tulosten perusteella vaikuttaa, että lääkärien tulee pystyä luottamaan sovelluksen antamiin tuloksiin jotta se voi tehostaa heidän työtä, viitaten mahdolliseen yhteyteen koetun käytettävyyden ja luottamuksen välillä.

Description

Supervisor

Viitanen, Johanna

Thesis advisor

Brück, Oscar

Keywords

HCI, usability, trust, machine learning, AI, healthcare

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202401281992

Collections

[dipl] Perustieteiden korkeakoulu / SCI