Usability Evaluation of Information Systems in Complex Domains, a Case-Study on a pension application processing system
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-01-25
Department
Major/Subject
Robert Roos
Mcode
SCI3097
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
88+38
Series
Abstract
Designing systems within specialized, complex domains can vary compared to designing systems for the general public. With the increasing demand for digital solutions within these complex domains, it is ever more critical for usability experts to understand how to approach complex domains when conducting usability evaluations. The case study's primary goal is to find usability related problems within the system with the applied methods. The secondary goal is to understand how usability evaluations differ in complex domains through the case-study in comparison to standard domains. Through this case study and these two goals, methodological recommendations that can be used for assessing the usability within complex domain systems will also be given. The methods used in the case study are the System Usability Scale Questionnaire, Heuristic Evaluation, Contextual Inquiry, and 6-3-5 Brainwriting Workshop. All the methods were conducted remotely due to the COVID-19 pandemic. This methodology resulted in 19 total problems: 11 usability problems, and eight problems within other attributes. The methodology proved successful for evaluating the system within all specified attributes while increasing the evaluator’s knowledge of the system domain. The importance of expanding the evaluator's domain knowledge and defining attributes beyond usability proved to be a critical factor in this case study's success. The findings presented to the case study client were verified as problems. The methodology provided successful in this single case study. However, the sequencing of the methods and variants of methods used are still in need of verification and further research.Utvecklingen av datasystem inom specialiserade komplexa domän kan variera markant i jämförelse till system utvecklade för allmän publik. I samband med det ökande kravet efter digitala lösningar inom komplexa domän, är det viktigare än någonsin för experter att förstå hur man närmar sig komplexa domän vid utförandet av användbarhetsutvärderingar. Det primära målet med avhandlingen är att i samband med en fallstudie hitta problem som är relaterade till användbarhet. Det sekundära målet är att förstå hur användbarhetsutvärderingarna frånskiljer de komplexa domänen ifrån standarddomänen. Fallstudien kommer att bidra med metodiska rekommendationer vid framtida undersökningar av datasystems användbarhet inom komplexa domän. Metoderna som tillämpas i fallstudien är System Usability Scale mätning, Heuristisk utvärdering, Kontextuell utredning, och 6-3-5 Brainwriting workshop. Alla metoder utfördes på distans på grund av COVID-19 pandemin. Metodiken resulterade i 19 problem totalt, varav 11 är användbarhetsproblem och åtta problem inom andra attribut. Metodiken visade sig vara lyckad för utvärdering av fallstudiens datasystem inom alla specificerade attribut. Samtidigt bidrog metodiken till ökning av utvärderarens kunskap inom systemets specifika domän. Inlärningen av fallstudiens domän-specifika kunskap och beaktandet av attributen utanför användbarheten visade sig vara nyckelfaktorer för fallstudiens succé. Resultaten presenterades till fallstudiens kund och blev verifierade som problem. Metodiken visade sig vara lyckad inom denna fallstudie. Däremot utmärktes det att de utförda metodernas rangordning och varianter kräver både verifiering och fortsatt undersökning i framtiden.Description
Supervisor
Kaipio, JohannaThesis advisor
Pekkanen, KimmoKeywords
complex domain, evaluation methods, information system, pension application processing system, usability, attributes