Usability evaluation and complexity in the public procurement of IT systems
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2023-01-23
Department
Major/Subject
Software and Service Engineering
Mcode
SCI3043
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
47+6
Series
Abstract
Procurement in the public sector is often seen as cumbersome due to regulations and limited resources. In the procurement process, usability requirements can be used to signify the users' needs. These requirements are then evaluated using various methods. The usability evaluation methods used in comparing system candidates traditionally focus on small entities, linear tasks, and individual components. In contrast, procured IT systems are often complex systems that require different methods of evaluation. This thesis investigates the role of complexity in the usability evaluation of tenders during public procurement. The research questions of the thesis are: 1) what is the current role of complexity in the usability evaluation of tenders and 2) how should complexity be taken into account in the usability evaluation of tenders? The research design used to answer these questions is a case study conducted at Aalto University in 2022. The case study consists of preliminary research and semi-structured interviews (n=7) with long-term IT professionals from differing backgrounds at Aalto. The data is analyzed using thematic analysis. Complex problem-solving and complex systems are identified as two main categories regarding usability and complexity. The results suggest that the current role of complexity in usability evaluation is limited due to the priorities and regulations of public procurement. The findings suggest that complexity should be considered more thoroughly in the context of usability evaluation because complexity affects usability. The study concludes that the usability evaluation methods for complex systems proposed in the literature highlight the importance of context and observations, whereas usability evaluation in procurement values quantifiable, and actionable, results. Finally, the relation between complex systems and complex problem-solving, as well as the development of methods for efficiently evaluating and comparing complex systems are proposed as topics for further research.Julkisen sektorin IT-järjestelmien hankintaprosessi koetaan usein haastavaksi. Hankinnan yhteydessä tapahtuvan tarjouskilpailun aikana potentiaalisten järjestelmien soveltuvuutta voidaan arvioida muun muassa käytettävyysvaatimusten avulla. Käytettävyysarvioinnissa huomioidaan perinteisesti rajattuja käyttöpolkuja sekä yksittäisiä käyttöliittymäkomponenttien toimintoja. Sen sijaan hankinnan kohteena olevat IT-järjestelmät ovat usein komplekseja kokonaisuuksia, jotka sisältävät useita toiminnallisuuksia, sekä monimutkaisia käyttötapauksia. Tässä diplomityössä tutkittiin kompleksisuuden suhdetta käytettävyyteen julkisen sektorin IT-hankintojen kontekstissa. Tutkimuskysymykset ovat: 1) miten kompleksisuus huomioidaan hankintakilpailun aikaisessa käytettävyysarvioinnissa ja 2) kuinka kompleksisuus tulisi ottaa huomioon tarjouskilpailun aikaisessa käytettävyysarvioinnissa. Tutkimuksen aineisto kerättiin seitsemästä teemahaastattelusta Aalto-yliopiston IT-ammattilaisten kanssa. Kompleksisuus ilmenee tutkimuksessa kahdella tavalla: kompleksiset järjestelmät sekä kompleksinen ongelmanratkaisu. Tutkimus osoittaa, että nykyisellään kompleksisuutta huomioidaan tarjouskilpailujen aikaisessa käytettävyystestauksessa hyvin rajallisesti. Tämä johtuu osittain julkisen sektorin hankintojen rajoitteista sekä prioriteeteista. Tapaustutkimuksen perusteella todetaan, että kompleksisuutta tulisi huomioida laajemmin, koska järjestelmien kompleksisuus vaikuttaa niiden käytettävyyteen. Nykyiset kompleksisen järjestelmien arviointimenetelmät painottavat kontekstia, havainnointia ja moniulotteisuuden huomioimista. Sen sijaan hankinnoissa tapahtuva käytettävyysarviointi pyrkii selkeisiin, määrällisiin ja vertailukelpoisiin tuloksiin. Lopuksi mahdollisina tutkimuksen kohteina esitetään kompleksisten järjestelmien ja kompleksisen ongelmanratkaisun yhteyden tarkempi kartoittaminen sekä kompleksisten järjestelmien käytettävyyden arvioimiseen soveltuvien menetelmien kehittäminen.Description
Supervisor
Viitanen, JohannaThesis advisor
Savolainen, KaisaKeywords
usability, procurement, complexity, usability evaluation, complex systems