Evaluating systems usability in complex work - Development of a systemic usability concept to benefit control room design
Loading...
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2014
Major/Subject
Mcode
Degree programme
Language
en
Pages
170 + app. 54
Series
VTT Science, 57
Abstract
The design of industrial control rooms assumes fulfilling the goals of production, safety, and human well-being. Control rooms and the user interfaces within them should enable the effective and efficient conduct of work in all the operating conditions which can be foreseen during specification and design. At the same time, the user interfaces should enable the control of the process in unprecedented and totally unexpected situations while simultaneously maintaining the safety of the process. During the design or modification of the control room, the potentiality of the emerging solution to fulfil the objectives is assessed by conducting empirical evaluations. This dissertation presents the development of an evaluation methodology which enables developing the control room towards meeting these objectives. Industrial process control constitutes a socio-technical system in which people and technologies have multiple and sometimes overlapping roles. In order to meet the demands of maintaining safety in all situations, the socio-technical system should have built-in capability of dealing with the unexpected. The control room, and the user interfaces within it, are an integral part of the socio-technical system. Thus, they have a role in construing and maintaining the safety of the system. The concept of systems usability (SU) is introduced in the dissertation to evaluate the systemic effects of control room solutions. SU is a human-centred quality attribute of user interfaces and control rooms attributed to technology, but the value in the use of the technology is evidenced in the success of the activity in which the technology is used. Thus, the research makes sense of the significance of the individual technological solutions in, and for, the entirety of an activity system. Systems usability means that a tool in an activity serves the functions of 1) an instrument, 2) a psychological tool, and 3) a communicative tool. The meaning of each function in the specific domain is contextually defined. Furthermore, the quality of the tool can be assessed utilising different perspectives on the usage activity: performance, way of acting, and user experience. By combining the functions of the tool and perspectives on activity, a systemic framework for developing contextual indicators for a good control room is construed. Utilising the concept of SU in the control room requires a model-based evaluation approach. This means that the general contextual work demands are considered in defining the reference of a successful process control activity. In addition, the scenarios utilised in the evaluation are modelled also taking the general work demands into account. A specific scenario modelling method, functional situation modelling (FSM), is presented in this dissertation. FSM combines a functional and making explicit the connection between required operating actions and critical domain functions, the model lays the ground for analysing operating activity from the point of view of maintaining the critical functions. On aspect of control room evaluation is identifying whether the operating practices are attuned to maintaining safety in all situations. For this purpose, a data analysis method is presented in this dissertation. The analysis is based on identifying how operators identify and interpret signs depicted in the control room. Signs are, for example, information technological representations of process information, but they may also be the activities of other crew members. If the interpretation of signs has an identifiable global safety-related aspect, it may be concluded that the operating practice, even though situated, is also attuned to the general functions of the work which must always be maintained. A particular viewpoint in evaluating SU is provided by analysing user experiences (UX) which emerge in the complex work. For this purpose, a UX questionnaire was developed within the SU evaluation framework. The questionnaire is based on UX indicators which reflect experiences of appropriateness concerning the three tool functions (instrument, psychological, communicative). The importance of UX as a measure of germinating, not yet existing tool appropriateness, is presented in the dissertation. The contribution this dissertation makes is in the intersection of the research fields of human factors and ergonomics (HF/E) and usability engineering. The theoretical foundations of the research are in activity theory and cognitive systems engineering. The empirical work has been conducted by following the control room modernization efforts of Finnish nuclear power plants, during which evaluations have been carried out.Teollisuudessa käytettävien valvomoiden suunnittelu tähtää tuotannon, turvallisuuden ja ihmisten hyvinvoinnin tavoitteiden saavuttamiseen. Valvomoiden ja niissä käytettävien käyttöliittymien tulisi olla sellaisia, että ne mahdollistavat tuloksellisen ja tehokkaan työskentelyn kaikissa suunnitteluvaiheessa ennakoitavissa olevissa tuotannollisissa tilanteissa. Samalla käyttöliittymien tulisi mahdollistaa prosessinhallinta myös ennalta odottamattomissa tilanteissa turvallisuustavoitteista tinkimättä. Kehittyvää valvomoratkaisua arvioidaan valvomon suunnittelu- ja muutosprojekteissa tekemällä empiirisiä kokeita. Tämä väitöstyö käsittelee sellaisen valvomoarviointimenettelyn kehittämistä, joka mahdollistaa valvomon kehittämisen aikaisen arvioinnin edellä mainittujen yleisten tavoitteiden suhteen. Teollinen prosessinhallinta muodostaa sosioteknisen järjestelmän, jossa ihmisillä ja teknologioilla on useita, usein päällekkäisiä rooleja. Jotta sosiotekninen järjestelmä voisi saavuttaa turvallisuustavoitteet kaikissa tilanteissa, siinä tulisi olla sisäänrakennettua kyvykkyyttä käsitellä epävarmuuksia. Valvomo ja sen sisältämät käyttöliittymät ovat keskeinen osa sosioteknistä järjestelmää. Siten niiden rooli turvallisuuden rakentumisessa ja ylläpidossa on olennainen. Tässä väitöstyössä esitellään systeemikäytettävyyden käsite, jonka avulla voidaan eritellä valvomoratkaisujen systeemisiä vaikutuksia suunnittelun aikaisissa valvomoarvioinneissa. Systeemikäytettävyys on valvomoiden käyttöliittymien ihmiskeskeinen laatutekijä ja sinällään teknologian ominaisuus, mutta teknologian käyttöarvo liittyy aina toimintaan, jossa sitä käytetään. Systeemikäytettävyyden käsitteen kautta tämä tutkimus käsittelee siis teknologioiden merkitystä osana toimintajärjestelmää ja sen tavoitteiden saavuttamista. Systeemikäytettävyys erittelee työvälineen funktioita toimintajärjestelmässä toiminnan teorian pohjalta: Työväline on 1) instrumentti, 2) psykologinen väline ja 3) kommunikatiivinen väline. Jokaisen funktion merkitys tietyssä toiminnassa määritellään asiayhteydessään. Työvälineen laatua voidaan tarkastella kolmesta eri näkökulmasta toimintaan: suoritus, toimintatapa ja kokemus. Yhdistämällä työvälineen funktiot ja tarkastelunäkökulmat saadaan kehikko kontekstuaalisten hyvän valvomon indikaattoreiden määrittämiseen. Systeemikäytettävyyden käsitteen käyttäminen valvomoarvioinnissa vaatii mallipohjaista arviointia, jossa työn yleiset vaatimukset ymmärretään ja otetaan huomioon arviointiskenaarioiden suunnittelussa. Tässä väitöstyössä on kehitetty erityinen skenaariomallinnustekniikka: funktionaalinen tilannemallinnus (FSM, Functional situation model). FSM yhdistää funktionaalisen ja kronologisen näkökulman ope raattorivuoron toimintaan tietyssä tilanteessa. Tekemällä eksplisiittiseksi yhteydet vaadittujen operaatioiden ja prosessin kriittisten funktioiden välillä malli luo perustan operaattoritoiminnan analyysille prosessin kriittisten funktioiden näkökulmasta. Arvioinnissa on kiinnitettävä huomiota kehittyviin operaattorityön käytäntöihin ja siihen, että ne yleisesti tähtäävät turvallisuuden varmistamiseen kaikissa tilanteissa. Tätä tarkoitusta varten kehitetty operaattoritoiminnan analyysimenetelmä esitellään tässä väitöstyössä. Analyysi perustuu siihen, miten operaattorivuorot havaitsevat ja tulkitsevat valvomossa esiintyviä prosessista kertovia merkkejä. Merkit voivat olla informaatioteknologisia, mutta ne voivat olla myös esimerkiksi vuoron muiden jäsenten tekoja. Jos merkkien tulkinnassa pystytään tunnistamaan globaaleja yleisiä piirteitä, voidaan päätellä, että toiminta suuntautuu yleisten tavoitteiden, esimerkiksi turvallisuuden, ylläpitämiseen. Samalla tunnistetaan myös välittömien prosessinhallintaan liittyvien tekojen toteutuminen tai toteutumatta jääminen. Valvomoarvioinneissa on myös syytä tarkastella monimutkaisessa työssä ilmeneviä käyttäjäkokemuksia. Ydinvoimalaitoksen operaattoreiden käyttäjäkokemuksia tutkittiin kolmessa eri teknologiaolosuhteessa. Käyttäjäkokemuksia tutkittiin kyselymenetelmän avulla, joka on kehitetty systeemikäytettävyyskehikon pohjalta. Työssä esitellään käyttäjäkokemusindikaattorit kaikille kolmelle välinefunktiolle (instrumentti, psykologinen väline, kommunikatiivinen väline) ja eritellään kolmen eri tutkimuksen tuloksia. Työssä tarkastellaan myös käyttäjäkokemuksen merkitystä kehittyvän, ei vielä valmiin työvälineen arvioinnissa. Väitöstyön kontribuutio on inhimillisten tekijöiden ja ergonomian (human factors and ergonomics) ja käytettävyyssuunnittelun (usability engineering) välialueella. Työn teoreettinen perusta on toiminnan teoriassa ja kognitiivisessa järjestelmäsuunnittelussa (cognitive systems engineering). Empiirinen osuus on tehty seuraamalla suomalaisten ydinvoimalaitosten valvomokehityshankkeita, joiden yhteydessä erilaisia systeemikäytettävyysarviointeja on suoritettu.Description
Supervising professor
Nieminen, Marko, Prof., Aalto University, Department of Computer Science and Engineering, FinlandThesis advisor
Norros, Leena, Research Prof., Technical Research Centre of Finland VTT, FinlandKeywords
control room evaluation, human factors, systems usability, control room design, nuclear power plants
Other note
Parts
-
[Publication 1]: Savioja, P. and Norros, L. (2013) Systems Usability Framework for Evaluating Tools in Safety-Critical Work. Cognition, Technology and Work, 15, pp. 255–275.
DOI: 10.1007/s10111-012-0224-9 View at publisher
- [Publication 2]: Savioja, P., Aaltonen, I., Karvonen, H., Koskinen, H., Laarni, J., Liinasuo, M., Norros, L. and Salo, L. (2012) Systems Usability Concerns in Hybrid Control Rooms. In: Proceedings of the 8th International Topical Meeting on Nuclear Plant Instrumentation and Control and Human-Machine Interface Technologies. San Diego, USA.
- [Publication 3]: Savioja, P and Norros, L. (2008) Systems Usability – Promoting Core-Task Oriented Work Practices in Complex Work. In: Law, E., Hvannberg, E. and Cockton, G. (eds). Maturing Usability: Quality in Software, Interaction, and Value. Springer, London. Pp. 123–143.
-
[Publication 4]: Savioja, P., Norros, L. and Salo, L. (2012) Functional Situation Models in Analyses of Operating Practices in Complex Work. In: Proceedings of ECCE 2012 Re-Thinking Cognition. Pp. 58–64. Edinburgh, United Kingdom.
DOI: 10.1145/2448136.2448148 View at publisher
-
[Publication 5]: Savioja, P., Norros, L., Salo, L. and Aaltonen, I. (2014) Identifying Resilience in Proceduralised Accident Management Activity of NPP Operating Crews. Safety Science, 68, pp. 258–274.
DOI: 10.1016/j.ssci.2014.04.008 View at publisher
-
[Publication 6]: Savioja, P., Liinasuo, M. and Koskinen, H. User experience: does it matter in complex systems? Accepted for publication 2013 in Cognition, Technology and Work. Springer. 44 p.
DOI: 10.1007/s10111-013-0271-x View at publisher
