Evaluating and Improving the Learnability of a Building Modeling System
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology |
Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Authors
Date
2005
Department
Major/Subject
Käytettävyystutkimus
Mcode
T-121
Degree programme
Language
en
Pages
87 s. + liitt.
Series
Abstract
The objective of this study is to classify factors affecting learnability and to suggest means of improving the learnability of a building modelling system. The term 'learnability' signifies how quickly and pleasantly a new user can begin efficient and error-free interaction with a system. The learning period for complex systems designed for domain experts is often very long, and therefore learnability improvements would be especially desirable in such systems. The user interface is an important but not the sole determinant of learnability. This thesis accordingly addresses the effect of the system structure, because the match between the mental models of users and the actual system structure is presumably crucial for learnability. In addition, as most new users of the building modelling system attend a training session, this thesis also addresses the effect of training on learnability. Several empirical methods were used for examining learnability. A longitudinal study was arranged to obtain information on different phases of the learning process. First, users interacting with the system for the first time were interviewed to obtain information on their mental models. Next, a three-day training session for new users was observed and training material was analysed. Users' skill levels were assessed immediately after the training and two months later by observing them in a scenario-based learnability test. Users were also asked to fill in a satisfaction questionnaire form. All the research concentrated on the users' core tasks, which had been defined beforehand in user interviews. Learnability-related phenomena were extracted from the empirical data and they were analysed to determine factors affecting learnability. Three groups of factors were formed: factors related to the user interface; differences between the mental models of users and the system structure; and training. General learnability guidelines and detailed suggestions for changes in the user interface, system structure and training were proposed on the basis of the learnability factors. These learnability guidelines and the classification of factors affecting learnability are the main contribution of this study. The detailed suggestions can be applied to produce immediate improvements in the learnability of the building modelling system.Tämän työn tavoitteena on luokitella rakennesuunnittelujärjestelmän opittavuuteen vaikuttavia tekijöitä ja esittää keinoja parantaa järjestelmän opittavuutta. Opittavuudella viitataan siihen, kuinka nopeaa ja miellyttävää järjestelmän tehokkaan ja virheettömän käytön aloittaminen on. Monimutkaisten asiantuntijajärjestelmien oppimiseen kuluva aika on usein huomattavan pitkä ja siksi opittavuusparannukset ovat erityisen toivottavia. Käyttöliittymä on olennainen mutta ei ainoa opittavuuteen vaikuttava tekijä. Tässä tutkimuksessa käsitellään myös järjestelmän rakenteen vaikutusta opittavuuteen, koska on oletettavaa, että käyttäjän käsitemallin ja järjestelmän todellisen rakenteen vastaavuus on opittavuuden kannalta tärkeää. Koska suurin osa rakennesuunnittelujärjestelmän uusista käyttäjistä osallistuu koulutusjaksoon, käsitellään lisäksi koulutuksen vaikutusta opittavuuteen. Opittavuuden tutkimiseen käytettiin useita empiirisiä menetelmiä. Käyttäjiä seurattiin pitkittäistutkimuksella, koska haluttiin tietoa oppimisprosessin eri vaiheista. Ensin haastateltiin käyttäjiä, jotka käyttävät järjestelmää ensimmäistä kertaa, jotta saatiin tietoa heidän järjestelmää koskevista käsitemalleistaan. Seuraavaksi havainnoitiin kolmipäiväistä koulutusjaksoa ja analysoitiin koulutusmateriaalia. Heti koulutuksen jälkeen ja kaksi kuukautta myöhemmin käyttäjien taitotasoa arvioitiin skenaariopohjaisessa opittavuustestissä. Käyttäjiä myös pyydettiin täyttämään miellyttävyyttä koskeva kyselylomake. Kaikissa opittavuustutkimuksen vaiheissa keskityttiin käyttäjien perustehtäviin, jotka oli määritelty ennen edellä mainittuja empiirisiä tutkimuksia haastattelemalla järjestelmän nykyisiä käyttäjiä. Empiirisillä menetelmillä kerätystä tiedosta löydettyjä opittavuusilmiöitä analysoitiin ja ryhmiteltiin. Tässä työssä esitetään niiden perusteella muodostetut käyttöliittymää, käyttäjien käsitemallien ja järjestelmän todellisen rakenteen vastaavuutta sekä koulutusta koskevat opittavuustekijät. Työssä esitellään myös opittavuustekijöihin perustuva opittavuutta tukevan suunnittelun ohjeistus. Lisäksi työ sisältää yksityiskohtaisia ehdotuksia käyttöliittymässä, järjestelmän rakenteessa ja koulutuksessa tehtävistä muutoksista. Tämän tutkimuksen tärkein tuotos on oletettavasti opittavuustekijöiden ryhmittely ja opittavuutta tukevan suunnittelun ohjeistus. Yksityiskohtaisten ehdotusten avulla järjestelmän opittavuudessa voidaan tehdä nopeita parannuksia.Description
Supervisor
Nieminen, MarkoThesis advisor
Nakari, PiaKeywords
learnability, opittavuus, ease of learning, käytettävyys, usability, rakennesuunnittelu, building modeling, monimutkaiset järjestelmät, complex systems, oppiminen, learning