The Accessibility Evaluation of Web Sites

No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology | Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2005
Major/Subject
Työpsykologia ja johtaminen
Mcode
TU-53
Degree programme
Language
fi
Pages
ix + 59 + liitt. (+58)
Series
Abstract
This master's thesis describes a method for performing expert evaluations of web site accessibility. The method enables experts to perform evaluations systematically, repeatably and in a way that takes into account the limitations of the method. Expert evaluations aim at making sure that the web accessibility evaluation guidelines in Web Content Accessibility Guidelines 1.0, as well as those set out by various organizations of the visually impaired, are followed. The first part of the thesis uses the literature of the field to look at accessibility as a concept, various target user groups, existing guidelines and accessibility evaluation in general. The basic methods for accessibility evaluation include the use of evaluation programs, expert evaluations, user testing and evaluations by expert users. Ideally, a combination of the aforementioned methods is used. Including users in the testing process is not always possible. In these cases it's important to make sure that expert evaluations can be performed efficiently and with comprehensive results. The second part of the thesis delves into the expert evaluation of accessibility and presents a research project for developing the expert evaluation of accessibility, undertaken at Adage Oy. The aim of the research project was to develop guidelines for performing expert evaluations of web site accessibility for experts and an evaluation process suitable for use by companies. As far as content goes, the starting point for the project was with existing accessibility design and evaluation guidelines, and a process model for performing expert evaluations of accessibility. The actual evaluation instructions were created iteratively, by testing it in practice in two separate evaluation projects. Three experts evaluated five separate public service web sites. The experts also familiarized themselves with two different accessibility evaluation programs, in order to look at the possibility of conducting semi-automatic accessibility evaluations. The first evaluation project made it abundantly clear that the evaluation instructions need to be as compact as possible and extreme detailed. The second version of the evaluation guidelines included an evaluation template that took a tighter approach to steering the evaluators and supported a "one tool at a time"-approach to evaluation. An expert evaluation is a relatively quick and easy way to uncover implementation methods that are potentially problematic for many user groups. To get a final and complete picture of the situation, user testing and a comprehensive set of usability tests should also be employed.

Tässä diplomityössä kuvataan käytettävyyden asiantuntijoille sopiva verkkosivujen esteettömyyden arviointitapa, jolla esteettömyyden arviointi voidaan tehdä asiantuntija-arviona järjestelmällisesti, toistettavasti ja menetelmän rajoitukset tuntien. Asiantuntija-arvioinnissa pyritään varmistamaan, että sivusto noudattaa Web Content Accessibility Guidelines 1.0 -ohjeita sekä näkövammaistahojen esteettömyydenarviointiohjeita. Työn ensimmäisessä osassa tarkastellaan kirjallisuuden pohjalta esteettömyyden käsitettä, kohdekäyttäjäryhmiä, olemassa olevia ohjeita sekä esteettömyyden arviointia yleisesti. Perustapoja esteettömyyden arviointiin ovat arviointiohjelmien käyttö, asiantuntija-arviot, käyttäjätestaus sekä asiantuntija-käyttäjien arviot. Kattavimman tuloksen saa yhdistämällä edellä mainitut tavat. Käyttäjien mukaan ottaminen ei kuitenkaan ole aina mahdollista. Tällöin on tärkeää, että tarvittaessa asiantuntija-arvioita voidaan tehdä tehokkaasti ja kattavasti. Työn toisessa osassa paneudutaankin esteettömyyden asiantuntija-arviointiin ja esitellään tutkimus, jossa kehitetään esteettömyyden asiantuntija-arviointia Adage Oy:ssä. Tutkimuksen tavoitteena oli kehittää sekä käytettävyyden asiantuntijoille sopivat ohjeet esteettömyysarvioinnin tekemiseksi että yritykselle sopiva arviointiprosessi. Asiantuntija-arvioinnin sisällölliseksi lähtökohdaksi otettiin olemassa olevat esteettömyyden suunnittelu- ja arviointiohjeet sekä prosessimalli eräästä tavasta tehdä käytettävyyden asiantuntija-arviointeja. Varsinainen arviointiohje laadittiin iteratiivisesti kokeilemalla sitä käytännössä kahdessa arviointirupeamassa. Arviointirupeamissa arvioitiin viiden julkisen palvelun sivustoa kolmen arvioijan voimin. Tämän lisäksi selvitettiin konearvioinnin mahdollisuuksia tutustumalla kahteen esteettömyyden puoliautomaattiseen arviointiohjelmaan. Ensimmäisen arviointirupeaman perusteella huomattiin, että arviointiohjeen tulee olla mahdollisimman tiivis ja rautalankaan asti yksityiskohtainen. Toiseen arviointiohjeen versioon lisättiin arviointipohja, joka ohjaa arvioijia huomattavasti tiukemmin ja tukee "työkalu kerrallaan" tapahtuvaa arviointia. Toisessa arviointirupeamassa kriteerit järjestelmällisyydelle, toistettavuudelle ja selvyydelle toteutuivatkin suhteellisen hyvin. Arvioinnit kattoivat WCAG l.0 -ohjeen 64 kohdista 58 ja arvioijien tulokset poikkesivat toisistaan vain muutamien kohtien osalta. Lopullisessa ohjeessa ainakin osa ohjeen ongelmista saadaan korjattua toisen arviointirupeaman tulosten perusteella. Asiantuntija-arviointi on suhteellisen nopea ja vaivaton tapa löytää useita erilaisille käyttäjäryhmille ongelmallisia toteutustapoja. Lopullisen ja täydellisen kuvan saamiseksi arviointiin tulee lisätä verkkosivuston arvioinnit käyttäjien kanssa sekä kokonaisvaltainen käytettävyyden arviointi.
Description
Supervisor
Vartiainen, Matti
Thesis advisor
Kuoppala, Hannu
Keywords
accessibility, esteettömyys, usability, käytettävyys, evaluation, arviointi, web sites, verkkopalvelut, internet, internet
Other note
Citation