Evaluation of automated accessibility testing tools in continuously integrated and continuously deployed web applications
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Authors
Date
2023-12-11
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
69 + 16
Series
Abstract
Using digital services is inevitable nowadays and making digital content accessible to everyone is a crucial concern. As web applications continuously evolve and become more integrated into our daily lives, it is vital that they are accessible to everyone, including those with disabilities. Continuously integrated and continuously deployed (CI/CD) web applications pose challenges for accessibility testing. This thesis examines automated accessibility testing tools in CI/CD environments, with the aim to enhance the accessibility of web applications. To achieve this, a test application was developed, intentionally including accessibility barriers. The study conducted a thorough tool selection process, focusing on accessibility testing tools suitable for CI/CD environments and compliant with Web Content Accessibility Guidelines (WCAG) 2.1 standards. The study successfully identified, evaluated, and compared different automated accessibility testing tools. The tools (pa11y, cypress-axe, and pa11y-ci) were applied to the test application to evaluate their ability to identify the present accessibility issues. The test application underwent manual testing, which served as a reference point for comparing the outcomes of the tool testing. This approach enabled a thorough evaluation of the tools' effectiveness in identifying accessibility issues and adhering to the WCAG 2.1 success criteria. The results revealed that while automated testing tools are useful because they can detect some accessibility barriers automatically, they are currently unable to comprehensively assess the accessibility of web applications. Manual testing is still necessary to fully identify web content accessibility barriers. This study provides insights into the capabilities and limitations of current automated accessibility testing tools. It emphasizes the need for ongoing development to create testing tools that can enable an accessible digital world.Användning av digitala tjänster är oundvikligt i dagens samhälle. Att göra digitalt innehåll tillgängligt för alla är därför nödvändigt. Eftersom webbapplikationer kontinuerligt utvecklas och blir alltmer centrala i vårt dagliga liv, är det viktigt att de är tillgängliga för alla, inklusive personer med funktionsnedsättningar. Webbapplikationer som kontinuerligt integreras och kontinuerligt levereras (CI/CD) utgör utmaningar för tillgänglighetstestning. Denna avhandling undersöker automatiserade verktyg för tillgänglighetstestning i CI/CD-miljöer med målet att förbättra tillgängligheten i webbapplikationer. För att uppnå detta, utvecklades en testapplikation med avsiktliga tillgänglighetsfel. Studien genomförde en noggrann urvalsprocess för verktyg, med fokus på tillgänglighetstestverktyg som kan användas i CI/CD-miljöer och som uppfyller standarden för tillgänglighet, Web Content Accessibility Guidelines (WCAG) 2.1. Studien identifierade, utvärderade och jämförde olika automatiserade tillgänglighetstestverktyg. Verktygen (pa11y, cypress-axe och pa11y-ci) kördes på testapplikationen för att utvärdera deras förmåga att identifiera de befintliga tillgänglighetsproblemen. Testapplikationen genomgick även en manuell testning, som användes som en referenspunkt för att jämföra resultaten av verktygstestningen. Denna metod möjliggjorde en grundlig utvärdering av verktygens effektivitet gällande identifikation av tillgänglighetsproblem på basis av WCAG:s framgångskriterier. Resultaten visade att även om automatiserade testverktyg är användbara för att automatiskt hitta somliga tillgänglighetsfel, har de för tillfället inte förmågan att fullständigt utvärdera webbapplikationers tillgänglighet. Manuell testning är fortfarande nödvändig för att helt identifiera tillgänglighetsproblem i webbinnehåll. Denna studie ger en inblick på kvaliteten av nuvarande automatiserade tillgänglighetstestverktyg. Studien betonar att det finns ett behov för fortsatt utveckling av testverktyg för att kunna möjliggöra en tillgänglig digital värld.Description
Supervisor
Fagerholm, FabianThesis advisor
Vihinen, TuomasKeywords
web content accessibility, accessibility testing, automated accessibility testing tool, web content accessibility guideline, WCAG