aalto1 untyped-item.component.html
Should a machine be trusted? A study on the effect of explainable artificial intelligence on trust in automated machine learning
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
SCI3055
Degree programme
Language
en
Pages
73 + 66
Series
Abstract
This thesis explores the effect of explainable artificial intelligence (XAI) on user trust in automated machine learning (AutoML). AutoML promises to democratize data science but can also decrease the transparency of machine learning (ML) models. To ensure appropriate reliance on AutoML systems, users must be able to calibrate their trust to match the actual reliability of the systems; transparency is essential for this. XAI has shown promising results, but its effect on user trust in AutoML, especially in information-heavy prediction contexts, such as time series forecasting, has received little attention.
To study the feasibility of utilizing XAI techniques to affect trust in AutoML we conduct a randomized controlled trial (RCT). We focus specifically on non-experts and multivariate time series predictions. We adapt and develop three XAI techniques for the experiment, based on a review of the literature on trust, AutoML, and XAI. Trust is measured both as attitudinal trust—based on a questionnaire—and behavioral trust, operationalized as a participant switching their prediction to align with that of the AutoML system.
We find that XAI has a statistically significant—but relatively small—effect on measured attitudinal trust, and that two XAI-enabled systems are trusted more and one less than the control. The effect on measured behavioral trust is the opposite: all treatment AutoML systems are trusted less, but this effect is not statistically significant. XAI has shown promise in increasing model transparency and user trust in previous research; nevertheless, our results indicate this effect is context-dependent. Earlier experiments have utilized somewhat simpler tasks than ours, and this is likely an important factor. Future work on XAI that provides transparency without overwhelming the users is encouraged, and limitations and additional avenues of future work are discussed.
Detta diplomarbete utforskar effekten av förklarbar artificiell intelligens (XAI) på förtroende för automatiserad maskininlärning (AutoML). AutoML strävar efter att demokratisera data science, men kan också minska transparensen i maskininlärning (ML). För att säkerställa lämplig förlitan på AutoML-system, måste användare kunna kalibrera sitt förtroende så att det överensstämmer med systemens verkliga tillförlitlighet; transparens är väsentligt för detta. XAI har gett lovande resultat, men endast lite uppmärksamhet har ägnats åt dess effekt på användarnas förtroende för AutoML, speciellt i informationsdryga prediktionssammanhang, såsom tidsserieprediktion.
För att studera möjligheten att påverka förtroende för AutoML med XAI-tekniker utför vi en randomiserad kontrollerad studie (RCT). Vi fokuserar specifikt på icke-experter och multivariata tidsserieprognoser. Vi anpassar och utvecklar tre XAI-tekniker för experimentet, baserat på en litteraturöversikt över förtroende, AutoML och XAI. Förtroende mäts både som attityd – baserat på ett frågeformulär – och som beteende, definierat som att en deltagare ändrar sin prognos så att den stämmer överens med den prognos som AutoML-systemet gett.
Vi observerar att XAI har en statistiskt signifikant – men relativt liten – effekt på förtroende uppmätt som en attityd, och att förtroende är högre för två av AutoML-systemen med XAI och lägre för en, jämfört med kontrollgruppen. Effekten på förtroende uppmätt som beteende är motsatt: förtroende för alla behandlingsgruppers AutoML-system är lägre, men effekten är inte statistiskt signifikant. I tidigare forskning har XAI uppvisat lovande resultat med att öka transparensen hos modeller och användarnas förtroende för dem; trots detta tyder våra resultat på att denna effekt beror på sammanhanget. I tidigare experiment har något enklare uppgifter använts, vilket är sannolikt en viktig faktor. Framtida arbete kring XAI som ökar transparens utan att överväldiga användare uppmuntras, och begränsningar och andra möjligheter för framtida arbete diskuteras.
Description
Supervisor
Punkka, AnttiThesis advisor
Torres, JorgeLahtinen, Tuomas