Evaluating explainable AI models for convolutional neural networks with proxy tasks

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2019-12-16
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
SCI3044
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
68
Series
Abstract
The field of artificial intelligence and machine learning have been developing rapidly throughout the years. The machine learning models are growing in a way that it is harder than ever to understand why certain decisions are made. Explainable AI is a group of different methods that tries to fix this problem. This thesis starts by looking into the current state of explainable AI and examine which kind of explainable models there are and how are they tested. We will also research three different explainable AI models in detail to understand and test them with different tasks. As the research currently lacks standardized automated testing and evaluation of explainable AI models, we introduce two different proxy tasks: pattern task and Gaussian blot task, which both generate a dataset for convolutional neural networks to classify. These neural network results are fed into the explainable AI models. Additionally, we introduce an evaluation scheme that will evaluate the explainable AI by scoring each explanation. In the results of this thesis, we use the introduced proxy tasks and evaluation scheme to evaluate the three explainable AI models, that are suitable for convolutional neural networks, and discuss in which kind of situations each model seems to work best. We conclude that the proxy tasks and the evaluation scheme work as they were intended. Both tasks provide hard enough tasks for the neural network and explainable models while the evaluation scheme does provide a sensible score for each sample.

Tekoäly sekä koneoppiminen ovat kehittyneet nopeasti viime vuosien aikana. Koneoppimismallien monimutkaisuus ja koko ovat kasvaneet niin paljon, ettei yksittäisten tulosten ymmärtäminen ole mahdollista. Selittävä tekoäly on kokoelma erilaisia malleja, jotka yrittävät ratkaista juuri tämän ongelman. Tämä diplomityö aloittaa tarkastelun tutkimalla selittävän tekoälyn tilaa siitä, millaisia selittäviä malleja on olemassa sekä kuinka näitä malleja testataan. Aiomme myös tutkia kolmea erilaista selittävää tekoälymallia, jotka ovat yhteensopivia neuroverkkojen kanssa, ymmärtääksemme ja testataksemme niitä erilaisilla tehtävillä. Sillä selittävien mallien tutkimus niiden automatisoidusta testaamisesta ja arvionnista on vaillinaista, esitämme kahta erilaista välittäjätehtävää: kuvio- sekä Gaussin jakauma -tehtävää. Molempien tehtävien tarkoitus on luoda datakokoelma konvoluionaalisten neuroverkkojen luokiteltavaksi. Neuroverkkojen tuloksien avulla tarkoituksemme on testata selittävien mallien suorituskykyä. Tämän suorituskyvyn mittaamiseen, esittelemme myös arvostelumenetelmän, jonka avulla selittävien mallien tuloksia on mahdollista pisteyttää. Tämän diplomityön tuloksina käytämme työssä esiteltyjä välittäjätehtäviä sekä arvostelumenetelmää kolmen erilaisen selittävän tekoälymallin testaamiseen sekä selvitämme minkälaisissa tehtävissä mallit selviytyvät parhaiten. Toteamme, että välittäjätehtävät sekä arvostelumenetelmä toimivat kuten on tarkoitus. Molemmat esitellyt tehtävät olivat tarpeeksi vaativia luokittelutehtäviä käytetyille neuroverkoille sekä arvotelumenetelmä kykeni tuottamaan järkevän pisteytyksen jokaiselle koenäytteelle.
Description
Supervisor
Kannala, Juho
Thesis advisor
Ajanki, Antti
Ventus, Christoffer
Keywords
artificial intelligence, machine learning, explainable AI, neural network, proxy task
Other note
Citation