Human-in-the-loop Hyperparameter Tuning of Deep Nets to Improve Explainability of Classifications

Abstract

Artificial Intelligence methods, especially the fields of deep-learning and other neural network based architectures have seen an increasing amount of development and deployment over the last decade. These architectures are especially suited to learning from large volumes of labelled data, and even though we know how they are constructed, they turn out to be equivalent to black boxes when it comes to understanding the basis upon which they produce predictions, especially as size of the network increases. Explainable AI (xAI) methods aim to disclose the key features and values that influence the prediction of black-box classifiers in a manner that is understandable to humans. In this project, the first steps are taken towards developing an interactive xAI system that places a human in the loop; here, a user’s ratings on the sensibility of explanations of individual classifications are used to iteratively find Hyperparameters of the neural net classifier (VGG-16), image segmentator (Felzenszwalb), and xAI (SHAP), to improve the sensibility of the explanations produced without affecting classification accuracy of the classifier in the training set. The users are asked to rate the sensibility of explanation from 1-10. The rating from the users is fed back to the Bayesian optimization algorithm that suggests new Hyperparameters values for the classifier, segmentator, and SHAP modules. The results of the user study suggests that the Hyperparameters which produced higher ratings on explanations tended to also improve the explainability of the images, thus generally improving the explainability for the image class. Improvement in the out-of-sample accuracy of the classifier (for the same class) was observed in some scenarios, but this still needs more comprehensive evaluation. More sensitive queries for the users, explore a variety of xAI methods, a variety of datasets, as well as conduct larger-scale experiments with users would be required to jointly improve explanations of multiple classes.

Tekoälyn menetelmien kehitystyö ja käyttö on kasvanut paljon viimeisen vuosikymmenen aikana. Eritoten kasvua on nähty syväoppimisen ja muiden neuroverkkopohjaisten arkkitehtuureiden parissa. Nämä arkkitehtuurit sopivat erityisen hyvin oppimaan suurista määristä nimikoitua dataa ja vaikka tiedämmekin, miten nämä on rakennettu, niin etenkin verkon koon kasvaessa ymmärtäminen millä perusteella ne luovat ennusteita vastaa mustaa laatikkoa. Selittävän tekoälyn (xAI) menetelmät pyrkivät esittämään ihmisille ymmärrettävässä muodossa pääominaisuudet ja arvot, jotka vaikuttavat musta laatikko luokittelijoiden ennusteisiin. Tässä projektissa kehitetään interaktiivista xAI-järjestelmää, joka asettaa ihmisen mukaan prosessiin. Käyttäjän arvosanaa yksittäisten luokitteluiden selityksen herkkyydestä käytetään toistuvasti löytämään neuroverkon luokittelumoduulin (VGG-16), kuvien segmentointimoduulin (Felzenszwalb) ja selittävän tekoälymoduulin (SHAP) hyperparametrit. Tämän avulla on tarkoitus parantaa harjoitussarjan selityksien herkkyyttä vaikuttamatta luokittelijan luokituksien tarkkuuteen. Käyttäjiä pyydetään arvostelemaan selityksen herkkyys asteikolla yhdestä kymmeneen. Käyttäjien antamat arvosanat syötetään takaisin bayesilaiseen optimointialgoritmiin, joka ehdottaa uusia hyperparametriarvoja luokittelu-, segmentointi- ja SHAP-moduuleille. Käyttäjätutkimuksen tulokset viittaavat siihen, että hyperparametrit, jotka tuottivat korkeamman arvosanan selityksistä yleensä paransivat myös holdout kuvien selitettävyyttä ja täten paransivat myös yleisesti kuvaluokan selitettävyyttä. Datajoukon ulkopuolisten luokitusten tarkkuuden paranemista huomattiin jossain tapauksissa, mutta tämä vaatii vielä tarkempaa tarkastelua. Useampien luokkien selityksien paranantaminen samanaikaisesti vaatisi tarkempia kyselyitä käyttäjille, useiden selittävien tekoälymenetelmien tutkimista, datajoukkojen monipuolisuutta ja suuremman mittakaavan käyttäjätutkimuksia.