Exploration of interpretability methods for Transformer-based language models in the medical context

Loading...
Thumbnail Image
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu | Master's thesis
Date
2023-12-11
Department
Major/Subject
Bioinformatics and Digital Health
Mcode
SCI3092
Degree programme
Master’s Programme in Life Science Technologies
Language
en
Pages
60+6
Series
Abstract
The importance of language models has recently become common knowledge due to large generative pre-trained transformer models displaying state-of-the-art results and providing an easy-to-use interface for interaction. While the technology offers great opportunities in numerous fields one of the main issues, model explainability and interpretability, still presents a challenge, which makes adopting the technology risky. This is especially true for fields where decisions have a large impact on people's lives such as law, finance and healthcare. Lacking explainability can for example lead to issues such as bias in the model being hidden from the user. In the medical field a common use case for language models is classifying freeform medical texts with diagnosis codes such as the International Statistical Classification of Diseases and Related Health Problems (ICD-10) published by the World Health Organization. Some commonly used models for this task are based on Bidirectional Encoder Representations from Transformers (BERT). It is a deep neural network model, which uses context from both directions of text to pre-train deep language representations. The model can be easily fine-tuned with just one additional classification layer. However, the interpretability of the classification results is still an issue due to the complexity of the models obfuscating the encoded language representations. In this thesis I will use a version of BERT for classifying discharge summaries from the MIMIC dataset and apply various methods of observing the model and interpreting the means with which the model arrives at its results. Additionally, I will compare the results of the interpretability methods to draw conclusions on the viability of the methods in the classification task.

Kielimallien merkitys on saavuttanut laajan tunnettavuuden suurten generatiivisten esikoulutettujen muuntajamallien yltäessä alan parhaisiin tuloksiin ja tarjotessa helposti lähestyttävän käyttöliittymän. Vaikka kielimalliteknologia tarjoaa suuria mahdollisuuksia useilla aloilla, mallien selitettävyys ja tulkittavuus ovat edelleen haasteita, jotka tuovat riskejä tekniikan käyttöön ottamiseen. Erityisesti sellaisilla aloilla, kuten oikeustiede, taloustiede ja lääketiede, joissa tehdyt päätökset vaikuttavat merkittävästi ihmisten elämään, on kielimallien päätösten tulkittavuus merkittävä asia. Tulkittavuuden puute voi esimerkiksi johtaa mallin toiminnan vinoumien piiloutumiseen käyttäjältä. Lääketieteessä kielimallien yleinen käyttökohde on vapaamuotoisten sairaskertomustekstien luokittelu diagnoosikoodeihin, kuten Maailman terveysjärjestö WHO:n julkaiseman International Statistical Classification of Diseases and Related Health Problems (ICD-10) -järjestelmän koodeihin. Luokittelutehtävässä usein käytetään malleja, jotka pohjautuvat Bidirectional Encoder Representations from Transformers (BERT) -malliin. BERT on syväoppiva neuroverkkomalli, joka hyödyntää tekstin kontekstia kaksisuuntaisesti esikouluttaakseen neuroverkon kielen esitystapoja. Mallia voidaan hienosäätää helposti yhdellä lisätyllä luokittelukerroksella. Mallin tulosten tulkitseminen on kuitenkin haaste johtuen mallin monimutkaisesta luonteesta. Tässä diplomityössä käytän erästä BERT-mallin versiota luokitellessani sairaskertomustekstejä MIMIC-datajoukosta ja tutkin eri tulkittavuusmenetelmiä mallin toiminnan selittäjinä. Vertailen tulkittavuusmenetelmien tuloksia ja kerron johtopäätöksiä niiden soveltuvuudesta kyseiseen luokittelutehtävään.
Description
Supervisor
Marttinen, Pekka
Thesis advisor
Moen, Hans
Keywords
natural language processing, nlp, bert, interpretability, deep learning, neural networks
Other note
Citation