Using recurrent neural networks for bankruptcy prediction as a basis for automatic credit ratings

Thumbnail Image

Files

master_Laasonen_Otso_2025.pdf (781.98 KB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-04-28

Department

Major/Subject

Computer Science

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences

Language

en

Pages

55

Series

Abstract

The research in automatic credit ratings has evolved from analytical methods to machine learning techniques. A persistent focus for research has been predicting the probability of default of an entity, whether for business or individuals. Recently, various deep learning methods have achieved success in challenging tasks such as speech recognition and have shown promising results in bankruptcy prediction. However, explainability is a key concern for stakeholders in credit ratings, as deep learning models are difficult to interpret by examining model parameters alone. Explainability is an emerging topic that aims to provide insight and interpretability to machine learning methods. Another challenge is the significant class imbalance in the datasets. Bankrupt samples often make up the minority of the dataset, which makes training models on the original datasets challenging. This thesis explores the use of recurrent neural networks to predict bankruptcy of a company from financial statement data. The prediction horizon is three years from the last financial statement. The model consists of gated recurrent units, and its performance is measured using binary classification metrics. The proposed model is compared to other models that have been previously tested for bankruptcy prediction. The dataset imbalance is addressed by undersampling and by generating synthetic datapoints using a technique known as synthetic minority oversampling. Another synthetic sampling technique called Mixup is tested as well. An explainability framework called Shapley Additive Explanations is used to calculate Shapley values for the model output to help with the interpretability of the results. The recurrent neural network achieved solid performance on traditional metrics. However, using synthetic samples in training did not affect the model performance. Additionally, improvements over previous methods were minor. The calculated Shapley values aligned with established financial indicators, suggesting that the model was able capture relevant trends from the data. The results indicate that despite the sequential nature of financial ratios, the advantages of recurrent models were not realized in bankruptcy prediction. However, Shapley values are proved easy to implement and provided valuable insight into feature contribution.

Automaattiset luottoluokitukset ovat kehittyneet klassisista analyyttisista menetelmistä koneoppimismalleihin. Yleisin lähtökohta tutkimuksessa on ollut konkurssin ennustaminen. Viimeaikoina syväoppimismallit ovat menestyneet vaativissa tehtävissä, kuten puheentunnistuksessa, ja niitä on myös hyödynnetty konkurssien ennustamiseen. Konkurssin todennäköisyyden lisäksi luottoluokituksen määrittämisessä ollaan myös kiinnostuneita mallin selitettävyydestä. Syväoppimismallit ovat ongelmallisia tältä osin monimutkaisuutensa vuoksi, sillä niiden parametrit eivät ole yksinkertaisesti selitettävissä. Selitettävyys on suhteellisen uusi tutkimusaihe, joka pyrkii selittämään syväoppimismallien tuloksia ihmisymmärrettävällä tavalla. Tietojoukon epätasapaino on myös ongelma konkurssin ennustamisessa. Konkurssit muodostavat erittäin pienen osan tietojoukon datapisteistä, mikä tekee mallien kouluttamisesta haastavaa kun käytetään alkuperäistä tietojoukkoa, sillä mallilla saattaa olla vaikeuksia tunnistaa konkurssisia datapisteitä. Tässä diplomityössä tutkitaan takaisinkytkeytyvien neuroverkkojen soveltuvuutta tunnistaa konkurssiin menevät yritykset tilinpäätösaineistosta. Ennustusikkuna on kolme vuotta yrityksen viimeisimmästä tilinpäätöksestä. Malli hyödyntää ’gated recurrent’ -yksiköitä ja mallin soveltuvuutta mitataan perinteisillä luokittelumetriikoilla. Tuloksia verrataan aiempiin konkurssin ennustamisessa käytettyihin malleihin. Lisäksi tietojoukon tasapainottamiseksi kokeillaan synteettistä vähemmistöluokan näytteenottoa ja tietojoukon kasvattamiseksi Mixup-tekniikkaa. Mallin tulosten selitettävyyttä arvioidaan SHAP selitettävyysviitekehyksen avulla. Tulokset viittaavat siihen, että takaisinkytkeytyvä neuroverkkomalli soveltuu konkurssin ennustamiseen. Tosin malli ei kuitenkaan tarjonnut merkittäviä parannuksia vertailumalleihin nähden. Lisäksi synteettisten datapisteiden luonti ei vaikuttanut mallin suorituskykyyn. Shapley-arvot olivat pitkälti linjassa perinteisten taloudellisten tunnuslukujen kanssa. Tulokset indikoivat, että huolimatta tilinpäätösaineiston aikasarjamaisesta luonteesta, takaisinkytkeytyvät neuroverkot eivät merkittävästi paranna konkurssiin menevien yritysten havaitsemista. Shapley-arvot ovat kuitenkin yksinkertainen tapa lisätä syväoppimismallien tulosteeseen liittyvää tietoa.

Description

Supervisor

Solin, Arno

Thesis advisor

Laakso, Terho

Keywords

recurrent neural networks, credit rating, bankruptcy, SMOTE, GRU, explainability

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202505203922

Collections

[dipl] Perustieteiden korkeakoulu / SCI