aalto1 untyped-item.component.html
Comparing predictive methods for customer churn – A case study of a B2B SaaS company
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Business |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
Degree programme
Language
en
Pages
97
Series
Abstract
Customer churn is a significant challenge for many Business-to-Business (B2B) Software-as-a-Service (SaaS) companies, which often depend on recurring revenue. While companies collect large amounts of data, they often lack a clear understanding of the key factors that lead to customer churn. Therefore, it is important for these companies to use data-driven methods to predict churn and to understand its underlying causes.
This study uses a quantitative method to investigate customer churn prediction within a case study of a B2B SaaS company operating in the Nordic. Several machine learning models were implemented and compared, including Logistic Regression, Support Vector Machine, Decision Tree, Random Forest, and XGBoost. The dataset was extracted from the case company's CRM system and included customer characteristics, financial data, and internally developed Customer Health Score metrics. Hyperparameter tuning was used to find the optimal settings for each model. The models were then trained and evaluated. Finally, model interpretation techniques, specifically Permutation Feature Importance (PFI) and SHAP analysis, were applied to identify the most important churn drivers.
The results conclude that the ensemble-based models, particularly XGBoost, performed better than the other algorithms. The XGBoost model achieved the highest performance across key metrics, including an exceptionally high recall score (1.0) on the test data. The analysis of churn drivers revealed that “relation_strength”, a composite metric measuring the overall customer relationship and engagement, was the single most important predictor. The main conclusion of this thesis is that the quality of the customer relationship is a more critical driver of retention than individual usage or business metrics in this B2B SaaS context.
Asiakaspoistuma on merkittävä haaste monille Business-to-Business (B2B) Software-as-a-Service (SaaS) -yrityksille, joille toistuva tulovirta on usein keskeinen tulonlähde. Yrityksiltä puuttuu kuitenkin usein selkeä ymmärrys keskeisistä tekijöistä, jotka johtavat asiakaspoistumaan. Tämän vuoksi yritysten on tärkeää hyödyntää dataohjautuvia menetelmiä poistuman ennustamiseksi ja sen taustasyiden ymmärtämiseksi.
Tässä tutkimuksessa tarkastellaan asiakaspoistuman ennustamista kvantitatiivisella menetelmällä Pohjoismaisessa B2B SaaS -yrityksessä toteutetussa tapaustutkimuksessa. Työssä toteutettiin ja vertailtiin useita koneoppimis malleja, mukaan lukien Logistic Regression, Support Vector Machine, Decision Tree, Random Forest ja XGBoost. Aineisto kerättiin kohdeyrityksen CRM-järjestelmästä, ja se sisälsi asiakkaiden ominaisuustietoja, taloudellista dataa sekä yrityksen sisäisesti kehittämiä Customer Health Score -mittareita. Jokaiselle mallille etsittiin optimaaliset asetukset hyperparametrien virityksellä, minkä jälkeen mallit koulutettiin ja arvioitiin. Lopuksi parhaiten suoriutuneisiin malleihin sovellettiin tulkintamenetelmiä, kuten Permutation Feature Importance (PFI) ja SHAP-analyysia, tärkeimpien muuttujien tunnistamiseksi.
Tulokset osoittivat, että ensemble-pohjaiset mallit, erityisesti XGBoost, suoriutuivat muita algoritmeja paremmin. XGBoost-malli saavutti parhaan suorituskyvyn keskeisillä mittareilla, mukaan lukien poikkeuksellisen korkean recall-arvon (1.0) testidatalla. Muuttujien analyysi paljasti, että ”relation_strength”, joka on asiakassuhteen kokonaisvaltaista vahvuutta ja sitoutuneisuutta mittaava yhdistelmämittari, oli tärkein yksittäinen ennustaja. Tämän tutkielman tärkein johtopäätös on, että asiakassuhteen laatu on tässä B2B SaaS -kontekstissa merkitsevämpi muuttuja kuin yksittäiset käyttöön tai liiketoimintaan liittyvät mittarit.