Machine learning-based anomaly detection and root cause analysis in mobile networks
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-03-11
Department
Major/Subject
Communications and data science
Mcode
ELEC3067
Degree programme
Master’s Programme in Communications and Data Science
Language
en
Pages
82
Series
Abstract
The evolution of mobile networks and the arrival of 5G technology have significantly increased network size and complexity leading to challenges in network management. This thesis addresses machine learning-based anomaly detection and root cause analysis in mobile networks while providing information of various related topics, such as 4G and 5G networks, quality of experience, machine learning methods and self-organising networks. The work focuses on the limitations of typical mobile network data, mainly the lack of labels and the need for expert knowledge and develops an unsupervised machine learning-based model that can automatically detect network anomalies and perform root cause analysis on unlabelled mobile network data. The proposed model combines DBSCAN and LSTM AE, and is trained and tested using real world 4G network data from a Portuguese telecom operator, NOS. The study shows promise in DBSCAN’s ability to separate normal network traffic patterns from abnormal, and the ability of LSTM AE to learn the daily network KPI behaviour and to detect anomalies based on their reconstruction errors. The reconstruction errors also provide insight into the individual KPIs mostly contributing to the anomalies, thus the anomalies’ root causes. The research and findings in this thesis highlight the importance of self-healing in self-organising networks and how different machine learning models can be used to perform anomaly detection and root cause analysis. The obtained results show that anomalies in the available network KPIs do not always result in abnormal traffic patterns and vice versa. Consequently, it can be derived that DBSCAN based solely on traffic volumes is not an ideal method to separate normal network data from abnormal, with the goal of finding network anomalies. In addition, the results underscore the importance of high-quality data in terms of sampling rate and the number of KPIs, as well as the importance of data analysis in finding patterns on different levels of mobile networks.Mobiiliverkkojen sekä erityisesti 5G teknologian kehittyminen ovat merkittävästi kasvattaneet sekä monimutkaistaneet verkkoja, mikä on johtanut haasteisiin niiden hallinnassa. Tämä diplomityö käsittelee koneoppimiseen pohjautuvia menetelmiä poikkeamantunnistamiseen ja juurisyyanalyysiin mobiiliverkoissa sekä tarjoaa tietoa erilaisista aihepiireistä kuten 4G- ja 5G-verkoista, kokemuksen laadusta, koneoppimismenetelmistä ja itseorganisoituvista verkoista. Työ keskittyy tyypillisen mobiiliverkkodatan rajoituksiin, lähinnä syöte-tulos parien puutteeseen sekä asiantuntijatiedon tarpeeseen ja kehittää ohjaamattomaan koneoppimiseen perustuvan mallin, joka pystyy automaattisesti havaitsemaan mobiiliverkon poikkeamia ja suorittamaan niille juurisyyanalyysin datasta, joka ei sisällä syöte-tulos pareja. Ehdotettu malli yhdistää DBSCAN- ja LSTM AE-teknologiat, ja se on koulutettu sekä testattu käyttäen portugalilaisen teleoperaattori NOS:in 4G-verkosta kerättyä dataa. Tutkimus osoittaa lupaavia tuloksia DBSCAN:in kyvystä erotella normaali tietoliikenne epänormaalista ja LSTM AE:n kyvystä oppia mobiiliverkkojen tunnuslukujen päivittäinen käyttäytyminen ja tunnistaa poikkeamia niiden rekonstruktiovirheiden perusteella. Rekonstruktiovirheet antavat myös käsityksen yksittäisten tunnuslukujen vaikutuksesta poikkeamien juurisyihin. Tämän työn tutkimus ja tulokset korostavat itsekorjautuvuuden merkitystä itseorganisoituvissa verkoissa ja selventävät, kuinka erilaisia koneoppimismalleja voidaan käyttää poikkeamantunnistamiseen sekä juurisyyanalyysiin. Saadut tulokset osoittavat, että poikkeamat saatavilla olevissa verkon tunnusluvuissa eivät aina johda epänormaaleihin liikennemalleihin ja päinvastoin. Näin ollen voidaan päätellä, että pelkästään liikennemääriin perustuva DBSCAN ei ole ihanteellinen tapa erotella normaalia tietoliikennettä epänormaalista verkon poikkeavuuksien löytämiseksi. Lisäksi tulokset korostavat korkealaatuisen datan merkitystä, erityisesti koskien näytetaajuutta ja tunnuslukujen määrää, sekä data-analyysin merkitystä yhtäläisyyksien löytämisessä mobiiliverkkojen eri tasoilla.Description
Supervisor
Mähönen, PetriThesis advisor
Correia, LuisGrilo, Antonio
Keywords
mobile network, anomaly detection, root cause analysis, machine learning, DBSCAN, LSTM AE