Syslog-viestien hyödyntäminen laajakaistaverkon vianhallintaprosessissa

No Thumbnail Available
Journal Title
Journal ISSN
Volume Title
Helsinki University of Technology | Diplomityö
Checking the digitized thesis and permission for publishing
Instructions for the author
Date
2009
Major/Subject
Sovellettu matematiikka
Mcode
Mat-2
Degree programme
Language
fi
Pages
61
Series
Abstract
This thesis examines ways of utilizing messages created by the syslog protocol, as part of the fault management process of a broadband network. The main objectives of the thesis are to investigate methods through which syslog messages can be analyzed in the context of fault management, and to test their applicability based on syslog messages gathered from DSLAM-components (Digital Subscriber Line Access Multiplexer) of the broadband network of Elisa Oyj. Syslog messages enable real-time surveillance of DSLAM-components. With the help of syslog messages fault situations can be detected, localized and identified potentially faster and more accurately than through other information channels. The analysis of syslog messages is however challenging because of large quantities of data, which sets computational restrictions on used methods. Secondly syslog messages are of free form, and they do not contain explicit information about the message type of messages. The analysis of syslog messages can be divided into two phases. In the first phase certain features of syslog messages, such as the message type, are determined. In this thesis, two data driven methods are studied: heuristic and clustering methods. Heuristic methods utilize structural differences between words belonging to the message type and message variables. The clustering method, on the other hand, derives message types based on the number of occurrences of different words in messages. The second phase of analysis can be categorized into fault detection and anomaly detection. In fault detection, it is the goal to identify message patterns that are linked to known fault situations. In this thesis, data mining was utilized for identifying these message patterns. In anomaly detection, fault situations are detected through abnormal behavior of the syslog message stream. In this thesis, Hidden Markov Models were more closely studied in relation to anomaly detection. The presented methods were applied to the syslog message sample collected from DSLAM-components of the studied broadband network. Message types were identified with the help of a heuristic method specified to properties of the message stream. Through fault detection methods, a group of message patterns was found that was linked to fault situations. Anomaly detection methods were found not to be suited for analyzing the syslog message stream due to a large number of false alarms.

Diplomityössä tarkastellaan syslog-protokollan tuottamien viestien hyödyntämismahdollisuuksia laajakaistaverkon vianhallintaprosessissa. Työn tavoitteena on kartoittaa menetelmiä syslog-viestien analysointiin vianhallinnan yhteydessä ja testata niiden soveltuvuutta Elisa oyj:n laajakaistaverkon DSLAM-komponenttien (Digital Subscriber Line Access Multiplexer) lähettämän syslog-viestivirran analysointiin. Syslog-viestit mahdollistavat laajakaistaverkon DSLAM-komponenttien tilan reaaliaikaisen seurannan. Syslog-viestien avulla vikatilanteet voidaan havaita, paikantaa ja tunnistaa potentiaalisesti nopeammin ja tarkemmin kuin muita tarkasteltavan verkon informaatiokanavia pitkin. Syslog-viestien analysointi on kuitenkin haastavaa suuresta datamäärästä johtuen, mikä asettaa laskennallisia rajoitteita käytettäville menetelmille. Toiseksi syslog-viestit ovat vapaamuotoisia, eivätkä ne sisällä eksplisiittistä tietoa viestien viestityypistä. Syslog-viestien analysointi jakautuu kahteen osaan. Ensimmäisessä vaiheessa viesteistä selvitetään niitä karakterisoivat ominaisuudet, kuten viestityyppi. Tässä työssä tarkasteltiin lähemmin syslog-viestien viestityyppien määrittämistä datalähtöisesti heuristisilla menetelmillä ja ryvästysmenetelmällä. Heuristisissa menetelmissä hyödynnetään viestityypin muodostavien sanojen ja viestimuuttujien välisiä rakenteellisia eroja viestityyppien tunnistamisessa. Vastaavasti ryvästysmenetelmässä viestityypit määritetään viestien sanojen esiintymismäärien perusteella. Syslog-viestien analysoinnin toisessa vaiheessa viat voidaan havaita, paikantaa ja tunnistaa suorilla tai anomaliaperusteisilla menetelmillä. Vikojen suorassa havaitsemisessa viestihistoriasta pyritään tunnistamaan viestikuviot, jotka liittyvät tunnettuihin vikatilanteisiin. Tässä työssä vikatilanteisiin liittyvien viestikuvioiden määrittämisessä hyödynnettiin datalouhintaa. Vastaavasti anomaliaan perustuvassa lähestymistavassa vikatilanteet havaitaan syslog-viestivirran normaalista poikkeavana käyttäytymisenä. Tässä työssä tarkasteltiin lähemmin piilotettujen Markov-mallien soveltuvuutta vikatilanteiden anomaliaperusteiseen havaitsemiseen. Työssä esiteltyjä menetelmiä sovellettiin laajakaistaverkon DSLAM-komponenteilta kerättyyn syslog-viestiotokseen. Viestityyppien tunnistamisessa hyödynnettiin viestivirran ominaisuuksiin sovitettua heuristiikkaa. Suorilla menetelmillä pystyttiin määrittämään joukko vikatilanteiden ohessa esiintyviä viestikuvioita. Vastaavasti anomaliaperusteiset menetelmät todettiin soveltuvan huonosti tarkastellun syslog-viestivirran analysointiin johtuen väärien hälytysten suuresta määrästä.
Description
Supervisor
Hämäläinen, Raimo P.
Thesis advisor
Manninen, Esa
Keywords
syslog, syslog, DSLAM, DSLAM, fault management, vianhallinta, message type, viestityyppi, datamining, datalouhinta, Hidden Markov Model, piilotettu Markov-malli
Other note
Citation