Deep learning for anomaly detection in Linux System Log

Abstract

In software development and testing, reading the system logs to find causes for errors is a common activity. When developing large, complex and concurrent systems such as Linux distributions, the amount of log files can grow very large and finding the relevant log entries is laborious.

A deep learning based model, DeepLog, has been previously proposed for automatizing system log anomaly detection. The DeepLog method begins with tokenizing the log entries and then feeds the tokenized entries to an LSTM neural network.

This thesis compares alternatives for LSTM network structure for log anomaly detection. LSTM is compared to three other networks: Gated Recurrent Unit (GRU), Temporal Convolutional Network (TCN) and Transformer. The results of the comparison show that Transformer performs clearly the best, reaching accuracy of 98.9 % on the test data.

Tietojärjestelmän lokit tarjoavat arvokasta tietoa ohjelmistovirheiden löytämiseksi sovelluskehityksessä ja testauksessa. Lokien määrä voi kuitenkin kasvaa erittäin suureksi monimutkaisten ja rinnakkain ajavien ohjelmistojen kuten Linux-jakelujen kehityksessä, ja oleellisten rivien löytäminen voi olla hyvin vaikeaa. Tämän ongelman ratkaisemiseksi on kehitetty DeepLog syväoppimismalli. DeepLog hyödyntää LSTM-neuroverkkoa poikkeavuuksien löytämiseksi lokeista.

Tämä diplomityö vertailee vaihtoehtoja LSTM-verkolle poikkeavuuksien löytämisessä. LSTM-verkkoa verrataan kolmeen muuhun verkkoon: GRU:hun, TCN:ään ja Transformeriin. Kokeiden tulokset näyttävät, että Transformer suoriutuu tehtävästä selvästi parhaiten, saavuttaen 98.9 % tarkkuuden.