Implementation of Centralized Logging and Log Analysis in Cloud Transition
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2018-08-20
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
84
Series
Abstract
Centralized logging can be used to collect log data from multiple log files on multiple separate server machines and transmit the data to a single centralized location. Log analysis on top of that can automatically process large amounts of logs for various different purposes including problem detection, troubleshooting, monitoring system performance, identifying security incidents, and understanding user behavior. As the volume of log data is growing when software systems, networks, and services grow in size, the log data located on multiple separate server machines can be difficult to manage. The traditional way of manually inspecting logs has also become too labor-intensive and error-prone when large amounts of log data need to be analyzed. Setting up centralized logging and automatic log analysis systems can be used to solve this problem. This thesis explains the concepts of log data, centralized logging, and log analysis, and also takes a look at existing software solutions to implement such a system. The solutions covered in this thesis are ones that are available for download and installation, in order to have more control over the implementation and to allow isolating the centralized logging system inside a local network. A case study is also conducted, where centralized logging and log analysis is implemented for an existing system using some of the software solutions studied in this thesis. The case study focuses on challenges that arise as the case study system is going through cloud transition and when the analyzed log data is mostly unstructured and difficult to automatically parse. The thesis presents the benefits that the complete centralized logging and log analysis setup has brought for the original system. Additional findings about the implementation process and the finished system are also discussed. While the final setup works well and did not require changes in the original system itself, there are still some aspects that are beneficial to consider when developing a logging system for new software.Keskitettyä lokitusta voi käyttää lokidatan keräämiseen useasta lokitiedostosta usealta palvelinkoneelta sekä datan lähettämiseen yhteen keskitettyyn sijaintiin. Tämän lisäksi lokien analysoinnilla voi automaattisesti prosessoida suuria määriä lokeja moniin eri tarkoituksiin kuten ongelmien havaitsemiseen ja ratkomiseen, järjestelmän toiminnan valvomiseen, tietoturvaongelmien tunnistamiseen ja käyttäjien käytöksen ymmärtämiseen. Lokidatan hallitseminen usealla erillisellä palvelinkoneella voi olla vaikeaa, kun lokidatan määrä kasvaa järjestelmien, verkkojen ja palveluiden kasvaessa. Perinteisestä tavasta manuaalisesti tutkia lokitiedostoja on tullut liian työläs ja virhealtis, kun on olemassa tarve analysoida suuria määriä lokeja. Keskitettyjen lokitus- ja lokien analysointijärjestelmien rakentaminen voi ratkaista tämän ongelman. Tämä diplomityö selittää, mitä ovat lokidata, keskitetty lokitus ja lokien analysointi, sekä tutustuu olemassa oleviin sovelluksiin tällaisen järjestelmän rakentamista varten. Tässä työssä käsitellyt sovelluksen ovat sellaisia, jotka voi ladata ja asentaa omalle palvelimelle, jotta pystyisi paremmin hallitsemaan järjestelmän eri osia, ja jotta olisi mahdollista eristää järjestelmä paikalliseen verkkoon. Työssä tehdään myös tapaustutkimus, jossa toteutetaan keskitetty lokitus ja lokien analysointi olemassa olevalle järjestelmälle käyttäen joitain tutkituista sovelluksista. Tapaustutkimus keskittyy haasteisiin, kun tutkimuksessa käytetty järjestelmä tekee siirtymää pilviympäristöön, ja kun lokidata on suurelta osin ilman rakennetta sekä vaikeasti jäsennettävää. Työ esittelee hyötyjä, joita keskitetty lokitus ja lokien analysointi on tuonut alkuperäiselle järjestelmälle. Lisäksi työssä käsitellään myös muita tutkimustuloksia liittyen toteutusprosessiin ja valmiiseen järjestelmään. Vaikka lopullinen toteutus toimiikin hyvin eikä vaatinut muutoksia alkuperäiseen järjestelmään, joitain puolia on silti hyvä ottaa huomioon, kun kehittää lokitusjärjestelmää uudelle ohjelmistolle.Description
Supervisor
Suomela, JukkaThesis advisor
de Vaumas, CyrilKeywords
centralized logging, log parsing, log analysis, cloud transition