Log management system technologies and methods for near real-time fault analysis systems: An exploration of log shipping and storage

Abstract

Log management is a process that allows the collection, processing, storage, and analysis of log files generated by various applications and systems. Maintaining system security, performance, and reliability has become increasingly important. However, logging and the infrastructure supporting it are still in their early stages of development compared to log analysis. Furthermore, the existing infrastructure-related resources are becoming outdated and need to be updated to ensure the current applicability of the employed methods and technologies.

This thesis investigates the methods and technologies employed by log management systems suitable for near real-time fault analysis.

It presents a methodology used for selecting log management systems for an in-depth review and provides insights into the methods and technologies employed for log shipping, storage and archival. A technical documentation review approach of the available log management systems on the market was conducted to achieve the objectives.

The results show that the most commonly used shipping technologies were custom agents, Fluent-based and Elastic-based shippers, creating a shift towards guaranteed delivery. In addition, the thesis found that JSON and Regex were the most supported parsing methods.

Popular log storage systems are built with object storage or search engines, all supporting replication, which is critical for high-uptime systems.

All assessed systems employed time-based data retention methods, and object storage with a two-tiered approach was the preferred structure for archiving data.

The thesis provides practitioners and researchers with a resource for understanding and creating more robust and efficient log management systems.

Logghantering är en process som möjliggör insamling, bearbetning, lagring och analys av loggfiler skapade av olika applikationer och system. Logghanteringsystem kan användas för många olika syften som systemsäkerhet, prestanda och pålitlighet. Loggning och den stödjande infrastrukturen är dock i ett tidigt utvecklingsteg jämfört med loganalys.

Dessutom är existerande infrastrukturrelaterade resurser i flesta fall föråldrade och behöver uppdateras för att säkerställa fortsatt användbarhet av de metoder och teknologier som presenterats.

Denna avhandling undersöker de metoder och teknologier som används av logghanteringsystem lämpade för nästan realtidsfelanalys. Avhandlingen presenterar en metodik som har använts för att välja logghanteringssystem för djupgående granskning och ger insikter i de metoder och teknologier som används för loggsändning, lagring och arkivering. Dessa mål av avhandlingen uppnåddes genom granskning av teknisk dokumentation av de tillgängliga logghanteringssystemen på marknaden.

Resultaten visar att de vanligaste loggsändnings teknologierna var skräddarsydda agenter, Fluent-baserade och Elastic-baserade sändare, vilket visar en förändring mot teknologier som stöder garanterad leverans. Dessutom befann avhandlingen att JSON och Regex var de mest stödda logparsnings metoderna. Logglagringsystemen är byggda med objektlagring eller sökmotorer. Alla utverderade systemen stöder replikering av data, som är ett viktigt koncept för system som kräver hög tillgänglighet. Alla utvärderade system använde sig av tidsbaserade arkiveringsmetoder och objektlagring med två nivåer för dataarkivering. Avhandlingen ger forskare och praktiker en resurs för att förstå och skapa mer effektiva logghanterinssystem.