Securing microservices with deep learning - Long Short-Term Memory Autoencoder for Anomaly Detection
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2023-06-12
Department
Major/Subject
Computer Science
Mcode
SCI3042
Degree programme
Master’s Programme in Computer, Communication and Information Sciences
Language
en
Pages
50
Series
Abstract
Microservices architecture has gained popularity recently due to its flexibility and scalability. However, the distributed nature of microservices introduces new challenges for ensuring security. One area of concern is anomaly detection in the logs generated by microservices, which can indicate potential security threats. This thesis proposes a novel approach for anomaly detection in gRPC (Google Remote Procedure Call) logs, a popular communication protocol used in microservices inter-service communications. The main objective of this research was to develop a deep-learning model that can accurately identify anomalous traffic patterns in gRPC logs. An LSTM (Long Short-Term Memory) Autoencoder was trained using a dataset of normal traffic sequences extracted from production microservices. The model was then evaluated on two separate datasets: one containing both anomalous and normal traffic and another consisting of a subset of the anomalous traffic with a higher concentration of attacks and the normal data. The results demonstrate anomalies in gRPC logs can be effectively identified by the proposed model. Patterns between normal and anomalous traffic can be distinguished by analyzing the reconstruction errors of the model. The model achieved 0.79 accuracy, and 0.31 precision, supporting the models to identify anomalies. In the context of different types of attacks and the similarity between normal and malicious traffic, it is important to acknowledge that the model's performance may vary. Future efforts should focus on enhancing the model's ability to classify diverse attack types and improve accuracy. The model can be strengthened by addressing these aspects to handle better the intricacies and complexities of distinguishing between normal and malicious traffic. This research contributes to microservices security by providing a practical and efficient approach for anomaly detection in gRPC logs. The proposed model can assist in the early detection and mitigation of security threats, improving the overall security posture of microservice architectures.Mikropalveluarkkitehtuuri on viime aikoina saavuttanut suosiota joustavuutensa ja skaalautuvuutensa ansiosta. Kuitenkin mikropalveluiden hajautettu luonne tuo mukanaan uusia haasteita turvallisuuden varmistamiseen. Tämä diplomityö ehdottaa lähestymistapaa poikkeavuuksien havaitsemiseen gRPC (Google Remote Procedure Call) -verkkoliikennelokeissa, jota käytetään suosittuna kommunikaatioprotokollana mikropalveluiden välisessä viestinnässä. Tämä diplomityö sisältää myös katsauksen mikropalvelujen verkkoliikenteen turvallisuuteen. Tämän tutkimuksen päätavoitteena oli kehittää syväoppimismalli, joka pystyy tunnistamaan poikkeavia liikennemalleja gRPC-lokeissa. LSTM (Long Short-Term Memory, pitkäkestoinen lyhytkestomuisti) -autoenkooderia koulutettiin käyttäen esimerkkimikropalveluista poimittua normaalin liikenteen aineistoa. Malli arvioitiin kahdesti käyttäen kahta erillistä aineistoa. Ensimmäisessä aineistossa oli sekä poikkeavaa että normaalia liikennettä, kun taas toinen aineisto koostui osasta poikkeavaa liikennettä, jossa hyökkäysten tiheys oli suurempi, sekä normaalista liikenteestä. Tulokset osoittavat, että poikkeavuudet gRPC-lokeissa voidaan tehokkaasti tunnistaa ehdotetulla mallilla. Mallin rekonstruktiovirheiden analysoimalla voidaan erottaa normaali ja poikkeava liikenne. Malli saavutti 0,79 tarkkuuden ja 0,31 F1-Score:n, mikä tukee kykyä tunnistaa poikkeavuuksia. On tärkeää huomioida, että mallin avulla ei voida erotella erilaisia hyökkäystyyppejä. Normaali ja haitallinen liikenne voivat olla todellisuudessa samanlaisia, jonka takia liikenteen samankaltaisuuden näkökulmasta on tärkeää huomioida, että mallin suorituskyky voi vaihdella. Mahdollisia tutkimusaiheita tulevaisuudessa voisi olla erilaisten hyökkäystyyppien tunnistaminen ja tarkkuuden parantaminen. Tämä tutkimus edistää mikropalveluiden turvallisuutta tarjoamalla lähestymistavan poikkeavuuksien havaitsemiseen gRPC-lokeissa. Ehdotettu malli voi auttaa tunnistamaan turvallisuusuhkia varhaisessa vaiheessa, parantaen kokonaisvaltaisesti mikropalveluarkkitehtuurin turvallisuutta.Description
Supervisor
Di Francesco, MarioThesis advisor
Makkonen, TuomoKeywords
microservices, gRPC, anomaly detection, LSTM autoencoders, deep learning, kubernetes