Stateful inspection of the Server Message Block 2 protocol

Abstract

Intrusion detection and prevention systems detect malicious activity, report it, and are possibly capable of preventing attacks from succeeding. However, some of these systems have weaknesses: evasion techniques can be exploited by attackers to convey attacks undetected through security systems using properties of communications protocols to change the appearance of the network traffic. Systems that utilize signature-based detection without proper normalization are unable to detect this kind of attacks.

Server Message Block (SMB)-also known as Common Internet File System-is a remote file transfer protocol, which also provides transport facilities for interprocess communication. Many vulnerabilities exist in services that use remote procedure calls over SMB. SMB 2 is a completely revised version of the original protocol. To allow an IDS/IPS system to reliably detect attacks conveyed via SMB 2, explicit support for the protocol must be implemented.

In this master's thesis, we have designed, implemented, and evaluated a protocol inspection module, which performs deep inspection of SMB 2 protocol traffic. The implementation was done into the Stonesoft Security Engine-a transformable security product that can be configured in different roles (Firewall/VPN, IPS, and Layer 2 Firewall) and is known for its protection against advanced evasion techniques.

We present five possible evasion techniques for SMB 2 and provide a design that is resistant to these evasions. For example, the inspection module separates the data from SMB 2 write and read operations into file-specific data streams, which are then individually, inspected using a deterministic finite automaton to detect attacks and/or mal ware. The module was tested thoroughly to ensure correctness and stability.

Tunkeutumisen havainnointi- ja estojärjestelmät tunnistavat verkkohyökkäyksiä, raportoivat niistä ja mahdollisesti pystyvät estämään niiden onnistumisen. Näissä järjestelmissä on kuitenkin heikkoutensa: evaasiotekniikat mahdollistavat hyökkäysten ulkomuodon muokkaamisen verkkoliikenteessä siten, että tunnistusjärjestelmät, jotka käyttävät hahmontunnistusta ilman asianmukaista normalisointia, eivät pysty tunnistamaan hyökkäyksiä.

Server Message Block (SMB) - joka tunnetaan myös nimellä Common Internet File System - on tilallinen tiedostonsiirtoprotokolla, jolla voidaan myös kuljettaa prosessien välistä kommunikointia verkon yli. Palveluissa, jotka käyttävät SMB:aa etäproseduurikutsujen valittamiseen on ollut lukuisia haavoittuvuuksia. SMB 2 on täysin uudistettu versio alkuperäisestä protokollasta. Jotta IDS/ IPS -järjestelmät pystyisivät luotettavasti tunnistamaan verkkohyökkäyksiä myös SMB 2 -protokollalla, on sille eksplisiittisesti toteuttava tuki.

Tässä diplomityössä suunnittelimme, toteutimme ja lopuksi arvioimme protokollainspektiomoduulin, joka suorittaa SMB 2 protokollaliikenteen inspektointia. Moduuli toteutettiin Stonesoft Security Engine -tuotteeseen, joka on konfiguroitavissa eri rooleihin (palomuuri/VPN, IPS ja Layer 2 -palomuuri) ja on myös tunnettu suojauksestaan kehittyneitä evaasiotekniikoita vastaan.

Esittelemme viisi mahdollista evaasiotekniikkaa SMB 2:lle sekä toteutuksen inspektiomoduulista, joka on vastustuskykyinen näille evaasioille. Esimerkiksi SMB 2 kirjoitus- ja lukuoperaatiot erotellaan tiedostokohtaisiin datavirtoihin, jotka voidaan inspektoida käyttäen äärellistä automaattia hyökkäyksien ja/tai haittaohjelmien tunnistamiseksi. Järjestelmällinen testaus vaadittiin toimivuuden ja vakauden varmistamiseksi.