Application of Named Entity Recognition within Email Threat Detection

Abstract

Email has become a widely used communication tool due to being cheap, accessible, convenient, and fast. The same reasons make it an attractive channel for malicious actors to attempt to phish email users for their own gain. Technical solutions are being developed, but due to the ease of access and the channel’s value, malicious actors continuously find ways to circumvent these solutions.

This work builds upon such a solution, a machine learning model that attempts to predict the maliciousness of an email given a set of extracted features from the email. This thesis focuses on improving the text-based features using Named Entity Recognition. Currently, this is a labor-intensive manual operation conducted by experts analyzing reported emails.

Partially automating the feature generation could allow faster identification of emerging trends which would allow the model to remain current and more rapidly identify and prevent new types of phishing campaign, especially those that contain previously unseen named entities. This thesis also covers some of the computational limitations when deploying the model in real-world applications and how this affects the use of language models. This work also explores

E-post är ett populärt kommunikationsverktyg på grund av att det är billigt, tillgängligt, behändight och snabbt. Pågrund av samma faktorer är e-post ett attraktivt medel för illvilliga aktörer att försöka lura e-postanvändare för egen fördel. Tekniska lösningar utvecklas konstant för att motarbeta detta, men på grund av lätt tillgång och möjlighet att nå värdefulla offer hittar illvilliga aktörer kontinuerligt sätt att kringgå dessa lösningar.

Detta arbete bygger på en tidigare teknisk lösning, en maskininlärningsmodell som försöker förutsäga ifall ett e-post är illvilligt, på basis av kännetecken utvunna från e-postet. Denna avhandling fokuserar på att förbättra de textbaserade kännetecken med hjälp av så kallad Named Entity Recognition, igenkänning av nämnda entiteter. Nuvarande metoden för att uppehålla och hitta nya kännetecken är en arbetsintensiv manuell uppgift som utförs av experter. Experterna analyserar rapporterade epostmeddelanden och försöker hitta mönster som kan anvädas som kännetecken.

Delvis automatisering av nya känneteckens utvinnings processen skulle kunna möjliggöra snabbare identifiering av växande trender. Vilket skulle möijligöra att modellen hålls aktuell och kan snabbare identifiera samt förhindra nya typer av phishingkampanjer, särskilt de som innehåller tidigare osedda namngivna enheter. Denna avhandling täcker också några av begränsningarna vid implementering av modellen i verklig använding och hur detta påverkar utnyttjande av språkmodeller. Som konsekvens av detta utforskar arbetet också metoder för