Machine learning based context extraction for network security incidents

Tato práce pojednává o možnostech využití znalostního inženýrství pro odhalování síťových incidentů a extrakci jejich kontextu. V první části se zaměříme na současné systémy automatizovaného odhalování incidentů, především si představíme detekční framework CTA, jehož data poslouží jako zdroj pro experimenty. V další části se zaměříme na metody extrakce a evaluace pravidel. Představíme si algoritmy FISM (více jeho verzi FP-Growth) a LISM. Navrhneme efektivní způsob evaluace pravidel pomocí prefixového stromu. Dále porovnáme existující kontextové a bezkontextové klasifikátory, využívané v této oblasti (kNN, SVC, Naivní Bayes, neuronové sítě, náhodné lesy). Nejprve optimalizujeme parametry těchto klasifikátorů na omezené množině dat. Dále potom porovnáme všechny klasifikátory a ukážeme si, jak kvalitní mají výsledky na reálných datech. Nakonec analyzujeme schopnosti klasifikátorů dodávat kontext incidentů. Klasifikátory s nejlepšími výsledky budeme dále zkoumat. Nejprve porovnáme jejich schopnost udržet precision a recall v čase. Následně se zaměříme na důležitosti features a ukážeme si, že stačí poměrně malá množina features pro plnohodnotnou klasifikaci. Na základě experimentů nakonec navrhneme koncept detekčního systému poskytujícího kontext detekovaných incidentů.This paper discusses the possibilities of using the knowledge engineering for detecting network incidents and extracting its context. In the first part we will focus on the current systems of automated incident detection, especially the CTA detection framework, whose data will serve as a source for experiments. In the next part we will focus on extraction and evaluation of rules. Introducing the FISM (Frequent Itemset Mining) algorithms (specifically its version FP-Growth) and LISM (Logical Itemset Mining). We suggest an effective way of evaluating these rules using the prefix tree. We also compare existing contextual and context-free classifiers used in this area (kNN, SVC (Suppor Vector Classifier), Naive Bayes, neural networks, random forests). First, we optimize the parameters of these classifiers on a limited set of data. Next, we compare all classifiers and show how good the results are on real data. Finally, we analyze the capabilities of classifiers to provide the context of incidents. We will continue to investigate the best-performing classifiers. First we compare their ability to maintain precision and recall over time. Subsequently, we will focus on the importance of features and show that a relatively small set of features for a full-fledged classification is sufficient. On the basis of experiments, we will finally propose a concept of a detection system that provides the context of detected incidents