Using root cause analysis to handle intrusion detection alarms

Aufgrund einer kontinuierlich steigenden Anzahl von Hacker-Angriffen auf die Informationssysteme von Firmen und Institutionen haben Intrusion Detection Systeme als eine neue Sicherheitstechnologie an Bedeutung gewonnen. Diese Systeme überwachen Computer, Netzwerke sowie andere Ressourcen und erzeugen Alarme, wenn Sicherheitsverletzungen entdeckt werden. Leider erzeugen die heutigen Intrusion Detection Systeme im Allgemeinen sehr viele zumeist falsche Alarme. Dies wirft das Problem auf, wie mit dieser Flut falscher Alarme umzugehen ist. Die vorliegende Dissertation präsentiert einen neuen Lösungsansatz für dieses Problem.Von zentraler Bedeutung für diesen Lösungsansatz ist die Vorstellung, dass jeder Alarm eine eindeutige Ursache besitzt. Diese Dissertation macht die Beobachtung, dass ein paar Dutzend Ursachen für über 90% der Alarme verantwortlich sind. Auf diese Beobachtung aufbauend, wird folgende zweistufige Methode für den Umgang mit Intrusion Detection Alarmen vorgeschlagen: Der erste Schritt identifiziert Ursachen, die viele Alarme erzeugen, und der zweite Schritt entfernt diese Ursachen, wodurch die zukünftige Alarmlast zumeist stark gesenkt wird.Alternativ können Alarme, die eine nicht sicherheitsrelevante Ursache besitzen, durch Filter automatisch entfernt werden. Um das Aufdecken von Alarmursachen zu unterstützen, stellen wir eine neue Data Mining Methode zum Clustern von Alarmen vor. Die Grundlage für diese Methode besteht darin, dass sich die meisten Ursachen in Alarmgruppen mit charakteristischen strukturellen Eigenschaften manifestieren. Wir formalisieren diese strukturellen Eigenschaften und stellen eine Clustering Methode vor, die Alarmgruppen mit diesen Eigenschaften findet. Im Allgemeinen ermöglichen es solche Alarmgruppen, die zugrunde liegenden Alarmursachen zu identifizieren. Daran anschließend können die identifizierten Ursachen eliminiert oder falsche Alarme herausgefiltert werden. In beiden Fällen sinkt die Zahl der Alarme, die in Zukunft noch ausgewertet werden müssen.Die vorgestellte Methode zum Umgang mit Alarmen wird in Experimenten mit Alarmen aus 16 verschiedenen Intrusion Detection Installationen getestet. Diese Experimente bestätigen, dass es die beschriebene Alarm Clustering Methode sehr einfach macht Ursachen aufzudecken. Außerdem zeigen die Experimente, dass die Alarmlast um durchschnittlich 70% gesenkt werden kann, wenn auf die identifizierten Alarmursachen in angemessener Weise reagiert wird

Mining Alarm Clusters to Improve Alarm Handling Efficiency

It is a well-known problem that intrusion detection systems overload their human operators by triggering thousands of alarms per day. As a matter of fact, we have been asked by one of our service divisions to help them deal with this problem. This paper presents the results of our research, validated thanks to a large set of operational data. We show that alarms should be managed by identifying and resolving their root causes. Alarm clustering is introduced as a method that supports the discovery of root causes. The general alarm clustering problem is proved to be NP-complete, an approximation algorithm is proposed, and experiments are presented

Contributors

1.1 18.10.2001 Revised Outline of document 1.2 10.02.2002 Modifications to put text in sync with D2 1.3 20.04.2002 Modification on Section related to THOR 2.0 10.05.2002 Major revision on the sections related to false alarm handling 2.1 04.06.2002 Major revision on the section related to RIDAX 2.2 18.06.2002 Major revision of the last chapter 3.0 23.06.2002 Minor revision of the whole text 4.0 09.07.2002 Added middleware example, numerous corrections 4.1 17.07.2002 Numerous corrections 4.2 18.07.2002 Improved references 4.3 09.08.2002 Minor correction