Analysis of intrusion detection system (IDS) in border gateway protocol

University of Technology, Sydney. Faculty of Engineering and Information Technology.Border Gateway Protocol (BGP) is the de-facto inter-domain routing protocol used across thousands of Autonomous Systems (AS) joined together in the Internet. The main purpose of BGP is to keep routing information up-to-date across the Autonomous System (AS) and provide a loop free path to the destination. Internet connectivity plays a vital role in organizations such as in businesses, universities and government organisations for exchanging information. This type of information is exchanged over the Internet in the form of packets, which contain the source and destination addresses. Because the Internet is a dynamic and sensitive system which changes continuously, it is therefore necessary to protect the system from intruders. Security has been a major issue for BGP. Nevertheless, BGP suffers from serious threats even today, DoS attack is the major security threat to the Internet today, among which, is the TCP SYN flooding, the most common type of attack. The aim of this DoS attack is to consume large amounts of bandwidth. Any system connected to the Internet and using TCP services are prone to such attacks. It is important to detect such malicious activities in a network, which could otherwise cause problems for the availability of services. This thesis proposes and implements two new security methods for the protection of BGP data plane, “Analysis of BGP Security Vulnerabilities” and “Border Gateway Protocol Anomaly Detection using Failure Quality Control Method” to detect the malicious packets and the anomaly packets in the network. The aim of this work is to combine the algorithms with the Network Data Mining (NDM) method to detect the malicious packets in the BGP network. Furthermore, these patterns can be used in the database as a signature to capture the incidents in the future

Contributions on detection and classification of internet traffic anomalies

Nowadays, one certainty is that traffic is not well behaved, i.e., its pattern is always changing. Several causes have been pointed as responsible for such variations, some of them being extrinsic to the traffic, as the interaction between traffic, be it legitimate or illegitimate. In a practical point of view, traffic irregularities or traffic anomalies can be described as the result of one or more occurrences that change the normal flow of data over a network. Such occurrences can be triggered by different factors, as Denial of Service (DoS) attacks, flash crowds or management operations. Because the occurrence of such misbehaviours can lead to a lack of control over the network (i.e., security, resources or accuracy issues), since a few years the traffic anomaly related domain has become one of the top research areas, with significant and current contributions. For instance, while some work was mainly concerned with the isolation of network failures, other had, as main intention, the statistical prediction of traffic anomalies using mathematical models. While other was concerned with the introduction of new features in order to enhance traffic analysis. Network Anomaly Detection Algorithm - NADA - is an approach that intends to detect, classify and identify traffic anomalies, being a network anomaly an event that is able of introducing some level of variation on measurable network data. Such variations are disturbing since they have potential to deviate network operations from their normal behaviour. The execution of NADA and its accuracy are guaranteed by considering three axis of action: multi-criteria, multi-scale and multi aggregation level. Altogether they allow the detection of traffic anomalies in traffic traces, as well their classification through the definition of traffic profiles, particularly, anomaly traffic profiles. The latter ones are the basis for an anomaly signatures database. Moreover, the use of those three axis allows an anomaly to be detect ed independently of the traffic parameters it affects (multi-criteria axis), its duration (multi-scale axis) and its intensity (multi-level axis). Hence, anomaly detection and classification form a doublet that can be applied at several areas, ranging from network security to traffic engineering or overlay networks, to name a few. Moreover, if IP information of anomalous flows is added to all this knowledge, as NADA do, it will be possible, with minimum effort, to decide the best actions that should be taken in order to control damages from anomaly occurrences - i.e. to have a fully functional detection system.Il est évident aujourd'hui que le trafic Internet est bien plus complexe et irrégulier qu'escompté, ce qui nuit grandement à un fonctionnement efficace des réseaux, ainsi qu'à la garantie de niveaux de performances et de qualité de service (QdS) satisfaisants. En particulier, le comportement du réseau est surtout mis à mal lorsque le trafic contient des anomalies importantes. Différentes raisons peuvent être à la source de ces anomalies, comme les attaques de déni de service (DoS), les foules subites ou les opérations de maintenance ou de gestion des réseaux. De fait, la détection des anomalies dans les réseaux et leurs trafics est devenue un des sujets de recherche les plus chauds du moment. L'objectif de cette thèse a donc été de développer de nouvelles méthodes originales pour détecter, classifier et identifier les anomalies du trafic. La méthode proposée repose notamment sur la recherche de déviations significatives dans les statistiques du trafic par rapport à un trafic normal. La thèse a ainsi conduit à la conception et au développement de l'algorithme NADA : Network Anomaly Detection Algorithm. L'originalité de NADA - et qui garantit son efficacité - repose sur l'analyse du trafic selon 3 axes conjointement : une analyse multi-critères (octets, paquets, flux, ...), multi-échelles et selon plusieurs niveaux d'agrégations. A la suite, la classification repose sur la définition de signatures pour les anomalies de trafic. L'utilisation des 3 axes d'analyse permettent de détecter les anomalies indépendamment des paramètres de trafic affectés (analyse multi-critères), leurs durées (analyse multi-échelles), et leurs intensités (analyse multi-niveaux d'agrégation). Les mécanismes de détection et de classification d'anomalies proposés dans cette thèse peuvent ainsi être utilisés dans différents domaines de l'ingénierie et des opérations réseaux comme la sécurité des réseaux, l'ingénierie du trafic ou des réseaux superposés, pour citer quelques exemples. Une contribu tion importante de la thèse a trait à la méthode de validation et d'évaluation utilisée pour NADA. NADA a ainsi été validé sur une base de trace de trafic contenant des anomalies documentées, puis évalué sur les principales traces de trafic disponibles. Les résultats obtenus sont de très bonne facture, notamment lorsqu'ils sont comparés avec ceux obtenus par d'autres outils de détection d'anomalies. De plus, la qualité des résultats est indépendante du type de trafic analysé et du type d'anomalie. Il a été en particulier montré que NADA était capable de détecter et classifier efficacement les anomalies de faible intensité, qui sont apparues comme des composantes essentielles des attaques DOS. NADA apporte donc une contribution intéressante en matière de sécurité réseau