Nowadays, one certainty is that traffic is not well behaved, i.e., its pattern is always changing. Several causes have been pointed as responsible for such variations, some of them being extrinsic to the traffic, as the interaction between traffic, be it legitimate or illegitimate. In a practical point of view, traffic irregularities or traffic anomalies can be described as the result of one or more occurrences that change the normal flow of data over a network. Such occurrences can be triggered by different factors, as Denial of Service (DoS) attacks, flash crowds or management operations. Because the occurrence of such misbehaviours can lead to a lack of control over the network (i.e., security, resources or accuracy issues), since a few years the traffic anomaly related domain has become one of the top research areas, with significant and current contributions. For instance, while some work was mainly concerned with the isolation of network failures, other had, as main intention, the statistical prediction of traffic anomalies using mathematical models. While other was concerned with the introduction of new features in order to enhance traffic analysis. Network Anomaly Detection Algorithm - NADA - is an approach that intends to detect, classify and identify traffic anomalies, being a network anomaly an event that is able of introducing some level of variation on measurable network data. Such variations are disturbing since they have potential to deviate network operations from their normal behaviour. The execution of NADA and its accuracy are guaranteed by considering three axis of action: multi-criteria, multi-scale and multi aggregation level. Altogether they allow the detection of traffic anomalies in traffic traces, as well their classification through the definition of traffic profiles, particularly, anomaly traffic profiles. The latter ones are the basis for an anomaly signatures database. Moreover, the use of those three axis allows an anomaly to be detect ed independently of the traffic parameters it affects (multi-criteria axis), its duration (multi-scale axis) and its intensity (multi-level axis). Hence, anomaly detection and classification form a doublet that can be applied at several areas, ranging from network security to traffic engineering or overlay networks, to name a few. Moreover, if IP information of anomalous flows is added to all this knowledge, as NADA do, it will be possible, with minimum effort, to decide the best actions that should be taken in order to control damages from anomaly occurrences - i.e. to have a fully functional detection system.Il est évident aujourd'hui que le trafic Internet est bien plus complexe et irrégulier qu'escompté, ce qui nuit grandement à un fonctionnement efficace des réseaux, ainsi qu'à la garantie de niveaux de performances et de qualité de service (QdS) satisfaisants. En particulier, le comportement du réseau est surtout mis à mal lorsque le trafic contient des anomalies importantes. Différentes raisons peuvent être à la source de ces anomalies, comme les attaques de déni de service (DoS), les foules subites ou les opérations de maintenance ou de gestion des réseaux. De fait, la détection des anomalies dans les réseaux et leurs trafics est devenue un des sujets de recherche les plus chauds du moment. L'objectif de cette thèse a donc été de développer de nouvelles méthodes originales pour détecter, classifier et identifier les anomalies du trafic. La méthode proposée repose notamment sur la recherche de déviations significatives dans les statistiques du trafic par rapport à un trafic normal. La thèse a ainsi conduit à la conception et au développement de l'algorithme NADA : Network Anomaly Detection Algorithm. L'originalité de NADA - et qui garantit son efficacité - repose sur l'analyse du trafic selon 3 axes conjointement : une analyse multi-critères (octets, paquets, flux, ...), multi-échelles et selon plusieurs niveaux d'agrégations. A la suite, la classification repose sur la définition de signatures pour les anomalies de trafic. L'utilisation des 3 axes d'analyse permettent de détecter les anomalies indépendamment des paramètres de trafic affectés (analyse multi-critères), leurs durées (analyse multi-échelles), et leurs intensités (analyse multi-niveaux d'agrégation). Les mécanismes de détection et de classification d'anomalies proposés dans cette thèse peuvent ainsi être utilisés dans différents domaines de l'ingénierie et des opérations réseaux comme la sécurité des réseaux, l'ingénierie du trafic ou des réseaux superposés, pour citer quelques exemples. Une contribu tion importante de la thèse a trait à la méthode de validation et d'évaluation utilisée pour NADA. NADA a ainsi été validé sur une base de trace de trafic contenant des anomalies documentées, puis évalué sur les principales traces de trafic disponibles. Les résultats obtenus sont de très bonne facture, notamment lorsqu'ils sont comparés avec ceux obtenus par d'autres outils de détection d'anomalies. De plus, la qualité des résultats est indépendante du type de trafic analysé et du type d'anomalie. Il a été en particulier montré que NADA était capable de détecter et classifier efficacement les anomalies de faible intensité, qui sont apparues comme des composantes essentielles des attaques DOS. NADA apporte donc une contribution intéressante en matière de sécurité réseau
