Chocolatine: Outage Detection for Internet Background Radiation

The Internet is a complex ecosystem composed of thousands of Autonomous Systems (ASs) operated by independent organizations; each AS having a very limited view outside its own network. These complexities and limitations impede network operators to finely pinpoint the causes of service degradation or disruption when the problem lies outside of their network. In this paper, we present Chocolatine, a solution to detect remote connectivity loss using Internet Background Radiation (IBR) through a simple and efficient method. IBR is unidirectional unsolicited Internet traffic, which is easily observed by monitoring unused address space. IBR features two remarkable properties: it is originated worldwide, across diverse ASs, and it is incessant. We show that the number of IP addresses observed from an AS or a geographical area follows a periodic pattern. Then, using Seasonal ARIMA to statistically model IBR data, we predict the number of IPs for the next time window. Significant deviations from these predictions indicate an outage. We evaluated Chocolatine using data from the UCSD Network Telescope, operated by CAIDA, with a set of documented outages. Our experiments show that the proposed methodology achieves a good trade-off between true-positive rate (90%) and false-positive rate (2%) and largely outperforms CAIDA's own IBR-based detection method. Furthermore, performing a comparison against other methods, i.e., with BGP monitoring and active probing, we observe that Chocolatine shares a large common set of outages with them in addition to many specific outages that would otherwise go undetected.Comment: TMA 201

Routage multichemins par interface d’entrée

La fiabilité d’un réseau IP face aux pannes et aux congestions dépend du temps de réaction associé au protocole de routage sous-jacent. Actuellement, les protocoles de routage à états des liens tels que OSPF ou IS-IS n’utilisent que les meilleures routes de coût égal pour commuter les paquets IP à l’échelle d’un domaine. La propriété de sous-optimalité des meilleures routes garantit la cohérence du routage au saut par saut bien que les chemins calculés via l’algorithme de Dijkstra soient composés de proche en proche. Selon la métrique employée, la diversité des chemins existant peut être largement sous exploitée avec une condition telle que la sous-optimalité. Or la diversité des alternatives de routage est l’un des éléments clés pour assurer un temps de réaction limité. La difficulté inhérente aux protocoles de routage multichemins saut par saut est la vérification de l’absence de boucles de routage. Chaque noeud doit garantir que le trafic qu’il achemine ne soit pas commuté sur un circuit dont il fait partie. Dans ce rapport de thèse, après avoir mis en avant l’état de l’art existant dans la littérature, nous exposons deux contributions dont la combinaison assure cette propriété. La première proposition est basée sur l’algorithme de Dijkstra, il s’agit d’un algorithme de recherche opératoire nommé Dijkstra-Transverse qui calcule un ensemble de chemins transverses entre un noeud racine et chaque autre noeud du graphe modélisant le réseau. La seconde contribution est une procédure de validation distribuée dont le but est d’élaguer les circuits potentiellement générés par le routage saut par saut. Pour accroître la diversité des chemins validés, la procédure de commutation est spécifique à chaque interface entrante. Par ailleurs, nous avons évalué l’impact de la diversité des chemins pour mettre en oeuvre une couverture efficace en cas de panne de liens. La notion de couverture se décline en deux versions, locale ou globale, selon le type de protection envisagé, en d’autres termes, s’il est possible ou non de notifier les routeurs en amont de l’occurence d’une panne. Nous nous sommes également intéressés aux aspects ingénierie de trafic li´es `a l’équilibrage de la charge en cas de congestion. Afin d’estimer l’importance de la diversité des chemins pour mettre en oeuvre un routage proportionnel efficace, notre travail s’est focalisé sur la définition d’un module réactif de partage de charge. Celui-ci est simplement basé sur une analyse locale de la bande passante résiduelle et permet de mettre en relief les performances de nos propositions de routage par comparaison avec l’existant. De manière générale, dans un souci de crédibilité, nos évaluations par simulation sont basés sur des topologies et une génération de trafic réalistes. Les résultats obtenus mettent en avant l’efficacité de nos algorithmes pour déployer un routage multichemins générant une diversité accrue par rapport à l’existant. Celle-ci est en effet nécessaire pour obtenir une capacité de commutation suffisante pour contourner les pannes et les congestions comme l’indiquent nos résultats liés aux deux types d’applications évalués.The reliability of IP networks in terms of failures and congestions depends on the reaction time associated with the underlying routing protocol. Currently, link state routing protocols such as OSPF or IS-IS use only the best paths to forward the IP packets at a domain scale. The sub-optimality property of best paths ensures consistency of hop by hop routing although the paths calculated using Dijkstra’s algorithm are composed of close in close. According to the metric, the diversity of existing paths may be largely under estimated with a condition such as sub-optimality. Yet the diversity of alternatives paths is one of the key elements to ensure a limited reaction time. The main difficulty related to hop by hop multipath routing protocols is to ensure the absence of routing loops. Each node must verify that the traffic it carries is not switched on circuit where they belong. In this PhD report, we present two contributions whose the combination ensures that property. The first proposition, based on Dijkstra’s algorithm, is a multipath search algorithm called Dijkstra-Transverse (DT) which calculates a set of multiple paths between a root node and each other node in the graph modeling the network. The second contribution is a distributed validation procedure DT(p) whose the aim is to prune circuits potentially generated by hop by hop routing composition. To increase the diversity of validated paths, the forwarding mechanism is specific to each incoming interface. Furthermore, we have evaluated the impact of the path diversity to produce an effective coverage if link failure occurs. The coverage can be defined in two versions, local or global, depending on the possibility to notify upstream routers of the detected failure. We are also interested in traffic engineering issues related to load balancing in case of congestion. To estimate the importance of paths diversity to implement a efficient proportional routing, we have defined a reactive load balancing module. This module is based on a local analysis of residual bandwidth and highlight the performance of our proposed routing scheme. For the sake of credibility, our simulations are based on realistic topologies and traffic generation. The results underline the effectiveness of our algorithms to generate a greater diversity of paths compared to existing propositions. Paths diversity is necessary in order to obtain a sufficient forwarding capacity to circumvent outages and congestion as indicated by our results related to these two types of applications

Routage multichemins par interface d entrée

La fiabilité d un réseau IP face aux pannes et aux congestions dépend du temps de réaction associé au protocole de routage sous-jacent. Actuellement, les protocoles de routage à états des liens tels que OSPF ou IS-IS n utilisent que les meilleures routes de coût égal pour commuter les paquets IP à l échelle d un domaine. La propriété de sous-optimalité des meilleures routes garantit la cohérence du routage au saut par saut bien que les chemins calculés via l algorithme de Dijkstra soient composés de proche en proche. Selon la métrique employée, la diversité des chemins existant peut être largement sous exploitée avec une condition telle que la sous-optimalité. Or la diversité des alternatives de routage est l un des éléments clés pour assurer un temps de réaction limité. La difficulté inhérente aux protocoles de routage multichemins saut par saut est la vérification de l absence de boucles de routage. Chaque noeud doit garantir que le trafic qu il achemine ne soit pas commuté sur un circuit dont il fait partie. Dans ce rapport de thèse, après avoir mis en avant l état de l art existant dans la littérature, nous exposons deux contributions dont la combinaison assure cette propriété. La première proposition est basée sur l algorithme de Dijkstra, il s agit d un algorithme de recherche opératoire nommé Dijkstra-Transverse qui calcule un ensemble de chemins transverses entre un noeud racine et chaque autre noeud du graphe modélisant le réseau. La seconde contribution est une procédure de validation distribuée dont le but est d élaguer les circuits potentiellement générés par le routage saut par saut. Pour accroître la diversité des chemins validés, la procédure de commutation est spécifique à chaque interface entrante. Par ailleurs, nous avons évalué l impact de la diversité des chemins pour mettre en oeuvre une couverture efficace en cas de panne de liens. La notion de couverture se décline en deux versions, locale ou globale, selon le type de protection envisagé, en d autres termes, s il est possible ou non de notifier les routeurs en amont de l occurence d une panne. Nous nous sommes également intéressés aux aspects ingénierie de trafic liés à l équilibrage de la charge en cas de congestion. Afin d estimer l importance de la diversité des chemins pour mettre en oeuvre un routage proportionnel efficace, notre travail s est focalisé sur la définition d un module réactif de partage de charge. Celui-ci est simplement basé sur une analyse locale de la bande passante résiduelle et permet de mettre en relief les performances de nos propositions de routage par comparaison avec l existant. De manière générale, dans un souci de crédibilité, nos évaluations par simulation sont basés sur des topologies et une génération de trafic réalistes. Les résultats obtenus mettent en avant l efficacité de nos algorithmes pour déployer un routage multichemins générant une diversité accrue par rapport à l existant. Celle-ci est en effet nécessaire pour obtenir une capacité de commutation suffisante pour contourner les pannes et les congestions comme l indiquent nos résultats liés aux deux types d applications évalués.The reliability of IP networks in terms of failures and congestions depends on the reaction time associated with the underlying routing protocol. Currently, link state routing protocols such as OSPF or IS-IS use only the best paths to forward the IP packets at a domain scale. The sub-optimality property of best paths ensures consistency of hop by hop routing although the paths calculated using Dijkstra s algorithm are composed of close in close. According to the metric, the diversity of existing paths may be largely under estimated with a condition such as sub-optimality. Yet the diversity of alternatives paths is one of the key elements to ensure a limited reaction time. The main difficulty related to hop by hop multipath routing protocols is to ensure the absence of routing loops. Each node must verify that the traffic it carries is not switched on circuit where they belong. In this PhD report, we present two contributions whose the combination ensures that property. The first proposition, based on Dijkstra s algorithm, is a multipath search algorithm called Dijkstra-Transverse (DT) which calculates a set of multiple paths between a root node and each other node in the graph modeling the network. The second contribution is a distributed validation procedure DT(p) whose the aim is to prune circuits potentially generated by hop by hop routing composition. To increase the diversity of validated paths, the forwarding mechanism is specific to each incoming interface. Furthermore, we have evaluated the impact of the path diversity to produce an effective coverage if link failure occurs. The coverage can be defined in two versions, local or global, depending on the possibility to notify upstream routers of the detected failure. We are also interested in traffic engineering issues related to load balancing in case of congestion. To estimate the importance of paths diversity to implement a efficient proportional routing, we have defined a reactive load balancing module. This module is based on a local analysis of residual bandwidth and highlight the performance of our proposed routing scheme. For the sake of credibility, our simulations are based on realistic topologies and traffic generation. The results underline the effectiveness of our algorithms to generate a greater diversity of paths compared to existing propositions. Paths diversity is necessary in order to obtain a sufficient forwarding capacity to circumvent outages and congestion as indicated by our results related to these two types of applications.STRASBOURG-Sc. et Techniques (674822102) / SudocSudocFranceF

Data Aggregation for Privacy Protection of Data Streams Between Autonomous IoT Networks

International audienc

Verification of cloud security policies

Companies like Netflix increasingly use the cloud to deploy their business processes. Those pro-cesses often involve partnerships with other companies, and can be modeled as workflows where the owner of the data at risk interacts with contractors to realize a sequence of tasks on the data to be secured. In practice, access control is an essential building block to deploy these secured workflows. This com-ponent is generally managed by administrators using high-level policies meant to represent the requirements and restrictions put on the workflow. Handling access control with a high-level scheme comes with the benefit of separating the problem of specification, i.e. defining the desired behavior of the system, from the problem of implementation, i.e. enforcing this desired behavior. However, translating such high-level policies into a deployed implementation can be error-prone. Even though semi-automatic and automatic tools have been proposed to assist this translation, policy verification remains highly challenging in practice. In this paper, our aim is to define and propose struc- tures assisting the checking and correction of poten-tial errors introduced on the ground due to a faulty translation or corrupted deployments. In particular, we investigate structures with formal foundations able to naturally model policies. Metagraphs, a generalized graph theoretic structure, fulfill those requirements : their usage enables to compare high-level policies to their implementation. In practice, we consider Rego, a language used by companies like Netflix and Plex for their release process, as a valuable representative of most common policy languages. We propose a suite of tools transforming and checking policies as metagraphs, and use them in a global framework to show how policy verification can be achieved with such structures. Finally, we evaluate the performance of our verification method

A fast-convergence routing of the hot-potato

Interactions between the intra- and inter-domain routing protocols received little attention despite playing an important role in forwarding transit traffic. More precisely, by default, IGP distances are taken into account by BGP to select the closest exit gateway for the transit traffic (hot-potato routing). Upon an IGP update, the new best gateway may change and should be updated through the (full) re-convergence of BGP, causing superfluous BGP processing and updates in many cases. We propose OPTIC (Optimal Protection Technique for Inter-intra domain Convergence), an efficient way to assemble both protocols without losing the hot-potato property. OPTIC pre-computes sets of gateways (BGP next-hops) shared by groups of prefixes. Such sets are guaranteed to contain the post-convergence gateway after any single IGP event for the grouped prefixes. The new optimal exits can be found through a single walk-through of each set, allowing the transit traffic to benefit from optimal BGP routes almost as soon as the IGP converges. Compared to vanilla BGP, OPTIC's structures allow it to consider a reduced number of entries: this number can be reduced by 99% for stub networks. The update of OPTIC's structures, which is not required as long as border routers remain at least bi-connected, scales linearly in time with its number of groups