Virtualisation distribuée de réseaux dynamiques et mobiles avec NEmu

International audienceExperimentation is generally the last step before launching a network application in the wild. However, it is often difficult to gather enough hardware resources, control and mobility for experimenting in order to test and validate an application. Virtualization is thus a reliable and cheap technique for creating such an experimentation testbed. We propose a tool called NEmu designed to create virtual static, dynamic or mobile networks for testing and evaluating prototypes of network applications with a complete control over the network topology, link properties and mobility behavior. NEmu allows users to create customized topologies with limited hardware resources and without any administrative rights. We illustrate the use of NEmu in the context of a file distribution application upon a TCP connections tree. We evaluate the impact of such a tree on data rates and delays depending on the number of tree nodes, packets size and general bandwidth of links.L'expérimentation est généralement la dernière phase dans l'élabora-tion d'une application réseau avant sa diffusion. Malheureusement, il est assez difficile, voir impossible, de posséder une infrastructure physique suffisamment puissante, contrôlée et dynamique de réseau fixe ou mobile afin de tester et va-lider l'application. La virtualisation est par conséquent une technique fiable et économe pour jouer le rôle de plate-forme de test. Nous proposons un outil ap-pelé NEmu ayant pour but de générer des réseaux virtuels statiques, dynamiques ou mobiles à la demande afin de tester et de valider des prototypes d'applications réseaux avec un contrôle complet de la topologie, de la mobilité des noeuds ainsi que des propriétés des liens. NEmu permet la création et la gestion de réseaux virtuels avec des ressources matérielles limitées et sans aucun droit d'accès par-ticulier. Nous proposons également une illustration de l'utilisation de NEmu afin de tester l'efficacité d'une application de distribution de fichiers reposant sur un arbre de connexions TCP. Nous mesurons ainsi l'impact d'un tel chaînage sur les débits et les délais en fonction du nombre de noeuds dans l'arbre, de la taille des paquets et de la bande passante globale des liens

Emulation de réseaux au niveau IP pour l'expérimentation de services et de protocoles de communication. Application aux réseaux satellites

Dans le cadre de l’évaluation de protocoles, plusieurs techniques sont utilisées : l’expérimentation en environnement réel, la simulation et l’émulation. Dans cette thèse, l’approche d’émulation est étudiée car elle permet la mise en oeuvre d’applications ou de protocoles réels dans un environnement contrôlable dont les caractéristiques (bande passante, délais, pertes) reproduisent en temps réel le comportement d'un réseau cible pour étudier et comparer différents protocoles et applications. Cette thèse proposera des techniques basées sur le couplage d’approches telles que la métrologie ou la simulation pour reproduire efficacement et de manière flexible le comportement de différents types de réseaux. Au cours de ce travail, nous avons participé à différents projets (DIPCAST et EuQoS) pour l’émulation de contexte satellite, et proposés une architecture d’émulation pour un lien satellite DVB-RCS ainsi qu’une méthodologie d’émulation pour l’émulation de réseaux à qualité de service. ABSTRACT : In the context of protocol evaluation, several solutions are used: live tests, simulation and emulation. We focus on network emulation which allows the use of real applications or protocol implementations in a controllable environment. For this purpose, several characteristics (bandwidth, delay, losses) allow the real time reproduction of a target network behavior. In this thesis, we propose solutions based on metrology and simulation to reproduce in a flexible but efficient way the behavior of different network types such as the satellite one. We were involved in several projects (DIPCAST and EuQoS) for emulation of a satellite environment and we proposed an architecture for emulating the DVB-RCS satellite link. A methodology for quality of service network is also proposed

Conception et évaluation de performance d'un Bus applicatif, massivement parallèle et orienté service.

Enterprise Service Bus (ESB) est actuellement l'approche la plus prometteuse pour l'implémentation d'une architecture orientée services (SOA : Service-Oriented Architecture) par l'intégration des différentes applications isolées dans une plateforme centralisée. De nombreuses solutions d'intégration à base d'ESB on été proposées, elles sont soit open-source comme : Mule, Petals, ou encore Fuse, soit propriétaires tels que : Sonic ESB, IBM WebSphere Message Broker, ou Oracle ESB. Cependant, il n'en existe aucune en mesure de traiter, à la fois des aspects : d'intégration et de traitement massivement parallèle, du moins à notre connaissance. L'intégration du parallélisme dans le traitement est un moyen de tirer profit des technologies multicœurs/multiprocesseurs qui améliorent considérablement les performances des ESBs.Toutefois, cette intégration est une démarche complexe et soulève des problèmes à plusieurs niveaux : communication, synchronisation, partage de données, etc.Dans cette thèse, nous présentons l'étude d'une nouvelle architecture massivement parallèle de type ESB.Enterprise service bus (ESB) is currently the most promising approach for business application integration in distributed and heterogeneous environments. It allows to deploy a service-oriented architecture (SOA) by the integration of all the isolated applications on a decentralized platform.Several commercial or open source ESB-based solutions have been proposed. However, to the best of our knowledge, none of these solutions has integrated the parallel processing. The integration of parallelism in the treatment allows to take advantage of the multicore/multiprocessor technologies and thus can improve greatly the ESB performance. However, this integration is difficult to achieve, and poses problems at multiple levels (communication, synchronization, etc). In this study, we present a new massively parallel ESB architecture that meets this challenge.PARIS-CNAM (751032301) / SudocSudocFranceF

Contribution à l'amélioration des méthodes d'optimisation de la gestion de la mémoire dans le cadre du Calcul Haute Performance

Current supercomputer architectures are subject to memory related issues. For instance we can observe slowdowns induced by memory management mecanisms and their implementation. In this context, we focus on the management of large memory segments for multi-core and NUMA supercomputers similar to Tera 100 and Curie. We discuss our work in three parts.We first study several paging policies (page coloring, huge pages...) from multiple operating systems. We demonstrate an interference between those policies and layout decisions taken by userspace allocators. Such interactions can significantly reduce cache efficiency depending on the application, particularly on multi-core architectures. This study extends existing works by studying interactions between the operating system, the allocator and caches.Then, we discuss performance issues when large memory segments are allocated. To do so, we consider the interaction between the OS and userspace allocators. We show that we can significantly improve some application performances (up to 50%) by controling the memory exchange rate with the OS and by taking care of memory topologies.We finally study page fault extensibility in current Linux kernel implementation. We obsere a large impact due to page zeroing which is a security requirement. We propose an improvement on memory allocation semantic aimed at avoiding page zeroing. It shows a new interest for hugepages to improve paging scalability without changing too much kernel algorithms.L’évolution des architectures des calculateurs actuels est telle que la mémoire devient un problème majeur pour les performances. L’étude décrite dans ce document montre qu’il est déjà possible d’observer des pertes importantes imputables aux mécanismes de gestion de cette dernière. Dans ce contexte, nous nous sommes intéressés aux problèmes de gestion des gros segments mémoire sur les supercalculateurs multicoeurs NUMA de type Tera 100 et Curie. Notre travail est détaillé ici en suivant trois axes principaux. Nous analysons dans un premier temps les politiques de pagination de différents systèmes d’exploitation (coloration de pages, grosses pages...). Nous mettons ainsi en évidence l’existence d’interférences néfastes entre ces politiques et les décisions de placement de l’allocateur en espace utilisateur. Nous complétons donc les études cache/allocateur et cache/pagination par une analyse de l’interaction cumulée de ces composants. Nous abordons ensuite la problématique des performances d’allocation des grands segments mémoire en considérant les échanges entre le système et l’allocateur. Nous montrons ici qu’il est possible d’obtenir des gains significatifs (de l’ordre de 50% sur une grosse application) enlimitant ces échanges et en structurant l’allocateur pour un support explicite des architectures NUMA. La description de nos travaux s’achève sur une étude des problèmes d’extensibilité observés au niveau des fautes de pages du noyau Linux. Nous avons ainsi proposé une extension de la sémantique d’allocation afin d’éliminer la nécessité d’effectuer les coûteux effacements mémoire des pages au niveau système