Monitorización, captura y almacenamiento inteligente de tráfico de red a 40Gbps

Abstract

El avance de las redes de datos lleva consigo la necesidad de monitorizarlas para detectar problemas, anomalías e intrusiones. Las velocidades cada vez más altas de estas tecnologías Ethernet hacen necesaria la aparición de soluciones específicas capaces de capturar ese tráfico, preferiblemente usando servidores estándar y hardware no especializado. A lo largo de este trabajo se desarrollará una arquitectura para recibir y almacenar tráfico a 40 Gbps en tarjetas Intel y Mellanox usando como base el driver HPCAP, actualmente en explotación comercial para monitorización de redes 10 GbE. Esta arquitectura usará múltiples hilos de recepción para alcanzar una tasa suficientemente alta y aprovechará las características específicas de sistemas multiprocesador. Previamente se estudiarán las soluciones existentes para monitorización para identificar las necesidades existentes, y se entenderá cómo funciona la pila de red del sistema Linux y la arquitectura de los drivers de los fabricantes de las tarjetas. Después, se planteará la arquitectura multihilo, que deberá usar primitivas de sincronización rápidas para evitar perder el rendimiento; y se integrará esta solución dentro de los drivers existentes de las tarjetas de Intel y Mellanox. Por último, se desarrollarán características adicionales para reducir la cantidad de datos recibidos y hacerlos manejables por aplicaciones de análisis o de almacenamiento a disco. También se creará un entorno experimental en el que se pueda comprobar el rendimiento y correcto funcionamiento del desarrollo. Gracias a este entorno, se demostrará que la modificación de HPCAP es capaz de recibir a 40 Gbps para paquetes con tamaño suficientemente grande y que las funciones de reducción de datos son efectivas y mejoran el rendimiento.The advance of data networks comes with the need for monitoring and detection of problems, anomalies and intrusions. The high speeds of the Ethernet technologies used incite the developments of specific solutions capable of capturing that traffic, preferably using standard servers and commodity hardware. In this project, a new architecture for receiving and storing traffic at 40 Gbps line rate with Intel and Mellanox network cards will be developed, using as a starting point the HPCAP driver. This driver is currently in commercial operation for 10 GbE network monitoring. The architecture will use several reception threads to reach a high enough traffic rate, and will employ the specific features of multiprocessor systems to improve its performance. First, the existent solutions for monitoring will be reviewed identifying existing needs, and the inner workings of the Linux’s network stack and of the network drivers will be studied and understood. With this base, the multithreaded architecture will be designed using fast synchronization techniques to avoid performance hits, and this solution will be integrated with the existing Mellanox and Intel drivers. Then, additional features will be developed to reduce the amount of received data, in order to make it manageable by analysis or storage applications. Additionally, an experimental environment will be developed to allow the testing and measurements of this project. Using this environment, we will prove that this modified version of HPCAP is capable of receiving traffic at 40 Gbps for frames of enough size, and that the features for data reduction are effective and improve the performance of the system