Diseño e implementación de un sistema de representación de flujos de red

A lo largo de las últimas cinco décadas, Internet se ha ido convirtiendo en la herramienta fundamental que es en la actualidad, siendo empleada tanto de forma personal como empresarial. Esta evolución de Internet ha supuesto un gran aumento de usuarios, y, por ende, un incremento masivo en la cantidad de tráfico que circula por la red. De esta forma, y debido a la cantidad masiva de usuario que posee en la actualidad, ha generado la necesidad de monitorizar el tráfico que circula a través de Internet, para su posterior análisis y almacenamiento de registros. Anteriormente, los sistemas de monitorización de flujos de red empleaban mayormente todos los campos de cada paquete, incluyendo el contenido, para mostrar la información contenida en los paquetes que circulaban por la red. En cambio, esta forma de representación se ha quedado obsoleta con el tiempo. La causa de su obsolescencia es la imposibilidad de la utilización de paquetes, puesto a todo el espacio que ocupan, pasando a utilizar flujos para la representación masiva de datos. Para este análisis ya no se necesita una gran cantidad de información de cada paquete procesado, sino, solo la información que el usuario considere necesaria para el análisis de los datos de la red en conjunto. Esta gestión de la red se lleva a cabo en cuadros de mando, dónde se seleccionan los datos a representar, el tipo de gráfica mostrada y los filtros que se desean realizar. En este Trabajo Fin de Grado, se plantea diseñar y desarrollar un sistema basado en técnicas de tratamiento masivo de datos que permita realizar una monitorización, y su posterior análisis de una forma visual. Para implementar el sistema deseado, se ha analizado las distintas herramientas que existen en el mercado actual, y, posteriormente se ha seleccionado las herramientas finalmente utilizadas en el desarrollo, utilizando la plataforma de visualización Grafana. Ante la ausencia de un enlace entre la plataforma de visualización y el colector de flujos, se ha desarrollado e implementado un servidor HTTP construido sobre el lenguaje de programación Python. Por último, se han realizado pruebas para evaluar el rendimiento del sistema diseñado frente al sistema más popular en la actualidad, la pila ELK (Elasticsearch, Logstash, Kibana). Después de realizar pruebas en ambos sistemas, se ha demostrado que la pila ELK tiene un mejor rendimiento que el sistema desarrollado en lo que se refiere a tiempo de búsqueda. Sin embargo, el sistema desarrollado ha demostrado ser mucho mejor en las pruebas de almacenamiento de los registros

A New Generation of an IPFIX Collector

Tato práce se zabývá zpracováním záznamů toků vzniklých monitorováním provozu počítačových sítí z pohledu IPFIX kolektoru. Analyzuje současné řešení modulárního kolektoru, který již prošel značným historickým vývojem, a zaměřuje se na odhalení jeho silných a slabých stránek. Na základě získaných znalostí navrhuje nový kolektor, který významně upravuje řešení jednotlivých komponent pro práci se záznamy toků, klade důraz na vysokou propustnost a přidává dosud chybějící funkcionality. V rámci práce došlo i ke srovnání výkonnosti obou generací, které vyznívá pozitivně pro nový kolektor.This master's thesis addresses processing of flow monitoring records from a point of view of an IPFIX collector. It analysis the current solution of the modular collector, which went through considerable historical development, and focuses on revealing its strengths and weaknesses. Based on acquired knowledge, a new collector is designed. The new solution, which significantly modifies individual components for processing of flow records, focuses on high throughput and adds missing functionalities. The document also compares performance of both generations and the new collector clearly dominates.