Desarrollo de un sistema de análisis de medidas de internet procedentes de repositorios abiertos de datos

Abstract

Internet se ha convertido en un elemento esencial para la realización de un amplio abanico de tareas cotidianas. Por ello, caracterizar las prestaciones de las conexiones domésticas a Internet es un problema que preocupa tanto a usuarios como instituciones públicas y empresas proveedoras de servicios sobre esta infraestructura de comunicaciones. Además, numerosos resultados indican que estas prestaciones se deben medir desde el emplazamiento de los usuarios finales, debido a las diferentes características de los accesos domésticos frente a los propios de centros de investigación o empresas. Esta situación ocasiona que, para poder realizar estudios en profundidad sobre el funcionamiento de Internet, sea necesario considerar un gran volumen de datos, con las dificultades de análisis que ello conlleva. En este contexto, este trabajo fin de grado describe el desarrollo de un sistema de análisis de medidas de Internet. Este sistema facilita la consulta y visualización de indicadores clave de prestaciones que indica cómo se comportan las conexiones a Internet, permitiendo evaluar el efecto de factores tales como la localización geográfica, momento del día, el tipo de conexión o el Sistema Autónomo del cliente. El sistema de análisis propuesto se divide en cuatro bloques funcionales, dedicados respectivamente a la obtención de las medidas; a la limpieza de los datos e incorporación de información de geolocalización; a la indexación y persistencia de los registros consolidados; y a la consulta y visualización de dichos registros. De este modo, define un flujo de datos completo que facilita la extracción de conclusiones útiles para la gestión y caracterización de las prestaciones de las infraestructuras de telecomunicaciones desde usuarios finales. Para mostrar el funcionamiento de este sistema, capaz de obtener datos a partir de fuentes abiertas, se realizarán una serie de casos de estudio sobre las medidas obtenidas durante los primeros meses del experimento NDT, incluido en la plataforma M-Lab de Google. Estos casos de estudio muestran la solución desarrollada, permitiendo visualizar y analizar un gran volumen de datos (más de 200000 experimentos) procedentes de una amplia variedad de localizaciones geográficas mientras se incorporan al sistemaInternet has become an essential element for the performance of a wide range of daily tasks. Thus, the characterizing of the performance of domestic connectivity to the Internet is a problem that concerns users, public institutions and companies that provide services that make use of this communications infrastructure. Besides, many results show that performance indicators must be measured from the location of the end users, as a consequence of the differences among domestic connections and those present in research centers or companies. Coherently, a comprehensive study of the operation of the Internet requires considering a humongous amount of data, with the technical challenges that follow from such an analysis. In this context, this bachelor thesis describes the development of an Internet measurements analysis system able to alleviate these matters. This system makes easier the query and visualization of key performance indicators that show how Internet connections behave. In such manner, it allows evaluating the effect of several factors, such as geographical location, time of day, connection type or the client Autonomous System. The proposed system is divided in four functional blocks, devoted to the data collection, data cleaning and information about location, data indexing and the query and visualization of records, respectively. In this way, it provides a complete data flow that makes possible the extraction of useful conclusions for the management and characterization of the performance of telecommunication infraestructures from the standpoint of end users. In order to show the operation of this system, which is also capable of obtaining data from open data sources, it will be exploited to conduct several case studies about the measurements obtained during the first months of the NDT experiment, included in the MLab platform of Google. These case studies show how the developed solution is suitable for visualizing and analyzing a large volume of data (more than 200,000 experiments) from a wide variety of geographical locations as they are inserted in the syste