Frameworks para la gestión, el almacenamiento y la preparación de grandes volúmenes de datos Big Data

Abstract

Weather systems like the World Meteorological Organization´s Global Information System need to store different kinds of images, data and files. Big Data and its 3V paradigm can provide a suitable solution to solve this problem. This tutorial presents some concepts around the Hadoop framework, de facto standard implementation of Big Data, and how to store semi-estructured data generated by automatic weather stations using this framework. Finally, a formal method to generate weather reports using Hadoop´s ecosystem frameworks is presented.Los sistemas meteorológicos, como es el Sistema Mundial de Información Global de la Organización Meteorológica Mundial, necesitan almacenar diferentes tipos de imágenes, datos y archivos. Big Data y su modelo 3V puede proporcionar una solución adecuada para resolver este problema. Este tutorial presenta algunos conceptos en torno al framework Hadoop, la implementación y estándar de facto de Big Data, y la forma de almacenar los datos semiestructurados generados por las estaciones meteorológicas automáticas usando este framework. Finalmente, se presenta un método formal para generar informes del tiempo utilizando los frameworks que conforman el ecosistema de Hadoop