Palenque es una plataforma y un ecosistema de aplicaciones que brindar án soluciones tecnol ógicas basadas en grandes datos a los productores agropecuarios, así   como al sector p úblico y otros actores del sistema productivo y científi   co. En este trabajo describiremos la arquitectura de la plataforma de datos.Sociedad Argentina de Informática e Investigación Operativa (SADIO

Bazzano, Agustina

Chiarle, Lautaro

Higgs, Nicolás

Lizarralde, Carlos

Mislej, E.

Servicio de Difusión de la Creación Intelectual

PalenquePlataforma de Grandes Datos para el AgroArquitectura de Big DataAgustina Bazzano1, Lautaro Chiarle1,Ernesto Mislej2, Carlos Lizarralde2, and Nicola´s Higgs21 Flux IT,{agustina.bazzano, lautaro.chiarle}@fluxit.com.ar,http://fluxit.com.ar/2 7Puentes,{ernesto, charly, nico}@7puentes.com,http://7puentes.com/Resumen Palenque es una plataforma y un ecosistema de aplicacio-nes que brindara´n soluciones tecnolo´gicas basadas en grandes datos alos productores agropecuarios, as´ı como al sector pu´blico y otros acto-res del sistema productivo y cient´ıfico. En este trabajo describiremos laarquitectura de la plataforma de datos.Keywords: big data, agroTICs, plataforma de datosAbstract. Palenque is a platform and an ecosystem of applications thatprovide technological solutions based on large data to farmers and thepublic sector, and other actors in the productive and scientific system.In this work, we will describe the architecture of the data platform.Keywords: big data, agribusiness, big data platform1 Sobre PalenqueEn los u´ltimos an˜os ha comenzado a desarrollarse una nueva tendencia relacio-nada a la agricultura denominada data-driven agriculture en la cual la tecno-log´ıa de la informacio´n se posiciona en el corazo´n de la explotacio´n agr´ıcola.Tecnolog´ıas vinculadas, por ejemplo, al sistema de geoposicionamiento satelitalpermiten obtener datos georeferenciales de distintos sitios de un lote, como serima´genes satelitales, cartas de suelos, mapas topogra´ficos, muestreo del suelo,rendimientos de cosechas anteriores, para luego poder procesar esta informacio´ncon sistemas especializados, permitiendo elaborar diferentes mapas o modeloscon informacio´n precisa en sus diferentes a´reas. Las nuevas tecnolog´ıas permitenAGRANDA 2016, 2º Simposio Argentino de Grandes Datos45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 36IIrealizar el seguimiento y la gestio´n de todas estas tareas de manera integrada,remota y en tiempo real, pudiendo regular sus acciones a partir del retorno quereciben.Argentina, dada su reconocida competitividad en la agricultura, tiene eneste sentido una significativa oportunidad. Es aqu´ı donde aparece el ProyectoPalenque[1], el cual se lleva a adelante con una cooperacio´n entre la Fundacio´nSadosky[2] y otros organismos pu´blicos y privados.2 Desaf´ıos y requerimientosLa siguiente es una lista de los requerimientos funcionales que impactan sobreel disen˜o de la arquitectura de la plataforma de datos:– Contar con un soporte para la ingesta y almacenamiento de datos provenien-tes tanto de instituciones (mainstream), con un flujo de carga controlado ynormalizado; como de la comunidad de desarrolladores/productores (longtail).– Brindar un sistema de control de acceso sobre datos privados.– Favorecer la integracio´n, la interaccio´n y la colaboracio´n de los distintosactores involucrados.– Permitir el almacenamiento de datasets de gran volumen, series temporalesde datos agr´ıcolas, georreferenciados o no y documentacio´n no-estructurada.Dar soporte para datos del tipo Raster.– Permitir la integracio´n, transformacio´n y administracio´n de los datos.– Dar soporte para datos del tipo Stream.– Proveer mecanismos para permitir el acceso a la plataforma datos pensadadesde una perspectiva para el desarrollo de aplicaciones.– Brindar servicios de procesamiento sobre los datos.– Priorizar tecnolog´ıas abiertas.3 Propuesta arquitecto´nicaConsideramos que el proyecto debe representar una referencia a nivel de ar-quitectura en cuanto a la implementacio´n de soluciones abiertas. Es de sumaimportancia para el e´xito que la plataforma provea mecanismos que faciliten elacceso a los datos y es ah´ı donde nos valemos de referencias como OpenAPI[3].Tambie´n consideramos importante que la plataforma provea los mecanismos deacceso a los recursos de la plataforma, a nivel de almacenamiento, procesamiento,visualizacio´n, co´mputo y seguridad.Como respuesta a los requerimientos planteados, se propuso una arquitecturabasada en las siguientes componentes:AGRANDA 2016, 2º Simposio Argentino de Grandes Datos45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 37III3.1 Cluster HadoopHadoop[4] es el esta´ndar te´cnico de facto para el desarrollo de plataformas deBig Data. Cuando hablamos de Hadoop no so´lo hablamos de los servicios dealmacenamiento y procesamiento en cluster, sino que hablamos del ecosistemade tecnolog´ıas que se enfocan en diferentes particularidades de la solucio´n.HDFS Es el filesystem distribuido de Hadoop. Provee la distribucio´n y replica-cio´n de los files a trave´s del cluster.HBase Es la base de datos orientada a very large tables. Se monta sobre HDFS.La usaremos para brindar los servicios de acceso a los datos (planos no-estructurados), los datasets, series de datos temporales, etc.Accumulo + Geowave Esta combinacio´n de tecnolog´ıas permite la gestio´n delos datos del tipo raster.Geoserver Es el cla´sico servidor de datos espaciales, esta vez montado sobreAccumulo + Geowave para dar soporte en Big Data.Spark + YARN Spark como implementacio´n del paradigma de programacio´ndistribuida sobre el cluster Hadoop. Utilizando como soporte de los datostanto a HDFS como a YARN para la utilizacio´n de datos en memoria.El siguiente gra´fico representa un vista conceptual de alto nivel que contienelos componentes principales y su relacio´n de integracio´n y exposicio´n:)LOHV$3,'DWDVHW$3, *HR$3,:06$3,)XQF$3,*HRVHUYHU+%$6( $FFXPXOR*HRZDYH 6SDUN+')6 <$51Figura 1. Esquema de componentes de arquitectura de la plataforma de datos.3.2 API de serviciosCada tecnolog´ıa de base esta´ encapsulada en una API Java, para simplificar elacceso a los servicios y facilitar su uso.Files API Se encarga de exponer los servicios de lecto-escritura sobre el filesys-tem para datos archivos planos no-estructurados.Dataset API Se utiliza para realizar consultas relacionales sobre los datasets,una estructura de datos disen˜ada para las consultas tempo-espaciales.Geo API Se utiliza para acceder a datos geogra´ficos, soportando operacionesde consulta del tipo geogra´ficas.WMS API La WMS API replica el protocolo cla´sico WMS para acceso a capasgeogra´ficas.Func API Se utiliza para publicar y lanzar jobs del tipo Spark[5] sobre laplataforma de datos.AGRANDA 2016, 2º Simposio Argentino de Grandes Datos45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 38IV3.3 Ima´genes Satelitales & Big DataEstamos transitando una verdadera revolucio´n en la industria satelital orientadaa la provisio´n de ima´genes y sensado remoto; apenas hace unos pocos meses, tan-to la agencia USGS como la ESA liberaron sus respectivas ima´genes Landsat[6]y Sentinel[7]. Respecto de la tecnolog´ıa de nanosate´lites, se encuentran en o´rbita2431 y durante el transcurso del an˜o 2016, se preve´n ma´s de 400 lanzamientos,2 de la argentina Satellogic[8]. La empresa Planet Lab[9] -que recientemente ad-quirio´ la alemana BlackBridge proveedora de RapidEye- preve´ para el segundosemestre del 2016, proveer servicios de ima´genes con un tiempo de revisita menora los 3 d´ıas de revisita para toda la superficie terrestre del planeta. Satellogictendra´ revisita horaria en los pro´ximos an˜os cuando alcance su constelacio´n de300 nanosate´lites. Teniendo en cuenta so´lo la provincia de Buenos Aires, se re-gistraron 696 escenas Landsat8 durante el an˜o 2015; cada escena es de ∼1GBtotalizando ∼700GB en 1 so´lo an˜o.La arquitectura propuesta, para satisfacer los requerimientos GIS se basaen la librer´ıa Geowave[10]. Geowave provee los servicios de almacenamiento,indexacio´n, bu´squeda sobre datos multidimensionales -tanto desde el punto devista espacial como temporal. Utiliza como soporte una DB key-value, siendoAccumulo[11] la DB de referencia2. Dentro de las caracter´ısticas que brindaGeowave, destacamos:Soporte de indexacio´n multidimensional Lo utilizamos para modelar lasserie de datos asignadas a coordenadas espaciales, como datos meteorolo´gi-cos.Soporte de objetos geogra´ficos y operadores geoespaciales GeoWave in-tenta ser para Accumulo lo que PostGIS es a PostgreSQL.Integracio´n con GeoServer Implementa el protocolo de servicios OGC paravisualizar y compartir datos.Map-Reduce Implementa las operaciones de transformacio´n de datos geogra´fi-cos utilizando primitivas Map-Reduce para distribuir el procesamiento.3.4 Seguridad de la Informacio´nEl control de acceso sobre los datos planos, datasets, rasters y dema´s recursosesta´n alcanzados por una componente transversal de seguridad. Esta componentehoy se resuelve en una capa de middleware. Queda para una etapa futura, migrarla componente de seguridad al cluster.4 Trabajo FuturoAu´n no conocemos cua´l sera´n los casos de uso que requieran uso intensivo de losrecursos, si la comunidad de usuarios se centrara´ ma´s en el consumo de datos1 Al 18 de mayo de 20162 En una futura versio´n de GeoWave soportara´ el uso de HBaseAGRANDA 2016, 2º Simposio Argentino de Grandes Datos45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 39Vnear-realtime o en los histo´ricos, sobre cua´les regiones del pa´ıs, etc. Debemosesperar para poder optimizar en esa direccio´n.Quedara´ para versiones futuras trabajar con los requerimientos de indexa-cio´n y trabajo con datos del tipo Stream. Se propone investigar tecnolog´ıas deindexacio´n como SolR y de tratamiento de stream y colas como Kafka y Storm.As´ımismo fortalecer los aspectos de seguridad para extender su alcance sobreel cluster, un a´rea poco resuelta en la comunidad.Referencias1. Fundacio´n Sadosky: Proyecto Palenque. http://www.fundacionsadosky.org.ar/palenque/2. Fundacio´n Sadosky. http://www.fundacionsadosky.org.ar3. The Open API Initiative (OAI). https://openapis.org/4. The Apache Hadoop project. http://hadoop.apache.org/5. Apache Spark. Lightning-fast cluster computing http://spark.apache.org/6. USGS. Servicio Geolo´gico de los Estados Unidos. Landsat 8,http://landsat.usgs.gov/landsat8.php7. ESA. Agencia Espacial Europea. Misiones Sentinel,https://sentinel.esa.int/web/sentinel/home8. Satellogic. http://www.satellogic.com/9. Planet Labs. https://www.planet.com10. GeoWave. https://ngageoint.github.io/geowave/11. Apache Accumulo. https://accumulo.apache.org/AGRANDA 2016, 2º Simposio Argentino de Grandes Datos45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 40

Palenque: plataforma de grandes datos para el agro : Arquitectura de big data

El Servicio de Difusión de la Creación Intelectual

Palenque
Plataforma de Grandes Datos para el Agro
Arquitectura de Big Data
Agustina Bazzano1, Lautaro Chiarle1,
Ernesto Mislej2, Carlos Lizarralde2, and Nicola´s Higgs2
1 Flux IT,
{agustina.bazzano, lautaro.chiarle}@fluxit.com.ar,
http://fluxit.com.ar/
2 7Puentes,
{ernesto, charly, nico}@7puentes.com,
http://7puentes.com/
Resumen Palenque es una plataforma y un ecosistema de aplicacio-
nes que brindara´n soluciones tecnolo´gicas basadas en grandes datos a
los productores agropecuarios, as´ı como al sector pu´blico y otros acto-
res del sistema productivo y cient´ıfico. En este trabajo describiremos la
arquitectura de la plataforma de datos.
Keywords: big data, agroTICs, plataforma de datos
Abstract. Palenque is a platform and an ecosystem of applications that
provide technological solutions based on large data to farmers and the
public sector, and other actors in the productive and scientific system.
In this work, we will describe the architecture of the data platform.
Keywords: big data, agribusiness, big data platform
1 Sobre Palenque
En los u´ltimos an˜os ha comenzado a desarrollarse una nueva tendencia relacio-
nada a la agricultura denominada data-driven agriculture en la cual la tecno-
log´ıa de la informacio´n se posiciona en el corazo´n de la explotacio´n agr´ıcola.
Tecnolog´ıas vinculadas, por ejemplo, al sistema de geoposicionamiento satelital
permiten obtener datos georeferenciales de distintos sitios de un lote, como ser
ima´genes satelitales, cartas de suelos, mapas topogra´ficos, muestreo del suelo,
rendimientos de cosechas anteriores, para luego poder procesar esta informacio´n
con sistemas especializados, permitiendo elaborar diferentes mapas o modelos
con informacio´n precisa en sus diferentes a´reas. Las nuevas tecnolog´ıas permiten
AGRANDA 2016, 2º Simposio Argentino de Grandes Datos
45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 36
II
realizar el seguimiento y la gestio´n de todas estas tareas de manera integrada,
remota y en tiempo real, pudiendo regular sus acciones a partir del retorno que
reciben.
Argentina, dada su reconocida competitividad en la agricultura, tiene en
este sentido una significativa oportunidad. Es aqu´ı donde aparece el Proyecto
Palenque[1], el cual se lleva a adelante con una cooperacio´n entre la Fundacio´n
Sadosky[2] y otros organismos pu´blicos y privados.
2 Desaf´ıos y requerimientos
La siguiente es una lista de los requerimientos funcionales que impactan sobre
el disen˜o de la arquitectura de la plataforma de datos:
– Contar con un soporte para la ingesta y almacenamiento de datos provenien-
tes tanto de instituciones (mainstream), con un flujo de carga controlado y
normalizado; como de la comunidad de desarrolladores/productores (long
tail).
– Brindar un sistema de control de acceso sobre datos privados.
– Favorecer la integracio´n, la interaccio´n y la colaboracio´n de los distintos
actores involucrados.
– Permitir el almacenamiento de datasets de gran volumen, series temporales
de datos agr´ıcolas, georreferenciados o no y documentacio´n no-estructurada.
Dar soporte para datos del tipo Raster.
– Permitir la integracio´n, transformacio´n y administracio´n de los datos.
– Dar soporte para datos del tipo Stream.
– Proveer mecanismos para permitir el acceso a la plataforma datos pensada
desde una perspectiva para el desarrollo de aplicaciones.
– Brindar servicios de procesamiento sobre los datos.
– Priorizar tecnolog´ıas abiertas.
3 Propuesta arquitecto´nica
Consideramos que el proyecto debe representar una referencia a nivel de ar-
quitectura en cuanto a la implementacio´n de soluciones abiertas. Es de suma
importancia para el e´xito que la plataforma provea mecanismos que faciliten el
acceso a los datos y es ah´ı donde nos valemos de referencias como OpenAPI[3].
Tambie´n consideramos importante que la plataforma provea los mecanismos de
acceso a los recursos de la plataforma, a nivel de almacenamiento, procesamiento,
visualizacio´n, co´mputo y seguridad.
Como respuesta a los requerimientos planteados, se propuso una arquitectura
basada en las siguientes componentes:
AGRANDA 2016, 2º Simposio Argentino de Grandes Datos
45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 37
III
3.1 Cluster Hadoop
Hadoop[4] es el esta´ndar te´cnico de facto para el desarrollo de plataformas de
Big Data. Cuando hablamos de Hadoop no so´lo hablamos de los servicios de
almacenamiento y procesamiento en cluster, sino que hablamos del ecosistema
de tecnolog´ıas que se enfocan en diferentes particularidades de la solucio´n.
HDFS Es el filesystem distribuido de Hadoop. Provee la distribucio´n y replica-
cio´n de los files a trave´s del cluster.
HBase Es la base de datos orientada a very large tables. Se monta sobre HDFS.
La usaremos para brindar los servicios de acceso a los datos (planos no-
estructurados), los datasets, series de datos temporales, etc.
Accumulo + Geowave Esta combinacio´n de tecnolog´ıas permite la gestio´n de
los datos del tipo raster.
Geoserver Es el cla´sico servidor de datos espaciales, esta vez montado sobre
Accumulo + Geowave para dar soporte en Big Data.
Spark + YARN Spark como implementacio´n del paradigma de programacio´n
distribuida sobre el cluster Hadoop. Utilizando como soporte de los datos
tanto a HDFS como a YARN para la utilizacio´n de datos en memoria.
El siguiente gra´fico representa un vista conceptual de alto nivel que contiene
los componentes principales y su relacio´n de integracio´n y exposicio´n:
)LOHV$3,
'DWDVHW$3, *HR$3,
:06$3,
)XQF$3,
*HRVHUYHU
+%$6( $FFXPXOR*HRZDYH 6SDUN
+')6 <$51
Figura 1. Esquema de componentes de arquitectura de la plataforma de datos.
3.2 API de servicios
Cada tecnolog´ıa de base esta´ encapsulada en una API Java, para simplificar el
acceso a los servicios y facilitar su uso.
Files API Se encarga de exponer los servicios de lecto-escritura sobre el filesys-
tem para datos archivos planos no-estructurados.
Dataset API Se utiliza para realizar consultas relacionales sobre los datasets,
una estructura de datos disen˜ada para las consultas tempo-espaciales.
Geo API Se utiliza para acceder a datos geogra´ficos, soportando operaciones
de consulta del tipo geogra´ficas.
WMS API La WMS API replica el protocolo cla´sico WMS para acceso a capas
geogra´ficas.
Func API Se utiliza para publicar y lanzar jobs del tipo Spark[5] sobre la
plataforma de datos.
AGRANDA 2016, 2º Simposio Argentino de Grandes Datos
45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 38
IV
3.3 Ima´genes Satelitales & Big Data
Estamos transitando una verdadera revolucio´n en la industria satelital orientada
a la provisio´n de ima´genes y sensado remoto; apenas hace unos pocos meses, tan-
to la agencia USGS como la ESA liberaron sus respectivas ima´genes Landsat[6]
y Sentinel[7]. Respecto de la tecnolog´ıa de nanosate´lites, se encuentran en o´rbita
2431 y durante el transcurso del an˜o 2016, se preve´n ma´s de 400 lanzamientos,
2 de la argentina Satellogic[8]. La empresa Planet Lab[9] -que recientemente ad-
quirio´ la alemana BlackBridge proveedora de RapidEye- preve´ para el segundo
semestre del 2016, proveer servicios de ima´genes con un tiempo de revisita menor
a los 3 d´ıas de revisita para toda la superficie terrestre del planeta. Satellogic
tendra´ revisita horaria en los pro´ximos an˜os cuando alcance su constelacio´n de
300 nanosate´lites. Teniendo en cuenta so´lo la provincia de Buenos Aires, se re-
gistraron 696 escenas Landsat8 durante el an˜o 2015; cada escena es de ∼1GB
totalizando ∼700GB en 1 so´lo an˜o.
La arquitectura propuesta, para satisfacer los requerimientos GIS se basa
en la librer´ıa Geowave[10]. Geowave provee los servicios de almacenamiento,
indexacio´n, bu´squeda sobre datos multidimensionales -tanto desde el punto de
vista espacial como temporal. Utiliza como soporte una DB key-value, siendo
Accumulo[11] la DB de referencia2. Dentro de las caracter´ısticas que brinda
Geowave, destacamos:
Soporte de indexacio´n multidimensional Lo utilizamos para modelar las
serie de datos asignadas a coordenadas espaciales, como datos meteorolo´gi-
cos.
Soporte de objetos geogra´ficos y operadores geoespaciales GeoWave in-
tenta ser para Accumulo lo que PostGIS es a PostgreSQL.
Integracio´n con GeoServer Implementa el protocolo de servicios OGC para
visualizar y compartir datos.
Map-Reduce Implementa las operaciones de transformacio´n de datos geogra´fi-
cos utilizando primitivas Map-Reduce para distribuir el procesamiento.
3.4 Seguridad de la Informacio´n
El control de acceso sobre los datos planos, datasets, rasters y dema´s recursos
esta´n alcanzados por una componente transversal de seguridad. Esta componente
hoy se resuelve en una capa de middleware. Queda para una etapa futura, migrar
la componente de seguridad al cluster.
4 Trabajo Futuro
Au´n no conocemos cua´l sera´n los casos de uso que requieran uso intensivo de los
recursos, si la comunidad de usuarios se centrara´ ma´s en el consumo de datos
1 Al 18 de mayo de 2016
2 En una futura versio´n de GeoWave soportara´ el uso de HBase
AGRANDA 2016, 2º Simposio Argentino de Grandes Datos
45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 39
Vnear-realtime o en los histo´ricos, sobre cua´les regiones del pa´ıs, etc. Debemos
esperar para poder optimizar en esa direccio´n.
Quedara´ para versiones futuras trabajar con los requerimientos de indexa-
cio´n y trabajo con datos del tipo Stream. Se propone investigar tecnolog´ıas de
indexacio´n como SolR y de tratamiento de stream y colas como Kafka y Storm.
As´ımismo fortalecer los aspectos de seguridad para extender su alcance sobre
el cluster, un a´rea poco resuelta en la comunidad.
Referencias
1. Fundacio´n Sadosky: Proyecto Palenque. http://www.fundacionsadosky.org.ar/palenque/
2. Fundacio´n Sadosky. http://www.fundacionsadosky.org.ar
3. The Open API Initiative (OAI). https://openapis.org/
4. The Apache Hadoop project. http://hadoop.apache.org/
5. Apache Spark. Lightning-fast cluster computing http://spark.apache.org/
6. USGS. Servicio Geolo´gico de los Estados Unidos. Landsat 8,
http://landsat.usgs.gov/landsat8.php
7. ESA. Agencia Espacial Europea. Misiones Sentinel,
https://sentinel.esa.int/web/sentinel/home
8. Satellogic. http://www.satellogic.com/
9. Planet Labs. https://www.planet.com
10. GeoWave. https://ngageoint.github.io/geowave/
11. Apache Accumulo. https://accumulo.apache.org/
AGRANDA 2016, 2º Simposio Argentino de Grandes Datos
45 JAIIO - AGRANDA 2016 - ISSN: 2451-7569 - Página 40


Spanish

SEDICI - Repositorio de la UNLP

http://sedici.unlp.edu.ar/bitstream/handle/10915/56821/Documento_completo.pdf?sequence=1

Palenque: plataforma de grandes datos para el agro : Arquitectura de big data

Abstract

Similar works

Full text

Available Versions

Servicio de Difusión de la Creación Intelectual

El Servicio de Difusión de la Creación Intelectual

SEDICI - Repositorio de la UNLP