A Data-driven, High-performance and Intelligent CyberInfrastructure to Advance Spatial Sciences

abstract: In the field of Geographic Information Science (GIScience), we have witnessed the unprecedented data deluge brought about by the rapid advancement of high-resolution data observing technologies. For example, with the advancement of Earth Observation (EO) technologies, a massive amount of EO data including remote sensing data and other sensor observation data about earthquake, climate, ocean, hydrology, volcano, glacier, etc., are being collected on a daily basis by a wide range of organizations. In addition to the observation data, human-generated data including microblogs, photos, consumption records, evaluations, unstructured webpages and other Volunteered Geographical Information (VGI) are incessantly generated and shared on the Internet. Meanwhile, the emerging cyberinfrastructure rapidly increases our capacity for handling such massive data with regard to data collection and management, data integration and interoperability, data transmission and visualization, high-performance computing, etc. Cyberinfrastructure (CI) consists of computing systems, data storage systems, advanced instruments and data repositories, visualization environments, and people, all linked together by software and high-performance networks to improve research productivity and enable breakthroughs that are not otherwise possible. The Geospatial CI (GCI, or CyberGIS), as the synthesis of CI and GIScience has inherent advantages in enabling computationally intensive spatial analysis and modeling (SAM) and collaborative geospatial problem solving and decision making. This dissertation is dedicated to addressing several critical issues and improving the performance of existing methodologies and systems in the field of CyberGIS. My dissertation will include three parts: The first part is focused on developing methodologies to help public researchers find appropriate open geo-spatial datasets from millions of records provided by thousands of organizations scattered around the world efficiently and effectively. Machine learning and semantic search methods will be utilized in this research. The second part develops an interoperable and replicable geoprocessing service by synthesizing the high-performance computing (HPC) environment, the core spatial statistic/analysis algorithms from the widely adopted open source python package – Python Spatial Analysis Library (PySAL), and rich datasets acquired from the first research. The third part is dedicated to studying optimization strategies for feature data transmission and visualization. This study is intended for solving the performance issue in large feature data transmission through the Internet and visualization on the client (browser) side. Taken together, the three parts constitute an endeavor towards the methodological improvement and implementation practice of the data-driven, high-performance and intelligent CI to advance spatial sciences.Dissertation/ThesisDoctoral Dissertation Geography 201

Deep neural network for city mapping using Google Street View data

S rozvojem výpočetní síly a rozsáhlýmidatovými soubory vede masivní zlepšeníhluboké neuronové sítě k mnoha rozšíře-ným aplikacím. Jednou z aplikací hlubokéneuronové sítě je řešení problémů počíta-čového vidění, jako je klasifikace a segmen-tace. Soutěž jako ImageNet Výzva provizuální rozpoznávání ve velkém měřítku posunula schopnost na další úroveň;v některých případech je klasifikace lepšínež lidská.Tato práce je příkladem aplikace vyu-žívající schopnost neuronových sítí. Do-kument popisuje implementaci, metodiku,experimenty prováděné pro vývoj softwa-rových řešení pomocí hluboké neuronovésítě na obrázkových prostředcích z ob-rázků Google Street View .Uživatel poskytuje soubor geojson se-stávající z oblasti zájmu ve tvaru čtvercenebo mnohoúhelníku jako vstup. GoogleStreetView API stáhne dostupné ob-rázky. Snímky jsou nejprve zpracoványpomocí nejmodernějších CNN (Mask R-CNN), aby detekovaly objekty, kla-sifikovaly je pomocí skóre spolehlivosti,vytvořily ohraničující rámeček a kolemdetekovaného objektu malovaly pixely. .Textový soubor ukládá informace, jakojsou souřadnice ohraničovacího rámečku,název třídy a hodnoty masky.Obyčejný RGB (panoramatický) sní-mek z GSV neobsahuje žádné hloubkovéúdaje. Obrázky jsou zpracovávány s jinýmnejmodernějším CNN (monodepth2),aby se odhadla hloubka objektů v obra-zech po pixelech.Průměrná hodnota hloubky v masce sepoužívá jako vzdálenost objektu. Souřad-nice ohraničovacího rámečku se používajípro umístění objektu v jiných osách.Výsledné výstupy jsou markery deteko-vaných objektů, které jsou základem mapy.Sloupcový graf pro vizualizaci počtu de-tekcí ve třídě. Textový soubor obsahujícípočet detekcí pro každou třídu. Výstupz každého kroku zpracování výše, jakojsou detekce, hloubkové obrázky, hodnotymasky pro porovnání a vyhodnocení.With the advancement of computation power and large datasets, a massive improvement of the deep neural network leads to many widespread applications. One of the applications of the deep neural network is solving computer vision problems like classification and segmentation.Competition like ImageNet Large Scale Visual Recognition Challenge, took the capability to the next level; in some cases, classification is better than human. This thesis is an example of an application that utilizes the ability of neural networks. The document describes the implementation, methodology, experiments done for developing software solutions by using the deep neural network on image resources form Google Street View images. The user provides a geojson file consists of an area of interest in the form of square or polygon as the input. Google StreetView API downloads the available images. The images are first processed with the state of the art CNN (Mask R-CNN) to detect the objects, classify them with the confidence score, generate a bounding box, and a pixel-wise mask around the detected object. The text file stores information like coordinates of the bounding box, name of the class, and the mask values. An ordinary RGB ( panoramic ) image from GSV does not consist of any depth data. The images are processed with another state of art CNN (monodepth2), to estimate the pixel-wise depth of the objects in the images. The averaged value of the depth within the mask is used as the distance of the object. The coordinates of the bounding box are used for positioning of the object in other axes. The resulting outputs are markers of detected objects underlying in the map. A bar graph to visualize the number of detection per class. A text file containing the number of detection per each class. The output from each processing step above, like detections, depth images, mask values to compare and evaluate

Bicycles Mobility Prediction

The growth in mobile wireless communication requires sharp solutions in handling mobility problems that encompass poor handover management, interference in access points, excessive load in macrocells, and other relevant mobility issues. With the deployment of small cell networks in 5G mobile systems the problems mentioned intensify thus, mobility prediction schemes arise to surpass and mitigate these issues. Predicting mobility is not a trivial task due to the vastness of different variables that characterize a mobility route translating into unpredictability and randomness. Therefore, the task of this work is to overcome these challenges by building a solid mobility prediction architecture that can analyze big data and find patterns in the mobility aspect to ultimately perform reliable predictions. The models introduced in this dissertation are two deep learning schemes based on an Artificial Neural Network (ANN) architecture and a LSTM Long-Short Term Memory (LSTM) architecture. The prediction was made in two levels: Short-term prediction and Long-term prediction. We verified that in the short-term domain both models performed equivalently with successful results. However, in long-term prediction, the LSTM model surpassed the ANN model. Consequently, the LSTM approach constitutes the stronger model in all prediction aspects. Implementing this model in cellular networks is an important asset in optimizing processes such as routing and caching as the cellular networks can allocate the necessary resources to provide a better user experience. With this optimization impact and with the emergence of the Internet of Things (IoT), the prediction model can support and improve the development of smart applications related to our daily mobility routine.O crescimento da comunicação móvel sem fios exige soluções precisas para lidar com problemas de mobilidade que englobam uma gestão pobre de handover, interferência em pontos de acesso, carga excessiva em macrocélulas e outros problemas relevantes ao aspeto da mobilidade. Com a implantação de redes de pequenas células no sistema móvel 5G, os problemas mencionados intensificam-se. Desta forma, são necessários esquemas de previsão de mobilidade para superar e mitigar esses problemas. Prever a mobilidade não é uma tarefa trivial devido à imensidão de diferentes variáveis que caracterizam uma rota de mobilidade, traduzindo-se em grandes dimensões de imprevisibilidade e aleatoriedade. Portanto, a tarefa deste trabalho é superar esses desafios construindo uma arquitetura sólida de estimação de mobilidade, que possa analisar um grande fluxo de dados e encontrar padrões para, em última análise, realizar previsões credíveis e assertivas. Os modelos apresentados nesta dissertação são dois esquemas de deep learning baseados em uma arquitetura de RNA (Rede Neuronal) e uma arquitetura LSTM (Long-Short Term Memory). A previsão foi feita em dois níveis: previsão de curto prazo e previsão de longo prazo. Verificámos que no curto prazo ambos os modelos tiveram um desempenho equivalente com resultados bem sucedidos. No entanto, na previsão de longo prazo, o modelo LSTM superou o modelo ANN. Consequentemente, a abordagem LSTM constitui o modelo mais forte em todos os aspectos de previsão. A implementação deste modelo, em redes celulares, é uma medida importante na otimização de processos como, routing ou caching, proporcionando uma melhor experiência wireless ao utilizador. Com este impacto de otimização e com o surgimento da Internet of Things (IoT), o modelo de previsão pode apoiar e melhorar o desenvolvimento de aplicações inteligentes relacionadas com a nossa rotina diária de mobilidade

Integrated framework of web-based urban simulation support system for communities and cities

One of the most important agendas that urban planners and researchers face in the coming decades is to establish new designs that improve the sustainability and resilience of cities. Under the rapid development of Geographic Information System (GIS) technology and the Internet of Things (IoT), these technologies empower urban planners to enhance visibility into data and monitor fluctuations over time, evaluating the feasibility of proposed projects and predicting the effects on the environment, providing a better understanding a city as a multi-scale and multilayer complex system, scenario-testing, and strategic planning, collecting important aggregated data regarding building construction, energy consumption, and occupant wellbeings. However, many of these technologies generate vast amounts of data on some levels that are not detailed enough and are available at different scales, in various formats, and structured and unstructured forms. Usually, urban planners require a large amount of complex data to perform systematic dynamic simulations of many buildings. This adds difficulties to urban planners regarding data aggregation and real-time data management. This leads to an integrative solution for solving offline and online data processing and visualizing tasks and integrating data normalization and filtering techniques. Such solutions are needed to provide researchers with an integrative framework to reduce complexity and improve availability, accuracy, diversity, scalability, and integration efficiency. In this thesis, by analyzing the problems encountered and related requirements, the study leveraged the Niagara IoT framework and GIS integrations to build an integrated framework. The thesis work developed several modules for data preparation, creation, visualization, and integration. These modules simplify the data integration process and make it easier to prepare these data. The visualization and data integration requirements can be simplified with the help of GIS and an easy-to-use integrated framework to provide a real-time sensing system, geographic information system, and database integration system

Property Recommendation System With Geospatial Data Analytics Andnatural Language Processing For Urban Land Use

Recently Cuyahoga County has been tremendously improved as properties are being constructed, renovated, or altered for new land use transactions on a nearly daily basis. Most existing property recommendation systems for the area simply rely on surface-level information and user history data to produce recommendations while failing to prioritize factors according to their importance and utilizing the location based complex information efficiently. This is leading them to become stagnant and simplistic in their approach and their accuracy is worsening as there are too many factors to be considered and location based complex yet useful information such as land use aspects of neighboring areas or information about people who are living or working in the area are often hard to be discovered. To combat these issues, this thesis proposes a modern property recommendation system with new approaches: 1) Employing data analytic methods to discover complex location based geospatial knowledge from big data processing, 2) Collecting and deriving summary information on people demographic data in the neighbor, and 3) Adopting natural language processing techniques for a user given phrase query to generate accurate candidate sets. Our recommendation system consists of three key components: 1) Using derived geospatial knowledge as new features and viewpoints for a better overall understanding of neighbor for a given property. 2) Incorporating Hotspot Analysis and data analytic methods to identify which areas are the v most ideal for each type of properties based on current and history data. 3) Allowing a user query in a sentence or phrase through natural language text processing techniques to create accurate candidates to tailor recommendations to a given individual user to return the Top-N ranked results. The experimental results show the effectiveness of these new approaches

Leveraging Container Technologies in a GIScience Project: A Perspective from Open Reproducible Research

Scientific reproducibility is essential for the advancement of science. It allows the results of previous studies to be reproduced, validates their conclusions and develops new contributions based on previous research. Nowadays, more and more authors consider that the ultimate product of academic research is the scientific manuscript, together with all the necessary elements (i.e., code and data) so that others can reproduce the results. However, there are numerous difficulties for some studies to be reproduced easily (i.e., biased results, the pressure to publish, and proprietary data). In this context, we explain our experience in an attempt to improve the reproducibility of a GIScience project. According to our project needs, we evaluated a list of practices, standards and tools that may facilitate open and reproducible research in the geospatial domain, contextualising them on Peng’s reproducibility spectrum. Among these resources, we focused on containerisation technologies and performed a shallow review to reflect on the level of adoption of these technologies in combination with OSGeo software. Finally, containerisation technologies proved to enhance the reproducibility and we used UML diagrams to describe representative work-flows deployed in our GIScience project.This work has been funded by the Generalitat Valenciana through the “Subvenciones para la realización de proyectos de I+D+i desarrollados por grupos de investigación emergentes” programme (GV/2019/016) and by the Spanish Ministry of Economy and Competitiveness under the subprogrammes Challenges-Collaboration 2014 (RTC-2014-1863-8) and Challenges R+D+I 2016 (CSO2016-79420-R AEI/FEDER, EU). Sergio Trilles has been funded by the postdoctoral programme PINV2018 - Universitat Jaume I (POSDOC-B/2018/12) and stays programme PINV2018 - Universitat Jaume I (E/2019/031)

Leveraging Container Technologies in a GIScience Project: A Perspective from Open Reproducible Research

Scientific reproducibility is essential for the advancement of science. It allows the results of previous studies to be reproduced, validates their conclusions and develops new contributions based on previous research. Nowadays, more and more authors consider that the ultimate product of academic research is the scientific manuscript, together with all the necessary elements (i.e., code and data) so that others can reproduce the results. However, there are numerous difficulties for some studies to be reproduced easily (i.e., biased results, the pressure to publish, and proprietary data). In this context, we explain our experience in an attempt to improve the reproducibility of a GIScience project. According to our project needs, we evaluated a list of practices, standards and tools that may facilitate open and reproducible research in the geospatial domain, contextualising them on Peng’s reproducibility spectrum. Among these resources, we focused on containerisation technologies and performed a shallow review to reflect on the level of adoption of these technologies in combination with OSGeo software. Finally, containerisation technologies proved to enhance the reproducibility and we used UML diagrams to describe representative work-flows deployed in our GIScience project

Towards Geo Decision Support Systems for Renewable Energy Outreach

La Tierra se encuentra afectada por numerosos fenómenos tales como los desastres naturales, sobre urbanización, contaminación, etc. Todas estas actividades afectan enormemente a los recursos naturales del planeta llevando a la escasez de los mismos. Un tema especialmente relevante es el uso exhaustivo de energía fósil y su impacto negativo sobre nuestro medio ambiente. Resulta de este modo fundamental la búsqueda de nuevos recursos energéticos limpios para satisfacer nuestras necesidades y reducir la dependencia de recursos energéticos fósiles. La transformación de una infraestructura de generación de energía basada en recursos fósiles a otra basada en recursos energéticos renovables tales como eólica, solar y energía hidroeléctrica llevará a un mejor mantenimiento del medio ambiente ya que supondrá poco o ningún efecto en el calentamiento global por las emisiones, y a una reducción de la dependencia de fuentes de energía fósil. Las energías renovables son una fuente natural de energía que tiene importantes beneficios ya que proporciona un sistema de producción de energía confiable, con precios de la energía estables, puestos de trabajo especializados, y beneficios económicos y el medio ambiente. La energía solar es una de las mejores energías renovables. El sol es la fuente natural y fundamental de la existencia humana sobre la tierra y afecta a todos los procesos químicos, físicos y biológicos. Una hora de la energía del sol en la tierra es suficiente para alimentar a todo el planeta durante un año. La energía del sol o la radiación solar y su presencia geográfica determinan posibles inversiones en energía solar y las estrategias de desarrollo de las mismas. De este modo es esencial para poder proporcionar respuestas relacionadas con el "qué, quién, cuando y donde". Por ejemplo: ¿Cuál es el perfil de trabajo que mejor adapta a una posición gerencial de las energías renovables? ¿Dónde está el mejor lugar para invertir en huertos solares y/o parques eólicos? ¿En qué fecha se registra la más alta productividad? ¿Por qué este lugar no es apto para proyectos hidráulicos? ¿Por qué hay un bajón en la radiación solar en el año 2000 frente a 2012? Etc. En general, la toma de decisiones es el proceso de seleccionar la mejor opción viable de un conjunto de posibles maneras de hacer las cosas. Los Sistemas de Soporte de Decisión (del inglés Decision Support System, DSS) constituyen un ecosistema cognitivo que facilita la interacción entre los seres humanos y los datos para facilitar de forma profunda, significativa y útil la creación de soluciones efectivas en tiempo y costes. Grandes almacenamientos de Datos (Data warehousing), procesos de Extracción, Transformación y Carga (del inglés Extract Transform and Load, ETL) y la Inteligencia de Negocios (del ingles Business Intelligence, BI) son aspectos tecnológicos clave vinculados a la toma de decisiones. Además, la toma de decisiones en el contexto de la energía solar depende de Sistemas de Información Geográfica. Aunque la energía del Sol está disponible en todo el mundo, es evidente que la energía solar es más abundante cerca de los trópicos. Por ejemplo, una inversión en plantas de energía fotovoltaica en lugares cerca de los trópicos y del ecuador requerirá menos tiempo para su amortización. Dependiendo de la ubicación geográfica y las condiciones climáticas, la intensidad solar varía. Por esta razón, es importante seleccionar la ubicación adecuada que optimice la inversión teniendo en cuenta factores como la intensidad de la radiación solar, clima, tierras aptas y economía. Hay modelos como Global atlas y SimuSOLAR que dan información de idoneidad sobre la radiación solar y las ubicaciones. Sin embargo, estos modelos están restringidos a expertos, cubren áreas geográficas limitadas, no son aptos para casos de uso diferentes de los inicialmente previstos, y adolecen de falta de informes detallados e intuitivos para el público en general. El desarrollo de una cartografía extensa sobre la relación de zonas de sol y de sombra es un trabajo muy complejo que involucra diversos conceptos y retos de ingeniería, necesitando de la integración de diferentes modelos de datos, de calidad y cantidad heterogéneas, con limitaciones presupuestarias, etc. El objetivo de los trabajos de investigación desarrollados ha sido establecer la arquitectura de software para el desarrollo de Sistemas de Soporte de Decisión en el ámbito de las energías renovables en general, y de la energía solar en particular. La característica clave de este enfoque de arquitectura de software es ser capaz de proporcionar Sistemas de Soporte de Decisión que ofrezcan servicios de bajo coste ("low cost") en este contexto. Hagamos una analogía. Imagínese que usted está buscando comprar o alquilar una casa en España. Quiere analizar las características del edificio (por ejemplo dimensiones, jardín, más de una edificación en la parcela) y su entorno (por ejemplo, conexiones, servicios). Para realizar esta tarea puede utilizar los datos gratuitos proporcionados por la Oficina Virtual del Catastro de España junto con imágenes libres de un proveedor de ortofotografías (por ejemplo PNOA, Google o Bing) y datos contextuales libres procedentes de otros organismos locales, regionales y/o nacionales (por ejemplo el Ayuntamiento de Zaragoza, el Gobierno de Aragón, el proyecto Cartociudad). Si alguien integra todos estos orígenes de datos en un sistema (por ejemplo el cliente del servicio de mapas de la Infraestructura de Datos Espaciales de España, IDEE), tiene un Sistema de Soporte de Decisión "low cost" para comprar o alquilar una casa. Este trabajo de investigación tiene como objetivo el desarrollo de un enfoque de arquitectura de software que podría proporcionar un Sistema de Soporte de Decisión "low cost" cuando los consumidores necesitan tomar decisiones relacionadas con las energías renovables, en particular sistemas de energía solar, como podría ser la selección de la mejor opción para instalar un sistema solar, o decidir una inversión en una granja solar comunitaria. Una parte importante de este proceso de investigación ha consistido en el análisis sobre la idoneidad de las tecnologías vinculadas a Grandes almacenamientos de Datos y procesos de Extracción, Transformación y Carga para almacenar y procesar gran cantidad de datos históricos referentes a la energía, e Inteligencia de Negocios para la estructuración y presentación de informes. Por otro lado, ha sido necesario centrar el trabajo en modelos de negocio abierto (infraestructura de servicios web, modelos de datos 3D, técnicas de representación de datos sobre zonas de sol y sombra, y fuentes de datos) para el desarrollo económico del producto. Además, este trabajo identifica casos de uso donde los Sistemas de Soporte de Decisión deben ser el instrumento de resolución de problemas de mercado y de problemas científicos. Por lo tanto, esta tesis tiene como objetivo enfatizar y adoptar las tecnologías citadas para proponer un Sistema de Soporte de Decisión completo para un mejor uso potencial de las energías renovables que denominamos REDSS (del inglés Renewable Energy Decision Support System). El trabajo de investigación ha sido desarrollado con el objeto de encontrar respuestas a las siguientes preguntas de investigación: Preguntas relacionadas a los datos: - ¿Cómo elegir el proceso de creación de datos más adecuado para crear modelos geográficos cuyo coste económico sea razonable? Preguntas relacionadas con la tecnología: - ¿Qué limitaciones tecnológicas actuales tienen las herramientas computacionales para el cálculo de la intensidad y sombra solar? - ¿Cómo se puede adaptar conceptos como Grandes almacenamientos de Datos y la Inteligencia de Negocios en el campo de las energías renovables? - ¿Cómo estructurar y organizar datos relacionados con la intensidad solar y la sombra? - ¿Cuáles son las diferencias significativas entre el método propuesto y otros servicios globales existentes? Preguntas relacionadas con casos de uso: - ¿Cuáles son los casos de uso de REDSS? - ¿Cuáles son los beneficios de REDSS para expertos y público en general? Para darle una forma concreta a la contribución y el enfoque propuesto, se ha desarrollado un prototipo denominado Energy2People basado en principios de Inteligencia de Negocio que no sólo proporciona datos de localización avanzada sino que es una base sobre la que para desarrollar futuros productos comerciales. En su conformación actual, esta herramienta ayuda a descubrir y representar las relaciones de datos clave en el sector de las energías renovables y, permite descubrir al público en general relaciones entre los datos en casos donde no era evidente. Esencialmente, el enfoque propuesto conduce a un aumento en el rendimiento de gestión y visualización de datos. Las principales aportaciones de esta tesis pueden resumirse como siguen: - En primer lugar, esta tesis hace una revisión de varios modelos de sol-sombra de código abierto y cerrado para identificar el alcance de la necesidad de modelos de decisión y de su soporte efectivo. Además, proporciona información detallada sobre fuentes de información gratuita relacionada con datos de radiación solar. - En segundo lugar, se plantea un armazón conceptual para el desarrollo de modelos geográficos de bajo coste. Como ejemplo de la aplicación de esta aproximación se ha desarrollado un modelo de bajo coste de ciudad virtual 3D utilizando datos catastrales públicamente disponibles vía servicios Web. - En tercer lugar, este trabajo propone el uso de REDSS al problema de la toma de decisiones en el campo de la energía solar. Este modelo también cuenta con otros puntos distinguibles como los enfoques de co-creación y Mix-and-match. - En cuarto lugar, esta tesis identifica varios escenarios de aplicaciones reales y varios tipos de actores que deberían salir beneficiados por la aplicación de esta estrategia. - Por último, esta tesis presenta el prototipo "Enery2People" desarrollado para explorar datos de localización de la radiación solar y eventos temporales que sirve como ejemplo práctico de la aproximación planteada en esta tesis. Para hacer más claro el potencial del enfoque propuesto, este prototipo es comparado con otros Atlas Internacionales de la energía renovable