Remote sensing big data computing: challenges and opportunities

As we have entered an era of high resolution earth observation, the RS data are undergoing an explosive growth. The proliferation of data also give rise to the increasing complexity of RS data, like the diversity and higher dimensionality characteristic of the data. RS data are regarded as RS ‘‘Big Data’’. Fortunately, we are witness the coming technological leapfrogging. In this paper, we give a brief overview on the Big Data and data-intensive problems, including the analysis of RS Big Data, Big Data challenges, current techniques and works for processing RS Big Data

An insight in cloud computing solutions for intensive processing of remote sensing data

The investigation of Earth's surface deformation phenomena provides critical insights into several processes of great interest for science and society, especially from the perspective of further understanding the Earth System and the impact of the human activities. Indeed, the study of ground deformation phenomena can be helpful for the comprehension of the geophysical dynamics dominating natural hazards such as earthquakes, volcanoes and landslide. In this context, the microwave space-borne Earth Observation (EO) techniques represent very powerful instruments for the ground deformation estimation. In particular, Small BAseline Subset (SBAS) is regarded as one of the key techniques, for its ability to investigate surface deformation affecting large areas of the Earth with a centimeter to millimeter accuracy in different scenarios (volcanoes, tectonics, landslides, anthropogenic induced land motions). The current Remote Sensing scenario is characterized by the availability of huge archives of radar data that are going to increase with the advent of Sentinel-1 satellites. The effective exploitation of this large amount of data requires both adequate computing resources as well as advanced algorithms able to properly exploit such facilities. In this work we concentrated on the use of the P-SBAS algorithm (a parallel version of SBAS) within HPC infrastructure, to finally investigate the effectiveness of such technologies for EO applications. In particular we demonstrated that the cloud computing solutions represent a valid alternative for scientific application and a promising research scenario, indeed, from all the experiments that we have conducted and from the results obtained performing Parallel Small Baseline Subset (P-SBAS) processing, the cloud technologies and features result to be absolutely competitive in terms of performance with in-house HPC cluster solution

SInCom 2015

2nd Baden-Württemberg Center of Applied Research Symposium on Information and Communication Systems, SInCom 2015, 13. November 2015 in Konstan

New Fundamental Technologies in Data Mining

The progress of data mining technology and large public popularity establish a need for a comprehensive text on the subject. The series of books entitled by "Data Mining" address the need by presenting in-depth description of novel mining algorithms and many useful applications. In addition to understanding each section deeply, the two books present useful hints and strategies to solving problems in the following chapters. The contributing authors have highlighted many future research directions that will foster multi-disciplinary collaborations and hence will lead to significant development in the field of data mining

Opportunistic data collection and routing in segmented wireless sensor networks

La surveillance régulière des opérations dans les aires de manoeuvre (voies de circulation et pistes) et aires de stationnement d'un aéroport est une tâche cruciale pour son fonctionnement. Les stratégies utilisées à cette fin visent à permettre la mesure des variables environnementales, l'identification des débris (FOD) et l'enregistrement des statistiques d'utilisation de diverses sections de la surface. Selon un groupe de gestionnaires et contrôleurs d'aéroport interrogés, cette surveillance est un privilège des grands aéroports en raison des coûts élevés d'acquisition, d'installation et de maintenance des technologies existantes. Les moyens et petits aéroports se limitent généralement à la surveillance de quelques variables environnementales et des FOD effectuée visuellement par l'homme. Cette dernière activité impose l'arrêt du fonctionnement des pistes pendant l'inspection. Dans cette thèse, nous proposons une solution alternative basée sur les réseaux de capteurs sans fil (WSN) qui, contrairement aux autres méthodes, combinent les propriétés de faible coût d'installation et maintenance, de déploiement rapide, d'évolutivité tout en permettant d'effectuer des mesures sans interférer avec le fonctionnement de l'aéroport. En raison de la superficie d'un aéroport et de la difficulté de placer des capteurs sur des zones de transit, le WSN se composerait d'une collection de sous-réseaux isolés les uns des autres et du puits. Pour gérer cette segmentation, notre proposition s'appuie sur l'utilisation opportuniste des véhicules circulants dans l'aéroport considérés alors comme un type spécial de nœud appelé Mobile Ubiquitous LAN Extension (MULE) chargé de collecter les données des sous-réseaux le long de son trajet et de les transférer vers le puits. L'une des exigences pour le déploiement d'un nouveau système dans un aéroport est qu'il cause peu ou pas d'interruption des opérations régulières. C'est pourquoi l'utilisation d'une approche opportuniste basé sur des MULE est privilégiée dans cette thèse. Par opportuniste, nous nous référons au fait que le rôle de MULE est joué par certains des véhicules déjà existants dans un aéroport et effectuant leurs déplacements normaux. Et certains nœuds des sous- réseaux exploiteront tout moment de contact avec eux pour leur transmettre les données à transférer ensuite au puits. Une caractéristique des MULEs dans notre application est qu'elles ont des trajectoires structurées (suivant les voies de circulation dans l'aéroport), en ayant éventuellement un contact avec l'ensemble des nœuds situés le long de leur trajet (appelés sous-puits). Ceci implique la nécessité de définir une stratégie de routage dans chaque sous-réseau, capable d'acheminer les données collectées des nœuds vers les sous-puits et de répartir les paquets de données entre eux afin que le temps en contact avec la MULE soit utilisé le plus efficacement possible. Dans cette thèse, nous proposons un protocole de routage remplissant ces fonctions. Le protocole proposé est nommé ACME (ACO-based routing protocol for MULE-assisted WSNs). Il est basé sur la technique d'Optimisation par Colonies de Fourmis. ACME permet d'assigner des nœuds à des sous-puits puis de définir les chemins entre eux, en tenant compte de la minimisation de la somme des longueurs de ces chemins, de l'équilibrage de la quantité de paquets stockés par les sous-puits et du nombre total de retransmissions. Le problème est défini comme une tâche d'optimisation multi-objectif qui est résolue de manière distribuée sur la base des actions des nœuds dans un schéma collaboratif. Nous avons développé un environnement de simulation et effectué des campagnes de calculs dans OMNeT++ qui montrent les avantages de notre protocole en termes de performances et sa capacité à s'adapter à une grande variété de topologies de réseaux.The regular monitoring of operations in both movement areas (taxiways and runways) and non-movement areas (aprons and aircraft parking spots) of an airport, is a critical task for its functioning. The set of strategies used for this purpose include the measurement of environmental variables, the identification of foreign object debris (FOD), and the record of statistics of usage for diverse sections of the surface. According to a group of airport managers and controllers interviewed by us, the wide monitoring of most of these variables is a privilege of big airports due to the high acquisition, installation and maintenance costs of most common technologies. Due to this limitation, smaller airports often limit themselves to the monitoring of environmental variables at some few spatial points and the tracking of FOD performed by humans. This last activity requires stopping the functioning of the runways while the inspection is conducted. In this thesis, we propose an alternative solution based on Wireless Sensor Network (WSN) which, unlike the other methods/technologies, combines the desirable properties of low installation and maintenance cost, scalability and ability to perform measurements without interfering with the regular functioning of the airport. Due to the large extension of an airport and the difficulty of placing sensors over transit areas, the WSN might result segmented into a collection of subnetworks isolated from each other and from the sink. To overcome this problem, our proposal relies on a special type of node called Mobile Ubiquitous LAN Extension (MULE), able to move over the airport surface, gather data from the subnetworks along its way and eventually transfer it to the sink. One of the main demands for the deployment of any new system in an airport is that it must have little or no interference with the regular operations. This is why the use of an opportunistic approach for the transfer of data from the subnetworks to the MULE is favored in this thesis. By opportunistic we mean that the role of MULE will be played by some of the typical vehicles already existing in an airport doing their normal displacements, and the subnetworks will exploit any moment of contact with them to forward data to the sink. A particular characteristic of the MULEs in our application is that they move along predefined structured trajectories (given by the layout of the airport), having eventual contact with the set of nodes located by the side of the road (so-called subsinks). This implies the need for a data routing strategy to be used within each subnetwork, able to lead the collected data from the sensor nodes to the subsinks and distribute the data packets among them so that the time in contact with the MULE is used as efficiently as possible. In this thesis, we propose a routing protocol which undertakes this task. Our proposed protocol is named ACME, standing for ACO-based routing protocol for MULE-assisted WSNs. It is founded on the well known Ant Colony Optimization (ACO) technique. The main advantage of ACO is its natural fit to the decentralized nature of WSN, which allows it to perform distributed optimizations (based on local interactions) leading to remarkable overall network performance. ACME is able to assign sensor nodes to subsinks and generate the corresponding multi-hop paths while accounting for the minimization of the total path length, the total subsink imbalance and the total number of retransmissions. The problem is defined as a multi-objective optimization task which is resolved in a distributed manner based on actions of the sensor nodes acting in a collaborative scheme. We conduct a set of computational experiments in the discrete event simulator OMNeT++ which shows the advantages of our protocol in terms of performance and its ability to adapt to a variety of network topologie

Functional-input metamodeling: an application to coastal flood early warning

Les inondations en général affectent plus de personnes que tout autre catastrophe. Au cours de la dernière décennie du 20ème siècle, plus de 1.5 milliard de personnes ont été affectées. Afin d'atténuer l'impact de ce type de catastrophe, un effort scientifique significatif a été consacré à la constitution de codes de simulation numériques pour la gestion des risques. Les codes disponibles permettent désormais de modéliser correctement les événements d'inondation côtière à une résolution assez élevée. Malheureusement, leur utilisation est fortement limitée pour l'alerte précoce, avec une simulation de quelques heures de dynamique maritime prenant plusieurs heures à plusieurs jours de temps de calcul. Cette thèse fait partie du projet ANR RISCOPE, qui vise à remédier cette limitation en construisant des métamodèles pour substituer les codes hydrodynamiques coûteux en temps de calcul. En tant qu'exigence particulière de cette application, le métamodèle doit être capable de traiter des entrées fonctionnelles correspondant à des conditions maritimes variant dans le temps. À cette fin, nous nous sommes concentrés sur les métamodèles de processus Gaussiens, développés à l'origine pour des entrées scalaires, mais maintenant disponibles aussi pour des entrées fonctionnelles. La nature des entrées a donné lieu à un certain nombre de questions sur la bonne façon de les représenter dans le métamodèle: (i) quelles entrées fonctionnelles méritent d'être conservées en tant que prédicteurs, (ii) quelle méthode de réduction de dimension (e.g., B-splines, PCA, PLS) est idéale, (iii) quelle est une dimension de projection appropriée, et (iv) quelle est une distance adéquate pour mesurer les similitudes entre les points d'entrée fonctionnels dans la fonction de covariance. Certaines de ces caractéristiques - appelées ici paramètres structurels - du modèle et d'autres telles que la famille de covariance (e.g., Gaussien, Matérn 5/2) sont souvent arbitrairement choisies a priori. Comme nous l'avons montré à travers des expériences, ces décisions peuvent avoir un fort impact sur la capacité de prédiction du métamodèle. Ainsi, sans perdre de vue notre but de contribuer à l'amélioration de l'alerte précoce des inondations côtières, nous avons entrepris la construction d'une méthodologie efficace pour définir les paramètres structurels du modèle. Comme première solution, nous avons proposé une approche d'exploration basée sur la Méthodologie de Surface de Réponse. Elle a été utilisé efficacement pour configurer le métamodèle requis pour une fonction de test analytique, ainsi que pour une version simplifiée du code étudié dans RISCOPE. Bien que relativement simple, la méthodologie proposée a pu trouver des configurations de métamodèles de capacité de prédiction élevée avec des économies allant jusqu'à 76.7% et 38.7% du temps de calcul utilisé par une approche d'exploration exhaustive dans les deux cas étudiés. La solution trouvée par notre méthodologie était optimale dans la plupart des cas. Nous avons développé plus tard un deuxième prototype basé sur l'Optimisation par Colonies de Fourmis. Cette nouvelle approche est supérieure en termes de temps de solution et de flexibilité sur les configurations du modèle qu'elle permet d'explorer. Cette méthode explore intelligemment l'espace de solution et converge progressivement vers la configuration optimale. La collection d'outils statistiques utilisés dans cette thèse a motivé le développement d'un package R appelé funGp. Celui-ci est maintenant disponible dans GitHub et sera soumis prochainement au CRAN. Dans un travail indépendant, nous avons étudié l'estimation des paramètres de covariance d'un processus Gaussien transformé par Maximum de Vraisemblance (MV) et Validation Croisée. Nous avons montré la consistance et la normalité asymptotique des deux estimateurs. Dans le cas du MV, ces résultats peuvent être interprétés comme une preuve de robustesse du MV Gaussien dans le cas de processus non Gaussiens.Currently, floods in general affect more people than any other hazard. In just the last decade of the 20th century, more than 1.5 billion were affected. In the seek to mitigate the impact of this type of hazard, strong scientific effort has been devoted to the constitution of computer codes that could be used as risk management tools. Available computer models now allow properly modelling coastal flooding events at a fairly high resolution. Unfortunately, their use is strongly prohibitive for early warning, with a simulation of few hours of maritime dynamics taking several hours to days of processing time, even on multi-processor clusters. This thesis is part of the ANR RISCOPE project, which aims at addressing this limitation by means of surrogate modeling of the hydrodynamic computer codes. As a particular requirement of this application, the metamodel should be able to deal with functional inputs corresponding to time varying maritime conditions. To this end, we focused on Gaussian process metamodels, originally developed for scalar inputs, but now available also for functional inputs. The nature of the inputs gave rise to a number of questions about the proper way to represent them in the metamodel: (i) which functional inputs are worth keeping as predictors, (ii) which dimension reduction method (e.g., B-splines, PCA, PLS) is ideal, (iii) which is a suitable projection dimension, and given our choice to work with Gaussian process metamodels, also the question of (iv) which is a convenient distance to measure similarities between functional input points within the kernel function. Some of these characteristics - hereon called structural parameters - of the model and some others such as the family of kernel (e.g., Gaussian, Matérn 5/2) are often arbitrarily chosen a priori. Sometimes, those are selected based on other studies. As one may intuit and has been shown by us through experiments, those decisions could have a strong impact on the prediction capability of the resulting model. Thus, without losing sight of our final goal of contributing to the improvement of coastal flooding early warning, we undertook the construction of an efficient methodology to set up the structural parameters of the model. As a first solution, we proposed an exploration approach based on the Response Surface Methodology. It was effectively used to tune the metamodel for an analytic toy function, as well as for a simplified version of the code studied in RISCOPE. While relatively simple, the proposed methodology was able to find metamodel configurations of high prediction capability with savings of up to 76.7% and 38.7% of the time spent by an exhaustive search approach in the analytic case and coastal flooding case, respectively. The solution found by our methodology was optimal in most cases. We developed later a second prototype based on Ant Colony Optimization (ACO). This new approach is more powerful in terms of solution time and flexibility in the features of the model allowed to be explored. The ACO based method smartly samples the solution space and progressively converges towards the optimal configuration. The collection of statistical tools used for metamodeling in this thesis motivated the development of the funGp R package, which is now available in GitHub and about to be submitted to CRAN. In an independent work, we studied the estimation of the covariance parameters of a Transformed Gaussian Process by Maximum Likelihood (ML) and Cross Validation. We showed that both estimators are consistent and asymptotically normal. In the case of ML, these results can be interpreted as a proof of robustness of Gaussian ML in the case of non-Gaussian processes