State-of-the-art and gaps for deep learning on limited training data in remote sensing

Deep learning usually requires big data, with respect to both volume and variety. However, most remote sensing applications only have limited training data, of which a small subset is labeled. Herein, we review three state-of-the-art approaches in deep learning to combat this challenge. The first topic is transfer learning, in which some aspects of one domain, e.g., features, are transferred to another domain. The next is unsupervised learning, e.g., autoencoders, which operate on unlabeled data. The last is generative adversarial networks, which can generate realistic looking data that can fool the likes of both a deep learning network and human. The aim of this article is to raise awareness of this dilemma, to direct the reader to existing work and to highlight current gaps that need solving.Comment: arXiv admin note: text overlap with arXiv:1709.0030

A Comprehensive Survey of Deep Learning in Remote Sensing: Theories, Tools and Challenges for the Community

In recent years, deep learning (DL), a re-branding of neural networks (NNs), has risen to the top in numerous areas, namely computer vision (CV), speech recognition, natural language processing, etc. Whereas remote sensing (RS) possesses a number of unique challenges, primarily related to sensors and applications, inevitably RS draws from many of the same theories as CV; e.g., statistics, fusion, and machine learning, to name a few. This means that the RS community should be aware of, if not at the leading edge of, of advancements like DL. Herein, we provide the most comprehensive survey of state-of-the-art RS DL research. We also review recent new developments in the DL field that can be used in DL for RS. Namely, we focus on theories, tools and challenges for the RS community. Specifically, we focus on unsolved challenges and opportunities as it relates to (i) inadequate data sets, (ii) human-understandable solutions for modelling physical phenomena, (iii) Big Data, (iv) non-traditional heterogeneous data sources, (v) DL architectures and learning algorithms for spectral, spatial and temporal data, (vi) transfer learning, (vii) an improved theoretical understanding of DL systems, (viii) high barriers to entry, and (ix) training and optimizing the DL.Comment: 64 pages, 411 references. To appear in Journal of Applied Remote Sensin

Human Activity Recognition Based on Multimodal Body Sensing

In the recent years, human activity recognition has been widely popularized by a lot of smartphone manufacturers and fitness tracking companies. It has allowed us to gain a deeper insight into our physical health on a daily basis. However, with the evolution of fitness tracking devices and smartphones, the amount of data that is being captured by these devices is growing exponentially. This paper aims at understanding the process of dimensionality reduction such as PCA so that the data can be used to make meaningful predictions along with novel techniques using autoencoders with different activation functions. The paper also looks into how using autoencoders allows us to better capture the relations between features in the data. It also covers some of the classification techniques such as k-Nearest Neighbors, SVM and Random forest that are currently being used for activity recognition that have shown promising results

Deep Pyramidal Residual Networks for Spectral-Spatial Hyperspectral Image Classification

Convolutional neural networks (CNNs) exhibit good performance in image processing tasks, pointing themselves as the current state-of-the-art of deep learning methods. However, the intrinsic complexity of remotely sensed hyperspectral images still limits the performance of many CNN models. The high dimensionality of the HSI data, together with the underlying redundancy and noise, often makes the standard CNN approaches unable to generalize discriminative spectral-spatial features. Moreover, deeper CNN architectures also find challenges when additional layers are added, which hampers the network convergence and produces low classification accuracies. In order to mitigate these issues, this paper presents a new deep CNN architecture specially designed for the HSI data. Our new model pursues to improve the spectral-spatial features uncovered by the convolutional filters of the network. Specifically, the proposed residual-based approach gradually increases the feature map dimension at all convolutional layers, grouped in pyramidal bottleneck residual blocks, in order to involve more locations as the network depth increases while balancing the workload among all units, preserving the time complexity per layer. It can be seen as a pyramid, where the deeper the blocks, the more feature maps can be extracted. Therefore, the diversity of high-level spectral-spatial attributes can be gradually increased across layers to enhance the performance of the proposed network with the HSI data. Our experiments, conducted using four well-known HSI data sets and 10 different classification techniques, reveal that our newly developed HSI pyramidal residual model is able to provide competitive advantages (in terms of both classification accuracy and computational time) over the state-of-the-art HSI classification methods

Novel Detection and Analysis using Deep Variational Autoencoders

This paper presents a Novel Identification System which uses generative modeling techniques and Gaussian Mixture Models (GMMs) to identify the main process variables involved in a novel event from multivariate data. Features are generated and subsequently dimensionally reduced by using a Variational Autoencoder (VAE) supplemented by a denoising criterion and a β disentangling method. The GMM parameters are learned using the Expectation Maximization(EM) algorithm on features collected from only normal operating conditions. A one-class classification is achieved by thresholding the likelihoods by a statistically derived value. The Novel Identification method is verified as a detection method on existing Radio Frequency (RF) Generators and standard classification datasets. The RF dataset contains 2 different models of generators with almost 100 unique units tested. Novel Detection on these generators achieved an average testing true positive rate of 97.31% with an overall target class accuracy of 98.16%. A second application has the network evaluate process variables of the RF generators when a novel event is detected. This is achieved by using the VAE decoding layers to map the GMM parameters back to a space equivalent to the original input, resulting in a way to directly estimate the process variables fitness

Forest attributes mapping with SAR data in the romanian South-Eastern Carpathians requirements and outcomes

Esta tesis doctoral se centra en la estimación de variables forestales en la zona Sureste de los Cárpatos Rumanos a partir de imágenes de radar de apertura sintética. La investigación abarca parte del preprocesado de las imágenes, métodos de generación de mosaicos y la extracción de la cobertura de bosque, sus subtipos o su biomasa. La tesis se desarrolló en el Instituto Nacional de Investigación y Desarrollo Forestal Marín Dracea (INCDS) y la Universidad de Alcalá (UAH) gracias a varios proyectos: el proyecto EO-ROFORMON del INCDS (Prototyping an Earth-Observation based monitoring and forecasting system for the Romanian forests), y el proyecto EMAFOR de la UAH (Synthetic Aperture Radar (SAR) enabled Analysis Ready Data (ARD) cubes for efficient monitoring of agricultural and forested landscapes). El proyecto EO-ROFORMON fue financiado por la Autoridad Nacional para la Investigación Científica de Rumania y el Fondo Europeo de Desarrollo Regional. El proyecto EMAFOR fue financiado por la Comunidad Autónoma de Madrid (España). El objetivo de esta tesis es el desarrollo de algoritmos para la extracción de variables forestales de uso general como la cobertura, el tipo o la biomasa del bosque a partir de imagen de radar de apertura sintética. Para alcanzar dicho propósito se analizaron posibles fuentes de sesgo sistemático que podrían aparecer en zonas de montaña (ej., normalización topográfica, generación de mosaicos), y se aplicaron técnicas de aprendizaje de máquina para tareas de clasificación y regresión. La tesis contiene ocho secciones: una introducción, cinco publicaciones en revistas o actas de congresos indexados, una pendiente de publicación (quinto capítulo) y las conclusiones. La introducción contextualiza la importancia del bosque, cómo se recoge la información sobre su estado (ej., inventario forestal) y las iniciativas o marcos legislativos que requieren dicha información. A continuación, se describe cómo la teledetección puede complementar la información de inventario forestal, detallando el contexto histórico de las distintas tecnologías, su funcionamiento, y cómo pueden ser aplicadas para la extracción de información forestal. Por último, se describe la problemática y el monitoreo del bosque en Rumanía, detallando el objetivo de la tesis y su estructura. El primer capítulo analiza la influencia del modelo digital de elevaciones (MDE) en la calidad de la normalización topográfica, analizando tres MDE globales (SRTM, AW3D y TanDEM-X DEM) y uno nacional (PNOA-LiDAR). Los experimentos se basan en la comparación entre órbitas, con un MDE de referencia, y la variación del acierto en la clasificación dependiendo del MDE empleado para la normalización. Los resultados muestran una menor diferencia ente órbitas al utilizar un MDE con una mejor resolución (ej. TanDEM-X, PNOA-LIDAR), especialmente en el caso de zonas con fuertes pendientes o formas del terreno complejas, como pueden ser los valles. En zonas de alta montaña las imágenes de radar de apertura sintética (SAR) sufren frecuentes distorsiones. Estas distorsiones dependen de la geometría de adquisición, por lo que es posible combinar imágenes adquiridas desde varias órbitas para que la cobertura sea lo más completa posible. El segundo capítulo evalúa dos metodologías para la clasificación de usos del suelo utilizando datos de Sentinel-1 adquiridos desde varias órbitas. El primer método crea clasificaciones por órbita y las combina, mientras que el segundo genera un mosaico con datos de múltiples órbitas y lo clasifica. El acierto obtenido mediante combinación de clasificaciones es ligeramente mayor, mientras que la clasificación de mosaicos tiene importantes omisiones de las zonas boscosas debido a problemas en la normalización topográfica y a los efectos direccionales. El tercer capítulo se enfoca en separar la cobertura forestal de otras coberturas del suelo (urbano, vegetación baja, agua) analizando la utilidad de las variables basadas en la coherencia interferométrica. En él se realizan tres clasificaciones de máquina vector-soporte basadas en un conjunto concreto de variables. El primer conjunto contiene las estadísticas anuales de la retrodispersión (media y desviación típica anual), el segundo añade la coherencia a largo plazo (separación temporal mayor a un año), el tercero incluye las estadísticas de la coherencia a corto plazo (mínima separación temporal). Utilizar variables basadas en la coherencia aumenta el acierto de la clasificación hasta un 5% y reduce los errores de omisión de la cobertura forestal. El cuarto capítulo evalúa la posibilidad de detectar talas selectivas utilizando datos de Sentinel-1 y Sentinel-2. Sus resultados muestran que la detección resulta muy difícil debido a la saturación de los sensores y la confusión introducida por el efecto de la fenología. El quinto capítulo se centra en la clasificación de tipos de bosque basado en una serie temporal de datos Sentinel-1. Se basa en la creación de un conjunto de modelos que describen la relación entre la retrodispersión y el ángulo local de incidencia para un determinado tipo de bosque y fecha concreta. Para cada píxel se calcula el residuo respecto al modelo de cada uno de los tipos de bosque, acumulando dichos residuos a lo largo de la serie temporal. Hecho esto, cada píxel es asignado al tipo de bosque que acumula un menor residuo. Los resultados son prometedores, mostrando que frondosas y coníferas tienen un comportamiento distintivo, y que es posible separar ambos tipos de bosque con un alto grado de acierto. El sexto capítulo está dedicado a la estimación de biomasa utilizando datos Sentinel-1, ALOS PALSAR y regresión Random Forest. Se obtiene un error similar para ambos sensores a pesar de utilizar una banda diferente (band-C vs. -L), con poca reducción en el error cuando ambas bandas se utilizan conjuntamente. Sin embargo, el ajuste de un estimador adaptado a las condiciones locales de Rumanía sí ofreció una reducción de del error al ser comparado con las estimaciones globales de biomasa

Unary Classification of Image Data

Práce se zabývá úvodem do klasifikačních algoritmů. Následně rozděluje klasifikátory na unární, binární a multi-class a popisuje jednotlivé typy klasifikátorů. Práce srovnává jednotlivé klasifikátory a jejich oblasti použití. Pro unární klasifikátory jsou v práci uvedeny praktické příklady a seznam využívaných architektur. Práce obsahuje kapitolu zaměřenou na srovnání vlivů hyper parametrů na kvalitu unární klasifikace pro jednotlivé architektury. Součástí odevzdání práce je potom praktický příklad reimplementace unárního klasifikátoru.The work deals with an introduction to classification algorithms. It then divides classifiers into unary, binary and multi-class and describes the different types of classifiers. The work compares individual classifiers and their areas of use. For unary classifiers, practical examples and a list of used architectures are given in the work. The work contains a chapter focused on the comparison of the effects of hyper parameters on the quality of unary classification for individual architectures. Part of the submission is a practical example of reimplementation of the unary classifier.

Machine learning for wireless signal learning

Wireless networks are vulnerable to adversarial devices by spoofing the digital identity of valid wireless devices, allowing unauthorized devices access to the network. Instead of validating devices based on their digital identity, it is possible to use their unique physical fingerprint caused by changes in the signal due to deviations in wireless hardware. In this thesis, the physical fingerprint was validated by performing classification with complex-valued neural networks (NN), achieving a high level of accuracy in the process. Additionally, zero-shot learning (ZSL) was implemented to learn discriminant features to separate legitimate from unauthorized devices using outlier detection and then further separate every unauthorized device into their own cluster. This approach allows 42\% of unauthorized devices to be identified as unauthorized and correctly clustere