Deep learning in remote sensing: a review

Standing at the paradigm shift towards data-intensive science, machine learning techniques are becoming increasingly important. In particular, as a major breakthrough in the field, deep learning has proven as an extremely powerful tool in many fields. Shall we embrace deep learning as the key to all? Or, should we resist a 'black-box' solution? There are controversial opinions in the remote sensing community. In this article, we analyze the challenges of using deep learning for remote sensing data analysis, review the recent advances, and provide resources to make deep learning in remote sensing ridiculously simple to start with. More importantly, we advocate remote sensing scientists to bring their expertise into deep learning, and use it as an implicit general model to tackle unprecedented large-scale influential challenges, such as climate change and urbanization.Comment: Accepted for publication IEEE Geoscience and Remote Sensing Magazin

Sea Ice Extraction via Remote Sensed Imagery: Algorithms, Datasets, Applications and Challenges

The deep learning, which is a dominating technique in artificial intelligence, has completely changed the image understanding over the past decade. As a consequence, the sea ice extraction (SIE) problem has reached a new era. We present a comprehensive review of four important aspects of SIE, including algorithms, datasets, applications, and the future trends. Our review focuses on researches published from 2016 to the present, with a specific focus on deep learning-based approaches in the last five years. We divided all relegated algorithms into 3 categories, including classical image segmentation approach, machine learning-based approach and deep learning-based methods. We reviewed the accessible ice datasets including SAR-based datasets, the optical-based datasets and others. The applications are presented in 4 aspects including climate research, navigation, geographic information systems (GIS) production and others. It also provides insightful observations and inspiring future research directions.Comment: 24 pages, 6 figure

SAR Ship Target Recognition via Selective Feature Discrimination and Multifeature Center Classifier

Maritime surveillance is not only necessary for every country, such as in maritime safeguarding and fishing controls, but also plays an essential role in international fields, such as in rescue support and illegal immigration control. Most of the existing automatic target recognition (ATR) methods directly send the extracted whole features of SAR ships into one classifier. The classifiers of most methods only assign one feature center to each class. However, the characteristics of SAR ship images, large inner-class variance, and small interclass difference lead to the whole features containing useless partial features and a single feature center for each class in the classifier failing with large inner-class variance. We proposes a SAR ship target recognition method via selective feature discrimination and multifeature center classifier. The selective feature discrimination automatically finds the similar partial features from the most similar interclass image pairs and the dissimilar partial features from the most dissimilar inner-class image pairs. It then provides a loss to enhance these partial features with more interclass separability. Motivated by divide and conquer, the multifeature center classifier assigns multiple learnable feature centers for each ship class. In this way, the multifeature centers divide the large inner-class variance into several smaller variances and conquered by combining all feature centers of one ship class. Finally, the probability distribution over all feature centers is considered comprehensively to achieve an accurate recognition of SAR ship images. The ablation experiments and experimental results on OpenSARShip and FUSAR-Ship datasets show that our method has achieved superior recognition performance under decreasing training SAR ship samples

Space-based Global Maritime Surveillance. Part I: Satellite Technologies

Maritime surveillance (MS) is crucial for search and rescue operations, fishery monitoring, pollution control, law enforcement, migration monitoring, and national security policies. Since the early days of seafaring, MS has been a critical task for providing security in human coexistence. Several generations of sensors providing detailed maritime information have become available for large offshore areas in real time: maritime radar sensors in the 1950s and the automatic identification system (AIS) in the 1990s among them. However, ground-based maritime radars and AIS data do not always provide a comprehensive and seamless coverage of the entire maritime space. Therefore, the exploitation of space-based sensor technologies installed on satellites orbiting around the Earth, such as satellite AIS data, synthetic aperture radar, optical sensors, and global navigation satellite systems reflectometry, becomes crucial for MS and to complement the existing terrestrial technologies. In the first part of this work, we provide an overview of the main available space-based sensors technologies and present the advantages and limitations of each technology in the scope of MS. The second part, related to artificial intelligence, signal processing and data fusion techniques, is provided in a companion paper, titled: "Space-based Global Maritime Surveillance. Part II: Artificial Intelligence and Data Fusion Techniques" [1].Comment: This paper has been submitted to IEEE Aerospace and Electronic Systems Magazin

Maritime Moving Target Detection, Tracking and Geocoding Using Range-Compressed Airborne Radar Data

Eine regelmäßige und großflächige überwachung des Schiffsverkehrs gewinnt zunehmend an Bedeutung, vor allem auch um maritime Gefahrenlagen und illegale Aktivitäten rechtzeitig zu erkennen. Heutzutage werden dafür überwiegend das automatische Identifikationssystem (AIS) und stationäre Radarstationen an den Küsten eingesetzt. Luft- und weltraumgestützte Radarsensoren, die unabhängig vom Wetter und Tageslicht Daten liefern, können die vorgenannten Systeme sehr gut ergänzen. So können sie beispielsweise Schiffe detektieren, die nicht mit AIS-Transpondern ausgestattet sind oder die sich außerhalb der Reichweite der stationären AIS- und Radarstationen befinden. Luftgestützte Radarsensoren ermöglichen eine quasi-kontinuierliche Beobachtung von räumlich begrenzten Gebieten. Im Gegensatz dazu bieten weltraumgestützte Radare eine große räumliche Abdeckung, haben aber den Nachteil einer geringeren temporalen Abdeckung. In dieser Dissertation wird ein umfassendes Konzept für die Verarbeitung von Radardaten für die Schiffsverkehr-überwachung mit luftgestützten Radarsensoren vorgestellt. Die Hauptkomponenten dieses Konzepts sind die Detektion, das Tracking, die Geokodierung, die Bildgebung und die Fusion mit AIS-Daten. Im Rahmen der Dissertation wurden neuartige Algorithmen für die ersten drei Komponenten entwickelt. Die Algorithmen sind so aufgebaut, dass sie sich prinzipiell für zukünftige Echtzeitanwendungen eignen, die eine Verarbeitung an Bord der Radarplattform erfordern. Darüber hinaus eignen sich die Algorithmen auch für beliebige, nicht-lineare Flugpfade der Radarplattform. Sie sind auch robust gegenüber Lagewinkeländerungen, die während der Datenerfassung aufgrund von Luftturbulenzen jederzeit auftreten können. Die für die Untersuchungen verwendeten Daten sind ausschließlich entfernungskomprimierte Radardaten. Da das Signal-Rausch-Verhältnis von Flugzeugradar-Daten im Allgemeinen sehr hoch ist, benötigen die neuentwickelten Algorithmen keine vollständig fokussierten Radarbilder. Dies reduziert die Gesamtverarbeitungszeit erheblich und ebnet den Weg für zukünftige Echtzeitanwendungen. Der entwickelte neuartige Schiffsdetektor arbeitet direkt im Entfernungs-Doppler-Bereich mit sehr kurzen kohärenten Verarbeitungsintervallen (CPIs) der entfernungskomprimierten Radardaten. Aufgrund der sehr kurzen CPIs werden die detektierten Ziele im Dopplerbereich fokussiert abgebildet. Wenn sich die Schiffe zusätzlich mit einer bestimmten Radialgeschwindigkeit bewegen, werden ihre Signale aus dem Clutter-Bereich hinausgeschoben. Dies erhöht das Verhältnis von Signal- zu Clutter-Energie und verbessert somit die Detektierbarkeit. Die Genauigkeit der Detektion hängt stark von der Qualität der von der Meeresoberfläche rückgestreuten Radardaten ab, die für die Schätzung der Clutter-Statistik verwendet werden. Diese wird benötigt, um einen Detektions-Schwellenwert für eine konstante Fehlalarmrate (CFAR) abzuleiten und die Anzahl der Fehlalarme niedrig zu halten. Daher umfasst der vorgeschlagene Detektor auch eine neuartige Methode zur automatischen Extraktion von Trainingsdaten für die Statistikschätzung sowie geeignete Ozean-Clutter-Modelle. Da es sich bei Schiffen um ausgedehnte Ziele handelt, die in hochauflösenden Radardaten mehr als eine Auflösungszelle belegen, werden nach der Detektion mehrere von einem Ziel stammende Pixel zu einem physischen Objekten zusammengefasst, das dann in aufeinanderfolgenden CPIs mit Hilfe eines Bewegungsmodells und eines neuen Mehrzielverfolgungs-Algorithmus (Multi-Target Tracking) getrackt wird. Während des Trackings werden falsche Zielspuren und Geisterzielspuren automatisch erkannt und durch ein leistungsfähiges datenbankbasiertes Track-Management-System terminiert. Die Zielspuren im Entfernungs-Doppler-Bereich werden geokodiert bzw. auf den Boden projiziert, nachdem die Einfallswinkel (DOA) aller Track-Punkte geschätzt wurden. Es werden verschiedene Methoden zur Schätzung der DOA-Winkel für ausgedehnte Ziele vorgeschlagen und anhand von echten Radardaten, die Signale von echten Schiffen beinhalten, bewertet

Ocean Remote Sensing with Synthetic Aperture Radar

The ocean covers approximately 71% of the Earth’s surface, 90% of the biosphere and contains 97% of Earth’s water. The Synthetic Aperture Radar (SAR) can image the ocean surface in all weather conditions and day or night. SAR remote sensing on ocean and coastal monitoring has become a research hotspot in geoscience and remote sensing. This book—Progress in SAR Oceanography—provides an update of the current state of the science on ocean remote sensing with SAR. Overall, the book presents a variety of marine applications, such as, oceanic surface and internal waves, wind, bathymetry, oil spill, coastline and intertidal zone classification, ship and other man-made objects’ detection, as well as remotely sensed data assimilation. The book is aimed at a wide audience, ranging from graduate students, university teachers and working scientists to policy makers and managers. Efforts have been made to highlight general principles as well as the state-of-the-art technologies in the field of SAR Oceanography

Synthetic Aperture Radar (SAR) Meets Deep Learning

This reprint focuses on the application of the combination of synthetic aperture radars and depth learning technology. It aims to further promote the development of SAR image intelligent interpretation technology. A synthetic aperture radar (SAR) is an important active microwave imaging sensor, whose all-day and all-weather working capacity give it an important place in the remote sensing community. Since the United States launched the first SAR satellite, SAR has received much attention in the remote sensing community, e.g., in geological exploration, topographic mapping, disaster forecast, and traffic monitoring. It is valuable and meaningful, therefore, to study SAR-based remote sensing applications. In recent years, deep learning represented by convolution neural networks has promoted significant progress in the computer vision community, e.g., in face recognition, the driverless field and Internet of things (IoT). Deep learning can enable computational models with multiple processing layers to learn data representations with multiple-level abstractions. This can greatly improve the performance of various applications. This reprint provides a platform for researchers to handle the above significant challenges and present their innovative and cutting-edge research results when applying deep learning to SAR in various manuscript types, e.g., articles, letters, reviews and technical reports