Deep Learning and Remote Sensing for Detecting Tree Mortality Patterns

Vegetation spielt eine wichtige Rolle für Leben auf der Erde und bietet eine Vielzahl an Ökosystemdienstleistungen. Dabei ist insbesondere Wald wichtig, da dieser knapp ein Drittel der globalen Landoberfläche bedeckt und eine zentrale Rolle bei der Speicherung von Kohlenstoff und damit bei der Regulierung des Klimas hat. Der globale Klimawandel und die damit verbundene Verschiebung der klimatischen Standortbedingungen, die Zunahme von Wetterextremen (wie Dürre, Hitze, Spätfrost und Starkniederschlag), sowie die dadurch begünstigte Ausbreitung von Schädlingen und Krankheiten stellen den Wald vor große Herausforderungen. In der Konsequenz konnte Baumsterblichkeit in den vergangenen Jahren auf globaler Ebene vermehrt beobachtet werden. Um die zugrundeliegenden Ursachen des Baumsterbens besser zu verstehen, muss das Phänomen zunächst in seiner Art und Ausbreitung erfasst werden. Dabei hat sich die Fernerkundung als geeignetes Mittel erwiesen, großflächig Vegetation zu charakterisieren, und die Menge an Fernerkundungsdaten nimmt stetig zu. Insbesondere die Forschungssatelliten von ESA’s Sentinel Flotte bieten eine hohe zeitliche Auflösung, um die Dynamik der Vegetationsveränderung abzubilden. Die räumliche Auflösung dieser Satellitendaten (10 m) liegt oberhalb der Auflösungsgrenze von Einzelbäumen, was, neben weiteren Faktoren (z.B., Geopositionierung, Geometrie, Aufnahmezeitpunkt, Datenmenge, Perspektive), die Verknüpfung mit Bodenreferenzdaten erschwert. Der resultierende Mangel an Referenzdaten ist die Hauptlimitierung für satellitenbasierte Fernerkundungsmethoden bei der Erfassung von Totholz und unser Verständnis der Prozesse, die zu Baumsterben führen, ist dadurch unvollständig. Die Brücke von Bodenreferenzdaten zu Satellitendaten können Drohnen (uncrewed aerial vehicle, UAV) schlagen, da sie räumlich hochaufgelöste Bilddaten liefern, die gut zur Erkennung von Einzelbäumen geeignet sind. Bei der großen Menge und Vielfalt an Fernerkundungsdaten sowie den hohen räumlichen (Drohnendaten) und zeitlichen (Satellitendatenzeitreihen) Auflösungen, stoßen traditionelle Fernerkundungsmethoden an ihre Grenzen, und es bedarf angepasster Methoden. Deep Learning Verfahren haben sich dabei in anderen Fachdisziplinen bereits als geeignet herausgestellt, etwa convolutional neural networks (CNN) bei der Interpretation von Bilddaten (z. B. Klassifikation, Objekterkennung) oder long short-term memory (LSTM) Modelle für die Verarbeitung sequenzieller Informationen (z. B. Spracherkennung). Ziel der vorliegenden Arbeit ist es, die Voraussetzung und Eignung von Deep Learning Methoden bei der fernerkundlichen Erfassung von Totholz und von Vegetation im Allgemeinen wissenschaftlich zu untersuchen. Von zentraler Bedeutung ist dabei der Upscaling-Ansatz. Dazu wird zunächst stehendes Totholz aus drohnenbasierten Orthomosaiken mithilfe von CNNs automatisiert klassifiziert und segmentiert. Das erkannte Totholz dient anschließend als Referenzdaten für LSTMs, die auf Satellitendatenzeitreihen (Sentinel-1 und Sentinel-2) basieren, und die großflächige Erfassung von stehendem Totholz auf Landschaftsebene ermöglichen. In drei Teilstudien, mit geographischem Fokus auf Mischwäldern in Deutschland, wird untersucht: (1) inwiefern Deep Learning Methoden zur Auswertung sehr hochaufgelöster, drohnenbasierter Fernerkundungsdaten geeignet sind; (2) inwiefern Drohen und Deep Learning die Referenzdatenlücke zur Baumsterblichkeit schließen können; (3) inwiefern Deep Learning Methoden geeignet sind, Informationen aus Satellitendatenzeitreihen zu extrahieren; und (4) was die räumlich-zeitlichen Muster von Baumsterben in Deutschland und dessen Ursachen sind. In der ersten Studie wird das Potenzial von CNNs zur Auswertung von drohnenbasierten, hochaufgelösten (<2 cm), RGB-Orthomosaiken erörtert. Dazu werden zwölf Baumarten, stehendes Totholz und Waldboden in 51 Untersuchungsflächen á 1 ha in gemischten Waldbeständen kartiert. Mit einer U-net CNN-Architektur wird der Einfluss der Kachelgrößen, der räumlichen Auflösung und von zusätzlicher Baumhöheninformation getestet. Die Genauigkeit der CNNs lag bei F1-score = 0,73. Eine kleinere Kachelgröße berücksichtigt im Datensatz unterrepräsentierte Arten, erhöht jedoch die Inferenzzeit und produziert Randeffekte. Baumhöheninformation verbesserte die Modelle kaum, während eine hohe räumliche Auflösung essenziell war zur Erkennung von Baumarten. Der Fokus in der zweiten Studie liegt auf dem Upscaling von Totholz von der lokalen Ebene auf die Landschaftsebene. Dazu wird stehendes Totholz in 176 Drohnenszenen aus den Jahren 2017–2021 über 727 ha Wald automatisiert mittels CNN segmentiert. Die resultierenden Polygone gehen als Referenzdaten in LSTMs ein, die aus Sentinel Zeitreihen den Anteil an stehendem Totholz je Pixel für ganz Deutschland schätzen. Die CNN-basierte Segmentierung von stehendem Totholz war sehr genau (F1-score = 0,82, Median aller Flächen). Bei den LSTMs führten alle verfügbaren Kanäle von Sentinel-1 und Sentinel-2 und zwei Vegetationsindizes (kNDVI, NDWI) zu den besten Modellen (Pearson’s Korrelationskoeffizient = 0,66). Eine Validierung mit Orthophotos offenbarte eine räumlich und zeitlich akkurate Erfassung von stehendem Totholz. Die deutschlandweiten Karten an stehendem Totholz werden in der dritten Studie analysiert, um räumlich-zeitliche Muster von Baumsterblichkeit und dessen Ursachen zu erforschen. Über die Jahre 2018–2021 starben insgesamt 978 ± 529 kha an Wald, was etwa dem Doppelten des erfassten Totholz in der Waldzustandserhebung und anderen Fernerkundungsstudien entspricht. Bei den Regionen waren Harz (47,2 kha, 30,2% der bewaldeten Fläche) und Sauerland (74,2 kha, 17,1%) am stärksten betroffen, bei den Arten Picea abies und Pinus sylvestris. Mit einer random forest Regression und einer modellagnostischen Interpretationsmethode (accumulated local effects, ALE) werden die wichtigsten Umweltfaktoren sowie deren Auswirkungen identifiziert. Atmosphärischen Bedingungen (d. h., Spätfröste, klimatischer Wasserhaushalt, heiße Tage und Dampfdruckdefizit) waren die wichtigsten Prädiktoren für die Baumsterblichkeit. Kleinere und jüngere Bestände wiesen auf Landschaftsebene eine erhöhte Baumsterblichkeit auf, was die Ergebnisse von lokalen Studien kontrastiert. Monokulturen waren generell weniger von Mortalität betroffen, es sei denn, Schadinsekten waren vorhanden. In der vorliegenden Arbeit zeigte sich, dass bei der Auswertung der vielfältigen und großen Mengen (big data) an Fernerkundungsdaten Deep Learning eine Schlüsselrolle zukommt, da es, ohne spezielle Vorprozessierung der Eingangsdaten, die räumliche und zeitliche Information ideal auswerten kann. Durch die flexible Gestaltung der Deep Learning Architekturen können die verschiedenen Dimensionen (räumlich, zeitlich, spektral) und Typen (optisch, radar, lidar) von Fernerkundungsdaten integriert analysiert werden. Deep Learnign ermöglicht die detaillierte fernerkundliche Erfassung von Totholz auf Landschaftsebene und verbessert dadurch unser Verständnis der Muster und Prozesse von Baumsterblichkeit. Ein konzertierter Einsatz von Drohnen und CNNs ist in der Lage, die Referenzdatenlücke für satellitendatenbasierte Methoden auf Landschaftsebene zu schließen. Aufgrund des Datenhungers von Deep Learning, bedarf es einer gemeinschaftlichen Anstrengung der wissenschaftlichen Gemeinschaft Forschungsdaten zu teilen und zusammenzutragen, um die Herausforderungen des Klimawandels für die Vegetation auch auf globaler Ebene zu adressieren

The retrieval of plant functional traits from canopy spectra through RTM-inversions and statistical models are both critically affected by plant phenology

Plant functional traits play a key role in the assessment of ecosystem processes and properties. Optical remote sensing is ascribed a high potential in capturing those traits and their spatiotemporal patterns. In vegetation remote sensing, reflectance-based retrieval methods are either statistical (relying on empirical observations) or physically-based (based on inversions of a radiative transfer model, RTM). Both trait retrieval approaches remain poorly investigated regarding phenology. However, within the phenology of a plant, its leaf constituents, canopy structure, and the presence of phenology-related organs (i.e., flowers or inflorescence) vary considerably – and so does its reflectance. We, therefore, addressed the question of how plant phenology affects the predictive performance of both statistical and RTM-based methods and how this effect differs between traits. For a complete growing season, we weekly measured traits of 45 herbaceous plant species together with hyperspectral canopy reflectance (ASD FieldSpec III). Plants were grown in an experimental setup. The investigated traits comprised Leaf Area Index (LAI) and the leaf traits chlorophyll, anthocyanins, carotenoids, equivalent water thickness, and leaf mass per area. We compared the predictive performances of PLSR models and three variants of PROSAIL inversions based on (1) all observations and based on (2) a phenological subset where flowering plants were excluded and only those observations most suitable for modeling were kept. Our results show that both statistical and RTM-based trait retrievals were largely affected by phenology. For carotenoids for example, R$^{2}$ decreased from 0.58 at non-flowering canopies to 0.25 at 100% flowering canopies. Temporal trends were diverse. LAI and equivalent water thickness were best estimated earlier in the growing season; chlorophyll and carotenoids towards senescence. PLSR models showed generally higher bias than the PROSAIL-based retrieval approaches. Lookup-table inversion of PROSAIL in combination with a continuous wavelet transformation of reflectance showed highest accuracies. We found RTM-based retrieval not to be as accurate and transferable as previously indicated. Our results suggest that phenology is essential for accurate retrieval of plant functional traits and varies depending on the studied species and functional traits, respectively

Spatially autocorrelated training and validation samples inflate performance assessment of convolutional neural networks

Deep learning and particularly Convolutional Neural Networks (CNN) in concert with remote sensing are becoming standard analytical tools in the geosciences. A series of studies has presented the seemingly outstanding performance of CNN for predictive modelling. However, the predictive performance of such models is commonly estimated using random cross-validation, which does not account for spatial autocorrelation between training and validation data. Independent of the analytical method, such spatial dependence will inevitably inflate the estimated model performance. This problem is ignored in most CNN-related studies and suggests a flaw in their validation procedure. Here, we demonstrate how neglecting spatial autocorrelation during cross-validation leads to an optimistic model performance assessment, using the example of a tree species segmentation problem in multiple, spatially distributed drone image acquisitions. We evaluated CNN-based predictions with test data sampled from 1) randomly sampled hold-outs and 2) spatially blocked hold-outs. Assuming that a block cross-validation provides a realistic model performance, a validation with randomly sampled holdouts overestimated the model performance by up to 28%. Smaller training sample size increased this optimism. Spatial autocorrelation among observations was significantly higher within than between different remote sensing acquisitions. Thus, model performance should be tested with spatial cross-validation strategies and multiple independent remote sensing acquisitions. Otherwise, the estimated performance of any geospatial deep learning method is likely to be overestimated

Dynamic Power Management for Neuromorphic Many-Core Systems

This work presents a dynamic power management architecture for neuromorphic many core systems such as SpiNNaker. A fast dynamic voltage and frequency scaling (DVFS) technique is presented which allows the processing elements (PE) to change their supply voltage and clock frequency individually and autonomously within less than 100 ns. This is employed by the neuromorphic simulation software flow, which defines the performance level (PL) of the PE based on the actual workload within each simulation cycle. A test chip in 28 nm SLP CMOS technology has been implemented. It includes 4 PEs which can be scaled from 0.7 V to 1.0 V with frequencies from 125 MHz to 500 MHz at three distinct PLs. By measurement of three neuromorphic benchmarks it is shown that the total PE power consumption can be reduced by 75%, with 80% baseline power reduction and a 50% reduction of energy per neuron and synapse computation, all while maintaining temporary peak system performance to achieve biological real-time operation of the system. A numerical model of this power management model is derived which allows DVFS architecture exploration for neuromorphics. The proposed technique is to be used for the second generation SpiNNaker neuromorphic many core system

Treatment of optic neuritis with erythropoietin (TONE): a randomised, double-blind, placebo-controlled trial - study protocol

Introduction: Optic neuritis leads to degeneration of retinal ganglion cells whose axons form the optic nerve. The standard treatment is a methylprednisolone pulse therapy. This treatment slightly shortens the time of recovery but does not prevent neurodegeneration and persistent visual impairment. In a phase II trial performed in preparation of this study, we have shown that erythropoietin protects global retinal nerve fibre layer thickness (RNFLT-G) in acute optic neuritis; however, the preparatory trial was not powered to show effects on visual function. Methods and analysis: Treatment of Optic Neuritis with Erythropoietin (TONE) is a national, randomised, double-blind, placebo-controlled, multicentre trial with two parallel arms. The primary objective is to determine the efficacy of erythropoietin compared to placebo given add-on to methylprednisolone as assessed by measurements of RNFLT-G and low-contrast visual acuity in the affected eye 6 months after randomisation. Inclusion criteria are a first episode of optic neuritis with decreased visual acuity to ≤0.5 (decimal system) and an onset of symptoms within 10 days prior to inclusion. The most important exclusion criteria are history of optic neuritis or multiple sclerosis or any ocular disease (affected or non-affected eye), significant hyperopia, myopia or astigmatism, elevated blood pressure, thrombotic events or malignancy. After randomisation, patients either receive 33 000 international units human recombinant erythropoietin intravenously for 3 consecutive days or placebo (0.9% saline) administered intravenously. With an estimated power of 80%, the calculated sample size is 100 patients. The trial started in September 2014 with a planned recruitment period of 30 months. Ethics and dissemination: TONE has been approved by the Central Ethics Commission in Freiburg (194/14) and the German Federal Institute for Drugs and Medical Devices (61-3910-4039831). It complies with the Declaration of Helsinki, local laws and ICH-GCP. Trial registration number: NCT01962571

ICAR: endoscopic skull‐base surgery

n/