1,474 research outputs found

    Quantifying spatial uncertainties in structure from motion snow depth mapping with drones in an alpine environment

    Get PDF
    Due to the heterogeneous nature of alpine snow distribution, advances in hydrological monitoring and forecasting for water resource management require an increase in the frequency, spatial resolution and coverage of field observations. Such detailed snow information is also needed to foster advances in our understanding of how snowpack affects local ecology and geomorphology. Although recent use of structure-from-motion multi-view stereo (SFM-MVS) 3D reconstruction techniques combined with aerial image collection using drones has shown promising potential to provide higher spatial and temporal resolution snow depth data for snowpack monitoring, there still remain challenges to produce high-quality data with this approach. These challenges, which include differentiating observations from noise and overcoming biases in the elevation data, are inherent in digital elevation model (DEM) differencing. A key issue to address these challenges is our ability to quantify measurement uncertainties in the SFM-MVS snow depths which can vary in space and time. The purpose of this thesis was to develop data-driven approaches for spatially quantifying, characterizing and reducing uncertainties in SFM-MVS snow depth mapping in alpine areas. Overall, this thesis provides a general framework for performing a detailed analysis of the spatial pattern of SFM-MVS snow depth uncertainties, as well as provides an approach for correction of snow depth errors due to changes in the sub-snow topography occurring between survey acquisition dates. It also contributes to the growing support of SFM-MVS combined with imagery acquired from drones as a suitable surveying technique for local scale snow distribution monitoring in alpine areas

    Perception of Unstructured Environments for Autonomous Off-Road Vehicles

    Get PDF
    Autonome Fahrzeuge benötigen die Fähigkeit zur Perzeption als eine notwendige Voraussetzung für eine kontrollierbare und sichere Interaktion, um ihre Umgebung wahrzunehmen und zu verstehen. Perzeption für strukturierte Innen- und Außenumgebungen deckt wirtschaftlich lukrative Bereiche, wie den autonomen Personentransport oder die Industrierobotik ab, während die Perzeption unstrukturierter Umgebungen im Forschungsfeld der Umgebungswahrnehmung stark unterrepräsentiert ist. Die analysierten unstrukturierten Umgebungen stellen eine besondere Herausforderung dar, da die vorhandenen, natürlichen und gewachsenen Geometrien meist keine homogene Struktur aufweisen und ähnliche Texturen sowie schwer zu trennende Objekte dominieren. Dies erschwert die Erfassung dieser Umgebungen und deren Interpretation, sodass Perzeptionsmethoden speziell für diesen Anwendungsbereich konzipiert und optimiert werden müssen. In dieser Dissertation werden neuartige und optimierte Perzeptionsmethoden für unstrukturierte Umgebungen vorgeschlagen und in einer ganzheitlichen, dreistufigen Pipeline für autonome Geländefahrzeuge kombiniert: Low-Level-, Mid-Level- und High-Level-Perzeption. Die vorgeschlagenen klassischen Methoden und maschinellen Lernmethoden (ML) zur Perzeption bzw.~Wahrnehmung ergänzen sich gegenseitig. Darüber hinaus ermöglicht die Kombination von Perzeptions- und Validierungsmethoden für jede Ebene eine zuverlässige Wahrnehmung der möglicherweise unbekannten Umgebung, wobei lose und eng gekoppelte Validierungsmethoden kombiniert werden, um eine ausreichende, aber flexible Bewertung der vorgeschlagenen Perzeptionsmethoden zu gewährleisten. Alle Methoden wurden als einzelne Module innerhalb der in dieser Arbeit vorgeschlagenen Perzeptions- und Validierungspipeline entwickelt, und ihre flexible Kombination ermöglicht verschiedene Pipelinedesigns für eine Vielzahl von Geländefahrzeugen und Anwendungsfällen je nach Bedarf. Low-Level-Perzeption gewährleistet eine eng gekoppelte Konfidenzbewertung für rohe 2D- und 3D-Sensordaten, um Sensorausfälle zu erkennen und eine ausreichende Genauigkeit der Sensordaten zu gewährleisten. Darüber hinaus werden neuartige Kalibrierungs- und Registrierungsansätze für Multisensorsysteme in der Perzeption vorgestellt, welche lediglich die Struktur der Umgebung nutzen, um die erfassten Sensordaten zu registrieren: ein halbautomatischer Registrierungsansatz zur Registrierung mehrerer 3D~Light Detection and Ranging (LiDAR) Sensoren und ein vertrauensbasiertes Framework, welches verschiedene Registrierungsmethoden kombiniert und die Registrierung verschiedener Sensoren mit unterschiedlichen Messprinzipien ermöglicht. Dabei validiert die Kombination mehrerer Registrierungsmethoden die Registrierungsergebnisse in einer eng gekoppelten Weise. Mid-Level-Perzeption ermöglicht die 3D-Rekonstruktion unstrukturierter Umgebungen mit zwei Verfahren zur Schätzung der Disparität von Stereobildern: ein klassisches, korrelationsbasiertes Verfahren für Hyperspektralbilder, welches eine begrenzte Menge an Test- und Validierungsdaten erfordert, und ein zweites Verfahren, welches die Disparität aus Graustufenbildern mit neuronalen Faltungsnetzen (CNNs) schätzt. Neuartige Disparitätsfehlermetriken und eine Evaluierungs-Toolbox für die 3D-Rekonstruktion von Stereobildern ergänzen die vorgeschlagenen Methoden zur Disparitätsschätzung aus Stereobildern und ermöglichen deren lose gekoppelte Validierung. High-Level-Perzeption konzentriert sich auf die Interpretation von einzelnen 3D-Punktwolken zur Befahrbarkeitsanalyse, Objekterkennung und Hindernisvermeidung. Eine Domänentransferanalyse für State-of-the-art-Methoden zur semantischen 3D-Segmentierung liefert Empfehlungen für eine möglichst exakte Segmentierung in neuen Zieldomänen ohne eine Generierung neuer Trainingsdaten. Der vorgestellte Trainingsansatz für 3D-Segmentierungsverfahren mit CNNs kann die benötigte Menge an Trainingsdaten weiter reduzieren. Methoden zur Erklärbarkeit künstlicher Intelligenz vor und nach der Modellierung ermöglichen eine lose gekoppelte Validierung der vorgeschlagenen High-Level-Methoden mit Datensatzbewertung und modellunabhängigen Erklärungen für CNN-Vorhersagen. Altlastensanierung und Militärlogistik sind die beiden Hauptanwendungsfälle in unstrukturierten Umgebungen, welche in dieser Arbeit behandelt werden. Diese Anwendungsszenarien zeigen auch, wie die Lücke zwischen der Entwicklung einzelner Methoden und ihrer Integration in die Verarbeitungskette für autonome Geländefahrzeuge mit Lokalisierung, Kartierung, Planung und Steuerung geschlossen werden kann. Zusammenfassend lässt sich sagen, dass die vorgeschlagene Pipeline flexible Perzeptionslösungen für autonome Geländefahrzeuge bietet und die begleitende Validierung eine exakte und vertrauenswürdige Perzeption unstrukturierter Umgebungen gewährleistet

    Evaluation of Cartosat-1 Multi-Scale Digital Surface Modelling Over France

    Get PDF
    On 5 May 2005, the Indian Space Research Organization launched Cartosat-1, the eleventh satellite of its constellation, dedicated to the stereo viewing of the Earth's surface for terrain modeling and large-scale mapping, from the Satish Dhawan Space Centre (India). In early 2006, the Indian Space Research Organization started the Cartosat-1 Scientific Assessment Programme, jointly established with the International Society for Photogrammetry and Remote Sensing. Within this framework, this study evaluated the capabilities of digital surface modeling from Cartosat-1 stereo data for the French test sites of Mausanne les Alpilles and Salon de Provence. The investigation pointed out that for hilly territories it is possible to produce high-resolution digital surface models with a root mean square error less than 7.1 m and a linear error at 90% confidence level less than 9.5 m. The accuracy of the generated digital surface models also fulfilled the requirements of the French Reference 3D®, so Cartosat-1 data may be used to produce or update such kinds of products

    Structure-from-Motion-Derived Digital Surface Models from Historical Aerial Photographs: A New 3D Application for Coastal Dune Monitoring

    Get PDF
    Recent advances in structure-from-motion (SfM) techniques have proliferated the use of unmanned aerial vehicles (UAVs) in the monitoring of coastal landform changes, particularly when applied in the reconstruction of 3D surface models from historical aerial photographs. Here, we explore a number of depth map filtering and point cloud cleaning methods using the commercial software Agisoft Metashape Pro to determine the optimal methodology to build reliable digital surface models (DSMs). Twelve different aerial photography-derived DSMs are validated and compared against light detection and ranging (LiDAR)- and UAV-derived DSMs of a vegetated coastal dune system that has undergone several decades of coastline retreat. The different studied methods showed an average vertical error (root mean square error, RMSE) of approximately 1 m, with the best method resulting in an error value of 0.93 m. In our case, the best method resulted from the removal of confidence values in the range of 0–3 from the dense point cloud (DPC), with no filter applied to the depth maps. Differences among the methods examined were associated with the reconstruction of the dune slipface. The application of the modern SfM methodology to the analysis of historical aerial (vertical) photography is a novel (and reliable) new approach that can be used to better quantify coastal dune volume changes. DSMs derived from suitable historical aerial photographs, therefore, represent dependable sources of 3D data that can be used to better analyse long-term geomorphic changes in coastal dune areas that have undergone retreat

    Percepción basada en visión estereoscópica, planificación de trayectorias y estrategias de navegación para exploración robótica autónoma

    Get PDF
    Tesis inédita de la Universidad Complutense de Madrid, Facultad de Informática, Departamento de Ingeniería del Software e Inteligencia artificial, leída el 13-05-2015En esta tesis se trata el desarrollo de una estrategia de navegación autónoma basada en visión artificial para exploración robótica autónoma de superficies planetarias. Se han desarrollado una serie de subsistemas, módulos y software específicos para la investigación desarrollada en este trabajo, ya que la mayoría de las herramientas existentes para este dominio son propiedad de agencias espaciales nacionales, no accesibles a la comunidad científica. Se ha diseñado una arquitectura software modular multi-capa con varios niveles jerárquicos para albergar el conjunto de algoritmos que implementan la estrategia de navegación autónoma y garantizar la portabilidad del software, su reutilización e independencia del hardware. Se incluye también el diseño de un entorno de trabajo destinado a dar soporte al desarrollo de las estrategias de navegación. Éste se basa parcialmente en herramientas de código abierto al alcance de cualquier investigador o institución, con las necesarias adaptaciones y extensiones, e incluye capacidades de simulación 3D, modelos de vehículos robóticos, sensores, y entornos operacionales, emulando superficies planetarias como Marte, para el análisis y validación a nivel funcional de las estrategias de navegación desarrolladas. Este entorno también ofrece capacidades de depuración y monitorización.La presente tesis se compone de dos partes principales. En la primera se aborda el diseño y desarrollo de las capacidades de autonomía de alto nivel de un rover, centrándose en la navegación autónoma, con el soporte de las capacidades de simulación y monitorización del entorno de trabajo previo. Se han llevado a cabo un conjunto de experimentos de campo, con un robot y hardware real, detallándose resultados, tiempo de procesamiento de algoritmos, así como el comportamiento y rendimiento del sistema en general. Como resultado, se ha identificado al sistema de percepción como un componente crucial dentro de la estrategia de navegación y, por tanto, el foco principal de potenciales optimizaciones y mejoras del sistema. Como consecuencia, en la segunda parte de este trabajo, se afronta el problema de la correspondencia en imágenes estéreo y reconstrucción 3D de entornos naturales no estructurados. Se han analizado una serie de algoritmos de correspondencia, procesos de imagen y filtros. Generalmente se asume que las intensidades de puntos correspondientes en imágenes del mismo par estéreo es la misma. Sin embargo, se ha comprobado que esta suposición es a menudo falsa, a pesar de que ambas se adquieren con un sistema de visión compuesto de dos cámaras idénticas. En consecuencia, se propone un sistema experto para la corrección automática de intensidades en pares de imágenes estéreo y reconstrucción 3D del entorno basado en procesos de imagen no aplicados hasta ahora en el campo de la visión estéreo. Éstos son el filtrado homomórfico y la correspondencia de histogramas, que han sido diseñados para corregir intensidades coordinadamente, ajustando una imagen en función de la otra. Los resultados se han podido optimizar adicionalmente gracias al diseño de un proceso de agrupación basado en el principio de continuidad espacial para eliminar falsos positivos y correspondencias erróneas. Se han estudiado los efectos de la aplicación de dichos filtros, en etapas previas y posteriores al proceso de correspondencia, con eficiencia verificada favorablemente. Su aplicación ha permitido la obtención de un mayor número de correspondencias válidas en comparación con los resultados obtenidos sin la aplicación de los mismos, consiguiendo mejoras significativas en los mapas de disparidad y, por lo tanto, en los procesos globales de percepción y reconstrucción 3D.Depto. de Ingeniería de Software e Inteligencia Artificial (ISIA)Fac. de InformáticaTRUEunpu

    Landscape scale mapping of tundra vegetation structure at ultra-high resolution using UAVs and computer vision

    Get PDF
    Ilmastomuutoksella on voimakkain vaikutus suurten leveysasteiden ekosysteemeissä, jotka ovat sopeutuneet viileään ilmastoon. Jotta suurella mittakaavalla havaittuja muutoksia tundrakasvillisuudessa ja niiden takaisinkytkentävaikutuksia ilmastoon voidaan ymmärtää ja ennustaa luotettavammin, on syytä tarkastella mitä tapahtuu pienellä mittakaavalla; jopa yksittäisissä kasveissa. Lähivuosikymmenten aikana tapahtunut teknologinen kehitys on mahdollistanut kustannustehokkaiden, kevyiden ja pienikokoisten miehittämättömien ilma-alusten (UAV) yleistymisen. Erittäin korkearesoluutioisten aineistojen (pikselikoko <10cm) lisääntyessä ja tullessa yhä helpommin saataville, ympäristön tarkastelussa käytetyt kaukokartoitusmenetelmät altistuvat paradigmanmuutokselle, kun konenäköön ja -oppimiseen perustuvat algoritmit ja analyysit yleistyvät. Menetelmien käyttöönotto on houkuttelevaa, koska ne mahdollistavat joustavan ja pitkälle automatisoidun aineistonkeruun ja erittäin tarkkojen kaukokartoitustuotteiden tuottamisen vaikeasti tavoitettavilta alueilta, kuten tundralla. Luotettavien tulosten saaminen vaatii kuitenkin huolellista suunnittelua sekä prosessointialgoritmien ja -parametrien pitkäjänteistä testaamista. Tässä tutkimuksessa tarkasteltiin, kuinka tarkasti tavallisella digitaalikameralla kerätyistä ilmakuvista johdetuilla muuttujilla voidaan kartoittaa kasvillisuuden rakennetta maisemamittakaavalla. Kilpisjärvellä Pohjois-Fennoskandiassa kerättiin dronella kolmensadan hehtaarin kokoiselta alueelta yhteensä noin 10 000 ilmakuvasta koostuva aineisto. Lisäksi alueella määritettiin 1183 pisteestä dominantti putkilokasvillisuus, sekä kasvillisuuden korkeus. Ilmakuvat prosessoitiin tiheiksi kolmiulotteisiksi pistepilviksi konenäköön ja fotogrammetriaan perustuvalla SfM (Structure from Motion) menetelmällä. Pistepilvien pohjalta interpoloitiin maastomalli sekä kasvillisuuden korkeusmalli. Lisäksi tuotettiin koko alueen kattava ilmakuvamosaiikki. Näiden aineistojen pohjalta laskettiin muuttujia, joita käytettiin yhdessä maastoreferenssiaineiston kanssa kasvillisuuden objektipohjaisessa analyysissä (GEOBIA, Geographical Object-Based Image Analysis). Suodatetut maanpintapisteet vastasivat luotettavasti todellista maanpinnan korkeutta koko alueella ja tuotetut korkeusmallit korreloivat voimakkaasti maastoreferenssiaineiston kanssa. Maastomallin virhe oli suurin alueilla, joilla oli korkeaa kasvillisuutta. Valaistusolosuhteissa ja kasvillisuudessa tapahtuneet muutokset ilmakuvien keruun aikana aiheuttivat haasteita objektipohjaisen analyysin molemmissa vaiheissa: segmentoinnissa ja luokittelussa. mutta kokonaistarkkuus parani 0,27:stä 0,,54:n kun luokitteluun lisättiin topografiaa, kasvillisuuden korkeutta ja tekstuuria kuvaavia muuttujia ja kohdeluokkien lukumäärää vähennettiin. Konenäköön ja –oppimiseen perustuvat menetelmät pystyvät tuottamaan tärkeää tietoa tundran kasvillisuuden rakenteesta, erityisesti kasvillisuuden korkeudesta, maisemassa. Lisää tutkimusta kuitenkin tarvitaan parhaiden algoritmien ja parametrien määrittämiseksi tundraympäristössä, jossa ympäristöolosuhteet muuttuvat nopeasti ja kasvillisuus on heterogeenistä ja sekoittunutta, mikä aiheuttaa eroja ilmakuvien välillä ja lisää vaikeuksia analyyseissä.Climate change has the strongest impact on high-latitude ecosystems that are adapted to cool climates. In order to better understand and predict the changes in tundra vegetation observed on large scales as well as their feedbacks onto climate, it is necessary to look at what is happening at finer scales; even in individual plants. Technological developments over the past few decades have enabled the spread of cost-effective, light and small unmanned aerial vehicles (UAVs). As very high-resolution data (pixel size <10cm) becomes more and more available, the remote sensing methods used in environmental analysis become subject to a paradigm shift as algorithms and analyzes based on machine vision and learning turn out to be more common. Harnessing new methods is attractive because they allow flexible and highly automated data collection and the production of highly accurate remote sensing products from hard-to-reach areas such as the tundra. However, obtaining reliable results requires careful planning and testing of processing algorithms and parameters. This study looked at how accurately variables derived from aerial images collected with an off-the-shelf digital camera can map the vegetation structure on a landscape scale. In Kilpisjärvi, northern Fennoscandia, a total of ~ 10,000 aerial photographs were collected by drone covering an area of three hundred hectares. In addition, dominant vascular plants were identified from 1183 points in the area, as well as vegetation height. Aerial images were processed into dense three-dimensional point clouds by using SfM (Structure from Motion) method, which is based on computer vision and digital photogrammetry. From the point clouds terrain models and vegetation height models were interpolated. In addition, image mosaic covering the entire area was produced. Based on these data, predictive variables were calculated, which were used together with the terrain reference data in Geographical Object-Based Image Analysis (GEOBIA). The filtered ground points corresponded to observations throughout the region, and the produced elevation models strongly correlated with the ground reference data. The terrain model error was greatest in areas with tall vegetation. Changes in lighting conditions and vegetation during aerial image surveys posed challenges in both phases of object-based analysis: segmentation and classification. but overall accuracy improved from 0.27 to 0.54 when topography, vegetation height and texture variables were added to the classifier and the number of target classes was reduced. Methods based on machine vision and learning can produce important information about vegetation structure, vegetation height, in a landscape. However, more research is needed to determine the best algorithms and parameters in a tundra environment where environmental conditions change rapidly and vegetation is heterogeneous and mixed, causing differences between aerial images and difficulties in analyses

    3-D uncertainty-based topographic change detection with structure-from-motion photogrammetry: precision maps for ground control and directly georeferenced surveys

    Get PDF
    Structure-from-motion (SfM) photogrammetry is revolutionising the collection of detailed topographic data, but insight into geomorphological processes is currently restricted by our limited understanding of SfM survey uncertainties. Here, we present an approach that, for the first time, specifically accounts for the spatially variable precision inherent to photo-based surveys, and enables confidence-bounded quantification of 3-D topographic change. The method uses novel 3-D precision maps that describe the 3-D photogrammetric and georeferencing uncertainty, and determines change through an adapted state-of-the-art fully 3-D point-cloud comparison (M3C2; Lague, et al., 2013), which is particularly valuable for complex topography. We introduce this method by: (1) using simulated UAV surveys, processed in photogrammetric software, to illustrate the spatial variability of precision and the relative influences of photogrammetric (e.g. image network geometry, tie point quality) and georeferencing (e.g. control measurement) considerations; (2) we then present a new Monte Carlo procedure for deriving this information using standard SfM software and integrate it into confidence-bounded change detection; before (3) demonstrating geomorphological application in which we use benchmark TLS data for validation and then estimate sediment budgets through differencing annual SfM surveys of an eroding badland. We show how 3-D precision maps enable more probable erosion patterns to be identified than existing analyses, and how a similar overall survey precision could have been achieved with direct survey georeferencing for camera position data with precision half as good as the GCPs’. Where precision is limited by weak georeferencing (e.g. camera positions with multi-metre precision, such as from a consumer UAV), then overall survey precision can scale as n-½ of the control precision (n = number of images). Our method also provides variance-covariance information for all parameters. Thus, we now open the door for SfM practitioners to use the comprehensive analyses that have underpinned rigorous photogrammetric approaches over the last half-century

    Elevation and Deformation Extraction from TomoSAR

    Get PDF
    3D SAR tomography (TomoSAR) and 4D SAR differential tomography (Diff-TomoSAR) exploit multi-baseline SAR data stacks to provide an essential innovation of SAR Interferometry for many applications, sensing complex scenes with multiple scatterers mapped into the same SAR pixel cell. However, these are still influenced by DEM uncertainty, temporal decorrelation, orbital, tropospheric and ionospheric phase distortion and height blurring. In this thesis, these techniques are explored. As part of this exploration, the systematic procedures for DEM generation, DEM quality assessment, DEM quality improvement and DEM applications are first studied. Besides, this thesis focuses on the whole cycle of systematic methods for 3D & 4D TomoSAR imaging for height and deformation retrieval, from the problem formation phase, through the development of methods to testing on real SAR data. After DEM generation introduction from spaceborne bistatic InSAR (TanDEM-X) and airborne photogrammetry (Bluesky), a new DEM co-registration method with line feature validation (river network line, ridgeline, valley line, crater boundary feature and so on) is developed and demonstrated to assist the study of a wide area DEM data quality. This DEM co-registration method aligns two DEMs irrespective of the linear distortion model, which improves the quality of DEM vertical comparison accuracy significantly and is suitable and helpful for DEM quality assessment. A systematic TomoSAR algorithm and method have been established, tested, analysed and demonstrated for various applications (urban buildings, bridges, dams) to achieve better 3D & 4D tomographic SAR imaging results. These include applying Cosmo-Skymed X band single-polarisation data over the Zipingpu dam, Dujiangyan, Sichuan, China, to map topography; and using ALOS L band data in the San Francisco Bay region to map urban building and bridge. A new ionospheric correction method based on the tile method employing IGS TEC data, a split-spectrum and an ionospheric model via least squares are developed to correct ionospheric distortion to improve the accuracy of 3D & 4D tomographic SAR imaging. Meanwhile, a pixel by pixel orbit baseline estimation method is developed to address the research gaps of baseline estimation for 3D & 4D spaceborne SAR tomography imaging. Moreover, a SAR tomography imaging algorithm and a differential tomography four-dimensional SAR imaging algorithm based on compressive sensing, SAR interferometry phase (InSAR) calibration reference to DEM with DEM error correction, a new phase error calibration and compensation algorithm, based on PS, SVD, PGA, weighted least squares and minimum entropy, are developed to obtain accurate 3D & 4D tomographic SAR imaging results. The new baseline estimation method and consequent TomoSAR processing results showed that an accurate baseline estimation is essential to build up the TomoSAR model. After baseline estimation, phase calibration experiments (via FFT and Capon method) indicate that a phase calibration step is indispensable for TomoSAR imaging, which eventually influences the inversion results. A super-resolution reconstruction CS based study demonstrates X band data with the CS method does not fit for forest reconstruction but works for reconstruction of large civil engineering structures such as dams and urban buildings. Meanwhile, the L band data with FFT, Capon and the CS method are shown to work for the reconstruction of large manmade structures (such as bridges) and urban buildings
    corecore