Assessment of handheld mobile terrestrial laser scanning for estimating tree parameters

Sustainable forest management heavily relies on the accurate estimation of tree parameters. Among others, the diameter at breast height (DBH) is important for extracting the volume and mass of an individual tree. For systematically estimating the volume of entire plots, airborne laser scanning (ALS) data are used. The estimation model is frequently calibrated using manual DBH measurements or static terrestrial laser scans (STLS) of sample plots. Although reliable, this method is time-consuming, which greatly hampers its use. Here, a handheld mobile terrestrial laser scanning (HMTLS) was demonstrated to be a useful alternative technique to precisely and efficiently calculate DBH. Different data acquisition techniques were applied at a sample plot, then the resulting parameters were comparatively analysed. The calculated DBH values were comparable to the manual measurements for HMTLS, STLS, and ALS data sets. Given the comparability of the extracted parameters, with a reduced point density of HTMLS compared to STLS data, and the reasonable increase of performance, with a reduction of acquisition time with a factor of 5 compared to conventional STLS techniques and a factor of 3 compared to manual measurements, HMTLS is considered a useful alternative technique

Image Simulation in Remote Sensing

Remote sensing is being actively researched in the fields of environment, military and urban planning through technologies such as monitoring of natural climate phenomena on the earth, land cover classification, and object detection. Recently, satellites equipped with observation cameras of various resolutions were launched, and remote sensing images are acquired by various observation methods including cluster satellites. However, the atmospheric and environmental conditions present in the observed scene degrade the quality of images or interrupt the capture of the Earth's surface information. One method to overcome this is by generating synthetic images through image simulation. Synthetic images can be generated by using statistical or knowledge-based models or by using spectral and optic-based models to create a simulated image in place of the unobtained image at a required time. Various proposed methodologies will provide economical utility in the generation of image learning materials and time series data through image simulation. The 6 published articles cover various topics and applications central to Remote sensing image simulation. Although submission to this Special Issue is now closed, the need for further in-depth research and development related to image simulation of High-spatial and spectral resolution, sensor fusion and colorization remains.I would like to take this opportunity to express my most profound appreciation to the MDPI Book staff, the editorial team of Applied Sciences journal, especially Ms. Nimo Lang, the assistant editor of this Special Issue, talented authors, and professional reviewers

Multi-environment Georeferencing of RGB-D Panoramic Images from Portable Mobile Mapping – a Perspective for Infrastructure Management

Hochaufgelöste, genau georeferenzierte RGB-D-Bilder sind die Grundlage für 3D-Bildräume bzw. 3D Street-View-Webdienste, welche bereits kommerziell für das Infrastrukturmanagement eingesetzt werden. MMS ermöglichen eine schnelle und effiziente Datenerfassung von Infrastrukturen. Die meisten im Aussenraum eingesetzten MMS beruhen auf direkter Georeferenzierung. Diese ermöglicht in offenen Bereichen absolute Genauigkeiten im Zentimeterbereich. Bei GNSS-Abschattung fällt die Genauigkeit der direkten Georeferenzierung jedoch schnell in den Dezimeter- oder sogar in den Meterbereich. In Innenräumen eingesetzte MMS basieren hingegen meist auf SLAM. Die meisten SLAM-Algorithmen wurden jedoch für niedrige Latenzzeiten und für Echtzeitleistung optimiert und nehmen daher Abstriche bei der Genauigkeit, der Kartenqualität und der maximalen Ausdehnung in Kauf. Das Ziel dieser Arbeit ist, hochaufgelöste RGB-D-Bilder in verschiedenen Umgebungen zu erfassen und diese genau und zuverlässig zu georeferenzieren. Für die Datenerfassung wurde ein leistungsstarkes, bildfokussiertes und rucksackgetragenes MMS entwickelt. Dieses besteht aus einer Mehrkopf-Panoramakamera, zwei Multi-Beam LiDAR-Scannern und einer GNSS- und IMU-kombinierten Navigationseinheit der taktischen Leistungsklasse. Alle Sensoren sind präzise synchronisiert und ermöglichen Zugriff auf die Rohdaten. Das Gesamtsystem wurde in Testfeldern mit bündelblockbasierten sowie merkmalsbasierten Methoden kalibriert, was eine Voraussetzung für die Integration kinematischer Sensordaten darstellt. Für eine genaue und zuverlässige Georeferenzierung in verschiedenen Umgebungen wurde ein mehrstufiger Georeferenzierungsansatz entwickelt, welcher verschiedene Sensordaten und Georeferenzierungsmethoden vereint. Direkte und LiDAR SLAM-basierte Georeferenzierung liefern Initialposen für die nachträgliche bildbasierte Georeferenzierung mittels erweiterter SfM-Pipeline. Die bildbasierte Georeferenzierung führt zu einer präzisen aber spärlichen Trajektorie, welche sich für die Georeferenzierung von Bildern eignet. Um eine dichte Trajektorie zu erhalten, die sich auch für die Georeferenzierung von LiDAR-Daten eignet, wurde die direkte Georeferenzierung mit Posen der bildbasierten Georeferenzierung gestützt. Umfassende Leistungsuntersuchungen in drei weiträumigen anspruchsvollen Testgebieten zeigen die Möglichkeiten und Grenzen unseres Georeferenzierungsansatzes. Die drei Testgebiete im Stadtzentrum, im Wald und im Gebäude repräsentieren reale Bedingungen mit eingeschränktem GNSS-Empfang, schlechter Beleuchtung, sich bewegenden Objekten und sich wiederholenden geometrischen Mustern. Die bildbasierte Georeferenzierung erzielte die besten Genauigkeiten, wobei die mittlere Präzision im Bereich von 5 mm bis 7 mm lag. Die absolute Genauigkeit betrug 85 mm bis 131 mm, was einer Verbesserung um Faktor 2 bis 7 gegenüber der direkten und LiDAR SLAM-basierten Georeferenzierung entspricht. Die direkte Georeferenzierung mit CUPT-Stützung von Bildposen der bildbasierten Georeferenzierung, führte zu einer leicht verschlechterten mittleren Präzision im Bereich von 13 mm bis 16 mm, wobei sich die mittlere absolute Genauigkeit nicht signifikant von der bildbasierten Georeferenzierung unterschied. Die in herausfordernden Umgebungen erzielten Genauigkeiten bestätigen frühere Untersuchungen unter optimalen Bedingungen und liegen in derselben Grössenordnung wie die Resultate anderer Forschungsgruppen. Sie können für die Erstellung von Street-View-Services in herausfordernden Umgebungen für das Infrastrukturmanagement verwendet werden. Genau und zuverlässig georeferenzierte RGB-D-Bilder haben ein grosses Potenzial für zukünftige visuelle Lokalisierungs- und AR-Anwendungen

Long and Lose-Range Terrestrial Photogrammetry for Rocky Landscape Deformation Monitoring

[EN] The paper describes the processing and validation of a series of terrestrial photogrammetric surveys carried out from 2017 to 2020 for monitoring the stability of a cliff in Cortes de Pallás (Spain). The complexity of the target area, which has a strong orography, a water reservoir, and many obstacles such as electrical power lines or vegetation, makes difficult the use of any measurement technique. After considering solutions such as long-range laser scanning or close-range mobile mapping, which were unsatisfactorily tested and therefore rejected for future campaigns, the use of combined short and long terrestrial photogrammetry proved an efficient method for quick and massive monitoring of the entire cliff with an overall accuracy of several centimetres. All the steps undertaken for the centimetre level accuracy deliverables, which include camera calibration, bundle-adjustment, dense point cloud generation, 3D modelling, and validation of the 3D models by using external geodetic information, will be presented. For the sake of conciseness, only results for the last two campaigns (5th and 6th), as well as the comparison between the last (6th) and the first (1st) campaigns, will be discussed. In addition, photogrammetric results will be validated by analyzing the metrics on four target-based micro-geodetic check points, located on key critical areas of the cliff selected by civil and geotechnical engineers from the Department of Roads and Infrastructures.Cabrelles, M.; Lerma, J.; García-Asenjo, L.; Garrigues, P.; Martínez, L. (2023). Long and Lose-Range Terrestrial Photogrammetry for Rocky Landscape Deformation Monitoring. En 5th Joint International Symposium on Deformation Monitoring (JISDM 2022). Editorial Universitat Politècnica de València. 485-491. https://doi.org/10.4995/JISDM2022.2022.1393348549

Computational virtual measurement for trees

National forest inventory (NFI) is a systematic sampling method to collect forest information, including tree parameters, site conditions, and auxiliary data. The sample plot measurement is the key work in NFI. However, compared to the techniques 100 years ago, measuring methods and data-processing (modeling) approaches for NFI sample plots have been improved to a minor extent. The limit was that the newly-developed methods introduced additional validation workflows and would increase the workload in NFI. That was due to that these methods were usually developed based on species-specific and site-specific strategies. In order to overcome these obstacles, the integration of the novel measuring instruments is in urgent need, e.g., light detection and ranging (LiDAR) and the corresponding data processing methods with NFI. Given these situations, this thesis proposed a novel computational virtual measurement (CVM) method for the determination of tree parameters without the need for validation. Primarily, CVM is a physical simulation method and works as a virtual measuring instrument. CVM measures raw data, e.g., LiDAR point clouds and tree models, by the simulation of the physical mechanism of measuring instruments and natural phenomena. Based on the theory of CVM, this thesis is a systematic description of how to develop virtual measuring instruments. The first work is to introduce the CVM theory. CVM is a conceptual and general methodology, which is different from a specific measurement of tree parameters. Then, the feasibility of CVM was tested using a conceptual implementation, i.e., virtual ruler. The development of virtual ruler demonstrated the two key differences between CVM and conventional modeling methods. Firstly, the research focus of CVM is to build an appropriate physical scenario instead of finding a mathematical relationship between modeling results and true values. Secondly, the CVM outputs can approach true values, whereas the modeling results could not. Consequently, in a virtual space, tree parameters are determined by a measuring process without mathematical predictions. Accordingly, the result is free of validation and can be regarded as true values, at least in virtual spaces. With the knowledge from the virtual ruler development, two exceptional implementations are further developed. They are the virtual water displacement (VWD) method and sunlight analysis method. Both of them employ the same CVM workflow, which is firstly measured in reality and secondly measured in virtual space. The VWD aims to virtually measure the point clouds using the simulation of water displacement methods in reality. There are two stages in this method. The first stage is to apply the simulation of water displacement using massive virtual water molecules (VWMs). Some empirical regressions have to be employed in this stage, due to the limitation of computer performance. In the second stage, a single (or few) VWM (or VWMs) is developed to remove those empirical processes in VWD. Finally, VWD can function as a fully automatic method to measure point clouds.The sunlight analysis method aims to virtually measure the tree models using the simulation of solar illumination during daylight. There are also two stages in this method. The first stage is to develop sunlight analysis for a single tree. The second stage is to analyze the interference from neighboring trees. The results include default tree attributes, which can be collected in the future NFI. The successful developments of CVM, along with implementations of VWD and sunlight analysis methods, prove the initial assumptions in this thesis. It is the conversion of mathematical processing of data into virtual measurements. Accordingly, this is a different philosophy, i.e., the role of data is extended to the digital representative of trees. It opens an avenue of data processing using a more natural approach and is expected to be employed in the near future as a standard measuring instrument, such as a diameter tape, in NFI.Die Nationale Waldinventur (NFI) ist eine systematische Stichprobenmethode zur Erfassung von Waldinformationen, einschließlich Baumparameter, Standortbedingungen und Hilfsdaten. Die Messung von Stichprobenparzellen ist die Schlüsselarbeit der NFI. Im Vergleich zu den Techniken vor 100 Jahren wurden die Messmethoden und Datenverarbeitungsansätze (Modellierung) für NFI-Stichprobenparzellen jedoch in geringem Umfang verbessert. Die Grenze lag darin, dass die neu entwickelten Methoden zusätzliche Validierungsabläufe einführten und den Arbeitsaufwand in der NFI erhöhen würden. Dies war darauf zurückzuführen, dass diese Methoden in der Regel auf der Grundlage art- und standortspezifischer Strategien entwickelt wurden. Um diese Hindernisse zu überwinden, ist die Integration der neuartigen Messinstrumente dringend erforderlich, z.B. Light Detection and Ranging (LiDAR) und die entsprechenden Datenverarbeitungsmethoden mit NFI. Vor diesem Hintergrund wird in dieser Arbeit ein neuartiges rechnergestütztes virtuelles Messverfahren (CVM) zur Bestimmung von Baumparametern ohne Validierungsbedarf vorgeschlagen. CVM ist in erster Linie eine physikalische Simulationsmethode und arbeitet als virtuelles Messinstrument. CVM misst Rohdaten, z.B. LiDAR-Punktwolken und Baummodelle, durch die Simulation des physikalischen Mechanismus von Messinstrumenten und Naturphänomenen. Basierend auf der Theorie des CVM ist diese Arbeit eine systematische Beschreibung, wie virtuelle Messinstrumente entwickelt werden können. Die erste Arbeit dient der Einführung in die Theorie des CVM. CVM ist eine konzeptuelle und allgemeine Methodik, die sich von einer spezifischen Messung von Baumparametern unterscheidet. Anschliessend wird die Durchführbarkeit des CVM anhand einer konzeptuellen Implementierung, d.h. eines virtuellen Lineals, getestet. Die Entwicklung des virtuellen Lineals zeigte die beiden Hauptunterschiede zwischen CVM und konventionellen Modellierungsmethoden auf. Erstens besteht der Forschungsschwerpunkt von CVM darin, ein geeignetes physisches Szenario zu erstellen, anstatt eine mathematische Beziehung zwischen Modellierungsergebnissen und wahren Werten zu finden. Zweitens können sich die Ergebnisse des CVM den wahren Werten annähern, während die Modellierungsergebnisse dies nicht konnten. Folglich werden in einem virtuellen Raum die Baumparameter durch einen Messprozess ohne mathematische Vorhersagen bestimmt. Dementsprechend ist das Ergebnis frei von Validierung und kann, zumindest in virtuellen Räumen, als wahre Werte betrachtet werden. Mit dem Wissen aus der Entwicklung des virtuellen Lineals werden zwei aussergewöhnliche Implementierungen weiterentwickelt. Es handelt sich um die Methode der virtuellen Wasserverdrängung (VWD) und die Methode der Sonnenlichtanalyse. Beide verwenden den gleichen CVM-Workflow, der erstens in der Realität und zweitens im virtuellen Raum gemessen wird. Das VWD zielt darauf ab, die Punktwolken virtuell zu messen, wobei die Simulation von Wasserverdrängungsmethoden in der Realität verwendet wird. Diese Methode besteht aus zwei Stufen. Die erste Stufe besteht in der Anwendung der Simulation der Wasserverdrängung unter Verwendung massiver virtueller Wassermoleküle (VWMs). Aufgrund der begrenzten Computerleistung müssen in dieser Phase einige empirische Regressionen angewandt werden. In der zweiten Stufe wird ein einzelnes (oder wenige) VWM (oder VWMs) entwickelt, um diese empirischen Prozesse im VWD zu entfernen. Schließlich kann VWD als vollautomatische Methode zur Messung von Punktwolken fungieren. Die Methode der Sonnenlichtanalyse zielt darauf ab, die Baummodelle virtuell zu messen, indem die Simulation der Sonneneinstrahlung bei Tageslicht verwendet wird. Auch bei dieser Methode gibt es zwei Stufen. In der ersten Stufe wird die Sonnenlichtanalyse für einen einzelnen Baum entwickelt. Die zweite Stufe ist die Analyse der Interferenz von benachbarten Bäumen. Die Ergebnisse umfassen Standard-Baumattribute, die in der zukünftigen NFI gesammelt werden können. Die erfolgreichen Entwicklungen von CVM, zusammen mit Implementierungen von VWD- und Sonnenlichtanalysemethoden, beweisen die anfänglichen Annahmen in dieser Arbeit. Es handelt sich um die Umsetzung der mathematischen Verarbeitung von Daten in virtuelle Messungen. Dementsprechend handelt es sich um eine andere Philosophie, d.h. die Rolle der Daten wird auf die digitale Darstellung von Bäumen ausgedehnt. Sie eröffnet einen Weg der Datenverarbeitung unter Verwendung eines natürlicheren Ansatzes und wird voraussichtlich in naher Zukunft als Standard-Messinstrument, wie z.B. ein Durchmesser-Band, in der NFI eingesetzt werden

An Approach Of Automatic Reconstruction Of Building Models For Virtual Cities From Open Resources

Along with the ever-increasing popularity of virtual reality technology in recent years, 3D city models have been used in different applications, such as urban planning, disaster management, tourism, entertainment, and video games. Currently, those models are mainly reconstructed from access-restricted data sources such as LiDAR point clouds, airborne images, satellite images, and UAV (uncrewed air vehicle) images with a focus on structural illustration of buildings’ contours and layouts. To help make 3D models closer to their real-life counterparts, this thesis research proposes a new approach for the automatic reconstruction of building models from open resources. In this approach, first, building shapes are reconstructed by using the structural and geographic information retrievable from the open repository of OpenStreetMap (OSM). Later, images available from the street view of Google maps are used to extract information of the exterior appearance of buildings for texture mapping onto their boundaries. The constructed 3D environment is used as prior knowledge for the navigation purposes in a self-driving car. The static objects from the 3D model are compared with the real-time images of static objects to reduce the computation time by eliminating them from the detection proces

Improvement of the Geospatial Accuracy of Mobile Terrestrial LiDAR Data

Many applications, such as topographic surveying for transportation engineering, have specific high accuracy requirements which MTL may be able to achieve under specific circumstances. Since high rate, immersive (360 FOV), MTL is a relatively new device for the collection and extraction of survey data; the understanding and correction of errors within such systems is under researched. Therefore, the goal of the work presented here is to quantify the geospatial accuracy of MTL data and improve the quality of MTL data products. Quantification of the geospatial accuracy of MTL systems was accomplished through the use of residual analysis, error propagation and conditional variance analysis. Real data from two MTL systems was analyzed using these methods and it was found that the actual errors exceeded the manufacturers estimates of system accuracy by over 10mm. Conditional variance analysis on these systems has shown that the contribution by the interactions among the measured parameters to the variances of the points in MTL point clouds is insignificant. The sizes of the variances for the measurements used to produce a point are the primary sources of error in the output point cloud. Improvement of the geospatial accuracy of MTL data products was accomplished by developing methods for the simultaneous multi-sensor calibration of the systems boresight angles and lever arm offsets, zero error calibration, temperature correction, and both spatial and temporal outlier detection. Evaluation of the effectiveness of these techniques was accomplished through the use of two test cases, employing real MTL data. Test case 1 showed that the residuals between a control field and the MTL point cloud were reduced by 4.4cm for points located on both horizontal and vertical target surfaces. Similarly, test case 2 showed a reduction in the residuals between control points and MTL data of 2~3cm on horizontal surfaces and 1~2cm on vertical surfaces. The most accurate point cloud produced through the use of these calibration and filtering techniques occurred in test case 1 (27mm 26mm). This result is still not accurate enough for certain high accuracy applications such as topographic surveying for transportation engineering (20mm 10mm)