INVESTIGATION ON THE USE OF NeRF FOR HERITAGE 3D DENSE RECONSTRUCTION FOR INTERIOR SPACES

The concept of Neural Radiance Fields (NeRF) emerged in recent years as a method to create novel synthetic 3D viewpoints from a set of trained images. While it has several overlaps with conventional photogrammetry and especially multi-view stereo (MVS), its main point of interest is the capability to rapidly recreate objects in 3D. In this paper, we investigate the quality of point clouds generated by state-of-the-art NeRF in the context of interior spaces and compare them to four conventional MVS algorithms, of which two are commercial (Agisoft Metashape and Pix4D) and the other two open source (Patch-Match and Semi-Global Matching). Three synthetic datasets of interior scenes were created from laser scanning data with different characteristics and architectural elements. Results show that NeRF point clouds could achieve satisfactory results geometrically speaking, with an average standard deviation of 1.7 cm in interior cases where the scene dimension is roughly 25–50 m3 in volume. However, the level of noise on the point cloud, which was considered as out of tolerance, ranges between 17–42%, meaning that the level of detail and finesse is most likely insufficient for sophisticated heritage documentation purposes, even though from a visualisation point of view the results were better. However, NeRF did show the capability to reconstruct texture less and reflective surfaces where MVS failed

THE EVALUATION OF STRUCTURE-FROM-MOTION WORKFLOW WITH THE TLS SYNTHETIC IMAGES SIMULATOR – THE CULTURAL HERITAGE APPROACH

Modern measurement technologies such as Terrestrial Laser Scanning or combined Structure-from-Motion with Multi-View Stereo are commonly utilised to monitor, preserve and document cultural heritage objects and sites. For this reason, it is essential to know the capabilities and limitations of the sensor used, the data processing methods, and in particular, the orientation of the images. However, these algorithms tackle different errors and have different effects on the final accuracy of images orientation. For this reason, it is essential to know how the algorithms implemented in the Structure-from-Motion approach work. Due to the impossibility of obtaining this information for commercial solutions, it is necessary to use synthetic data to assess the quality of the SfM process. Therefore, this article aims to present the method of evaluation of SfM approach implemented in commercial Agisoft Metashape and COLLMAP open-source software based on the synthetic data generated from TLS point clouds of three different Cultural Heritage sites. In addition, obtained results were compared with the author's SfM approach based on BRISK, FAST, CenSurE, SIFT and SURF (and its Affine detectors equivalents) detector implemented (Fig. 1) and Learned-based -feature extraction approach SuperGlue and LoFTR. The second aim of this research is to propose an application to automatically generate scalable benchmark based on point clouds or 3D models of cultural heritage objects

The Evaluation of Structure-From-Motion Workflow With the Tls Synthetic Images Simulator – The Cultural Heritage Approach

Modern measurement technologies such as Terrestrial Laser Scanning or combined Structure-from-Motion with Multi-View Stereo are commonly utilised to monitor, preserve and document cultural heritage objects and sites. For this reason, it is essential to know the capabilities and limitations of the sensor used, the data processing methods, and in particular, the orientation of the images. However, these algorithms tackle different errors and have different effects on the final accuracy of images orientation. For this reason, it is essential to know how the algorithms implemented in the Structure-from-Motion approach work. Due to the impossibility of obtaining this information for commercial solutions, it is necessary to use synthetic data to assess the quality of the SfM process. Therefore, this article aims to present the method of evaluation of SfM approach implemented in commercial Agisoft Metashape and COLLMAP open-source software based on the synthetic data generated from TLS point clouds of three different Cultural Heritage sites. In addition, obtained results were compared with the author's SfM approach based on BRISK, FAST, CenSurE, SIFT and SURF (and its Affine detectors equivalents) detector implemented (Fig. 1) and Learned-based -feature extraction approach SuperGlue and LoFTR. The second aim of this research is to propose an application to automatically generate scalable benchmark based on point clouds or 3D models of cultural heritage objects

Estimation of accuracy of SRTM-X terrain model on Polish area

Celem niniejszego referatu jest ocena dokładności Numerycznego Modelu Pokrycia Terenu dla obszaru Polski pozyskanego z Radarowej Misji Topograficznej Promu Kosmicznego SRTM (Shuttle Radar Topography Mission) w paśmie spektralnym X. Ocenę dokładności przeprowadzono na podstawie precyzyjnych danych referencyjnych, którymi były profile terenowe pomierzone techniką GPS. Zakres badań obejmował swym zasięgiem obszary testowe, reprezentujące różne formy ukształtowania terenu, położone w granicach administracyjnych 14 województw. Obszary testowe położone były na obszarach odkrytych i nie obejmowały terenów zurbanizowanych oraz kompleksów leśnych. Miarą oceny dokładności modelu SRTM były błędy średnie liczone na podstawie różnic wysokości pomiędzy punktami profili terenowych oraz odpowiadającymi im wyinterpolowanymi punktami modelu SRTM. Niezbędne analizy przeprowadzono w środowisku oprogramowania SCOP++ firmy Inpho. Stwierdzono, że dokładność bezwzględna modelu SRTM na obszarze Polski wynosi mH = 3.6 m dla terenów równinnych oraz mH = 4.1 m dla terenów falistych i pagórkowatych. Stwierdzono również, że dokładność interferometrycznego pomiaru wysokości punktów węzłowych siatki modelu SRTM degradowana jest w procesie interpolacji wysokości punktów poza węzłowych, zaś stopień tej degradacji jest funkcją deniwelacji rzeźby terenu oraz gęstości oczka siatki. Ocena statystyczna dokładności pomiaru SRTM wykazała, że pomiary interferometryczne obarczone są poza błędami grubymi błędem systematycznym. Po wyeliminowaniu tych błędów okazało się, że dokładność bezwzględna modelu SRTM na obszarze Polski kształtuje się na poziomie mH = 1.8 m dla terenów falistych i pagórkowatych oraz mH = 1.0 m dla terenów równinnych.The mission of Endeavour spacecraft well known as SRTM (Shuttle Radar Topography Mission) eleven years ended ago. The obtainment the radar data set by only just eleven days was the aim of mission. Based on this data the DEM for over 80 percent of the surface of Earth has been generated. The SRTM for all potential users is available free. For Polish area this data are accessible on level DTED-2 in dt2 format with resolution 30 by 30 meters. Acquisition of DEM with accuracy CE (90) better then 16 meters was the obtainment of the program of the SRTM mission. The accuracy of the SRTM terrain model on Eurasia area after calibration of the measuring system was CE (90) = 6.2 m. In order to determine the absolute accuracy of SRMT model on Polish area the research work has been performed on the basis of reference terrain profiles measured by GPS technique. The flat and hilly terrains were examined in administrative borders of fourteen provinces. It was not reference data for mountainous terrains. For the analysis of accuracy of the SRTM model terrain have been measured. The accuracy of SRTM model presented by RMSE was computed on the basic of the height differences between profiles and models homolog points. The analyses have been done in SCOP++ Inpho software. It was affirmed that absolute accuracy of SRTM-X elevation model on Polish area is 3.6 m for flat and 4.1 m for hilly region. It was affirmed too, that this accuracy is depend on finally grid interpolation process. Results of the process are function of terrain slopes and density of grid points. Statistic assessment of accuracy of SRTM model showed that source SRTM-X data includes gross errors as well as ingredient systematic linear error component (bias). This component is the result of insufficient calibration of the measuring system (interferometer) relation to scanned ground. After gross errors and bias elimination the absolute accuracy of SRTM-X model on Polish area increases to 1.0 m for flat and 1.8 m for hilly area

Estimation of the accuracy of the triangulation of ADS40 imagery

W odróżnieniu od lotniczych kamer kadrowych kamera ADS40 wyposażona jest w trzylinijkowy skaner, dlatego aerotriangulacja obrazów pozyskanych tą kamerą musi przebiegać w oparciu o inne działania metodyczne, niż te, które stosuje się w przypadku aerotriangulacji obrazów kadrowych. Badania przeprowadzono w oparciu o blok zdjęć składający się z trzech pasów zobrazowań pozyskanych z wysokości 2000 m, z rozdzielczością geometryczną 20 cm. Proces aerotriangulacji wykonany został przy pomocy oprogramowania ORIMA (Leica Geosystems), które posiada specjalny moduł wyrównawczy przeznaczony dla zobrazowań ADS40. Analizę dokładności przeprowadzono na bloku zdjęć wykonanych w różnych kanałach spektralnych (panchromatyczny, czerwony, zielony). W badaniach została wykorzystana różna liczba fotopunktów. Ocena dokładności orientacji poszczególnych bloków bazowała na parametrach statystycznych, które uzyskano z analizy macierzy kowariancyjnej układu niewiadomych i poprawek do współrzędnych fotopunktów, punktów wiążących oraz punktów kontrolnych. Pomiar punktów kontrolnych wykonano manualnie na stacji fotogrametrycznej firmy Intergraph, w oparciu o moduł ISSD (Image Station Stereo Display).The camera ADS40 is equipped with a Three-Line-Scanner (TLS) therefore triangulation issues here require another approach than that used with other airborne cameras. The triangulation tests performed were based on an ADS40 photogrammetric block consisting of three strips with flying heights of 2000 m. The average ground resolution for this flight was 20 cm. The whole triangulation process was carried out using ORIMA (Leica Geosystems) software. An analysis was carried out to determine the accuracy of the ADS photogrammetric strips using different spectral bands. Tests were performed with different numbers of GCPs (ground control points). Estimation of orientation accuracy of the block test was based on statistical parameters which were obtained from the analysis of the covariance matrix of system unknowns and the residuals of the ground control points, tie points and the checkpoint. The measurement of the checkpoint was performed manually by the stereoscopic observer on the Intergraph photogrammetric image station based on the ISSD module (Image Station Stereo Display)

Estimation of DEM accuracy on the area of Poland based on the elevation data of the LPIS project

Instytut Geodezji i Kartografii był wykonawca prac związanych z kontrolą dokładności Numerycznego Modelu Terenu (NMT), tworzonego na potrzeby LPIS (System Identyfikacji Działek Rolnych). Dlatego też będąc w posiadaniu tak obszernych danych, jakimi był NMT, w ramach kontroli przeprowadzono badania mające na celu ocenę dokładności powstałego produktu (Butowtt, 2003; Ewiak, 1999; Ewiak, 2004; Kaczyński, 2000; Paszotta, 2005). Do czynników, które w znaczny sposób wpływały na dokładność generowania NMT należy zaliczyć m.in. ukształtowanie terenu, błędy metody generowania NMT oraz błędy związane z jego manualnym pomiarem. Metodyka kontroli dokładności geometrycznej NMT dotyczyła wizualnej weryfikacji pod względem odstawania linii nieciągłości i punktów od powierzchni modelu terenowego oraz określenia jego odstępstwa wysokościowego od wyznaczonego w terenie profilu. Na podstawie przeprowadzonych analiz stwierdzono, że badany model spełniła wszystkie wymagania dokładnościowe jednoznacznie określone w wytycznych technicznych dla wykonawców. Wyznaczony błąd średni wahał sie od 0.5 do 0.9 m. Dla części województw stwierdzono występowanie błędu systematycznego NMT na poziomie od 0.1 do 0.4 m.The Institute of the Geodesy and Cartography performed the works related to accuracy control of the Digital Terrain Model – DTM, created on the basis of LPIS requirements. Therefore, the research was conducted with a large set of height data intended for the estimation of final product accuracy. The factors which considerably affect the accuracy of DEM generation are the terrain form, the methodical errors of DEM generation and errors resulting from manual measurement of DEM. The methodology for the accuracy checks of DEM involved visual verification of the difference between the DEM surface and discreteness lines, as well as points measured using photogrammetric methods and then, the estimation of its position in relation to height profiles measured in the ground. The RMSE determined varied from 0.5 m to 0.9 m. For some districts a systematic error of DEM was found ranging from 0.1 to 0.4 m

The range of application of autocorrelation measurements in view of making 3D building model extracts

Badania przeprowadzono na podstawie danych pozyskanych z zintegrowanego systemu pomiarowego cyfrowej kamery lotnicza ADS40, dla których wielkość terenowego piksela wynosiła 20 cm. Dane obejmowały obszar nizinny, w większości rolniczy, częściowo pokryty lasem, z czego około 20% badanego obszaru stanowiły tereny zurbanizowane. W oparciu o zobrazowania ADS40 zbudowano modele stereoskopowe, które wykorzystano do pomiarów: manualnych i autokorelacyjnych obiektów przestrzennych. Zobrazowania poddano wstępnej korekcji geometrycznej, a następnie orientacji w procesie aerotriangulacji metodą niezależnych wiązek. Następnie przeprowadzono pomiar półautomatyczny, z którym związany był szereg czynności począwszy od interpolacji, filtracji i klasyfikacji, uzyskując w ten sposób trójwymiarowy model powierzchni dachów, a także wykonano manualny pomiar linii szkieletowych budynków. Stwierdzono, że algorytm autokorelacyjny programu Match-T nie jest w stanie zrealizować pomiaru punktów na powierzchniach bocznych budynku ze względu na zbyt mały stosunek bazowy zobrazowań. Dla pomiarów autokorelacyjnych na obrazach cyfrowych obejmujących obszar zurbanizowany o dużym stopniu pokrycia roślinnością procentowe wydobycie elementów zabudowy wyniosło około 85%.The research presented is based on data acquired by the integrate measuring system of ADS40 digital camera. The data were collected from a lowland area, mostly agricultural, partly covered with forest, of which about 20% was urbanized area. Base on the ADS40 imagery, stereoscopic models were built and used to manual and autocorrelation measurements of three-dimensional objects. Before the correct orientation of stereoscopic models was obtained, the images were submitted to geometrical correction, and next to orientation in the process of aerotriangulation with the method of bundle adjustment. Next, a semi-automatic measurement was conducted which was connected to interpolation, filtration and classification, obtaining a three-dimensional model of the surface of roofs, and also performing a manual measurement of the skeletal line of buildings. It was found that the autocorrelation algorithm of the program Match-T could not realize the measurement of points on the lateral faces of the building because of a too small base relation of images. For autocorrelation measurements on digital images that included an urbanized area with high degree of vegetation cover the extraction of the building elements amounted to about 85%

Accuracy aspects of DEM generation as elucidated by ADS40 aerial digital camera images

W artykule zaprezentowano analizę porównawczą dokładności generowania numerycznego modelu terenu (NMT) w oparciu o dane pozyskane skanerową lotniczą kamerą cyfrową ADS40 i przetworzone przy udziale różnych systemów fotogrametrycznych. Prace prowadzone były w Zakładzie Fotogrametrii, Instytutu Geodezji i Kartografii w ramach realizacji projektu badawczego finansowanego przez Ministerstwo Nauki i Szkolnictwa Wyższego w latach 2007-2009, którego jednym z głównych celów jest określenie metodyki opracowania NMT z trzylinijkowej lotniczej kamery cyfrowej. W niniejszym artykule opisano metodykę generowania numerycznego modelu terenu na podstawie stereoskopowych zobrazowań z cyfrowej kamery lotniczej ADS40. Do badań wykorzystano blok fotogrametryczny składający się z trzech szeregów zdjęć, z których każde pozyskane było w kanale panchromatycznym w sekwencji przód-wstecz oraz w kanale czerwonym w nadirze. Do opracowania danych źródłowych wykorzystano moduły programów Image Station firmy Intergraph, DTM Box firmy Inpho oraz Leica Photogrammetry Suite firmy ERDAS. Do analizy porównawczej wykorzystano NMT wygenerowane na podstawie sekwencji zorientowanych zewnętrznie zobrazowań ADS40 z uwzględnieniem elementów pomiaru GPS oraz IMU, a także pomiaru dodatkowych punktów wiążących. Do oceny dokładności NMT wykorzystano dane referencyjne w postaci profili kontrolnych pomierzonych w terenie techniką GPS. W wyniku przeprowadzonych badań stwierdzono, że dokładność automatycznego generowania NMT na podstawie zobrazowań z trzylinijkowej kamery ADS40 waha się w przedziale od 0.13 m do 1.42 m. Dokładność ta zależy głównie od kanałów spektralnych zobrazowań użytych w procesie pomiaru korelacyjnego, kąta obrazującego linijki detektora oraz użytego systemu pomiarowego. Na podstawie analiz dokładnościowych potwierdzono, że najlepsze wyniki uzyskano dla NMT wygenerowanych przy wykorzystaniu obrazów ADS40 pozyskanych przy stosunku bazowym modelu stereoskopowego bliskim 0.8.The paper discusses a comparative analysis of accuracy in generation of the digital elevation model (DEM) on the basis of ADS40 data processed by different photogrammetric systems. The research, supported by the Ministry of Science and Higher Education, was carried out in 2007- 2009 at the Photogrammetry Department of the Institute of Geodesy and Cartography. One of the main aims of the project was to develop a methodology for measuring DEM based on ADS40 images. The research made use of the photogrammetric block containing three strips of images, each taken in the panchromatic mode in sequence forward and backward, and in the red range of the visible band in the nadir. The source data were procured by using modules of the Image Station Intergraph, DTM Box Inpho and the Leica Photogrammetry Suite ERDAS software. The DEMs generated based on a sequence of ADS40 images and their absolute orientation elements estimated with GPS and IMU measurement as well as additional pass and tie points were used in the comparative analysis. To estimate the accuracy of DEM, reference data in the form of terrain profiles measured by GPS were used as well. The analyses allowed to conclude that the accuracy of automatic measurement of DEM altitude points, based on different combinations of ADS40 images, ranges between 0.13 and 1.42 m. The accuracy depends mainly on the spectral resolution of images used in correlative measurement, in viewing the detector line angle , and on the measuring system used. The DEM accuracy analyses demonstrated the best results of autocorrelation measurements to be obtained for the ADS40 stereoscopic model base ratio of 0.8

Estimation of the accuracy of the SRTM terrain model in Poland

Treść artykułu dotyczy oceny dokładności modelu rzeźby terenu pozyskanego dla obszaru Polski z Radarowej Misji Topograficznej Promu Kosmicznego SRTM (Shuttle Radar Topography Mission). Ocenę dokładności przeprowadzono na podstawie precyzyjnych danych referencyjnych, którymi były profile terenowe pomierzone techniką GPS. Zakres badań obejmował swym zasięgiem obszary testowe, reprezentujące różne formy ukształtowania terenu, położone w granicach administracyjnych 14 województw. Obszary testowe położone były na obszarach odkrytych i nie obejmowały terenów zurbanizowanych oraz kompleksów leśnych. Miarą oceny dokładności modelu SRTM były błędy średnie liczone na podstawie różnic wysokości pomiędzy punktami profili terenowych oraz odpowiadającymi im wyinterpolowanymi punktami modelu SRTM. Niezbędne analizy przeprowadzono w środowisku oprogramowania MGE (Modular GIS Environment) firmy Intergraph oraz za pomocą narzędzi 3 DEM Terain Visualization autorstwa Richarda Horne. Stwierdzono, że dokładność bezwzględna modelu SRTM na obszarze Polski wynosi m H = 2.9 m dla terenów równinnych oraz m H = 5.4 m dla terenów falistych i pagórkowatych. Stwierdzono również, że dokładność interferometrycznego pomiaru wysokości punktów węzłowych siatki modelu SRTM degradowana jest w procesie interpolacji wysokości punktów poza węzłowych, zaś stopień tej degradacji jest funkcją deniwelacji rzeźby terenu oraz gęstości oczka siatki. Ocena statystyczna dokładności pomiaru SRTM wykazała, że pomiary interferometryczne obarczone są składową systematyczną błędu. Po wyeliminowaniu błędu systematycznego okazało się, że dokładność bezwzględna modelu SRTM na obszarze Polski kształtuje się na poziomie m H = 1.0 m dla terenów równinnych oraz m H = 2.7 m dla terenów falistych i pagórkowatych.The mission of the Endeavour spacecraft well known as SRTM (Shuttle Radar Topography Mission) six years ended ago. The obtainment of a radar data in just eleven days was the aim of mission. Based on this data, a DEM for over 80 percent of the surface of the Earth has been generated. The SRTM for all potential users is available free. For Poland, this data is accessible on level DTED-1 in HGT format with a resolution of 60 by 90 meters . The acquisition of DEM with a CE (90) accuracy better then 16 meters was the crowning achievement of the program of the SRTM mission. The accuracy of the SRTM terrain model of Eurasia after calibration of the measuring system was CE (90) = 6.2 m. The results of the research work presented in foreign publications refer to reference data which were not representative for the tested areas. In order to determine the absolute accuracy of SRMT model of Poland, a study was performed based on the reference terrain profiles measured by GPS techniques. The flat and hilly terrains were examined in administrative borders of fourteen provinces. It was not reference data for mountainous terrains. For elaboration of the SRTM data on ImageStation Intergraph software, they have been recalculated in the USGS format using modules of the 3 DEM Terrain Visualization program written by Richard Horne. For analysis of the accuracy of the SRTM model, 332 terrain profiles and 29 308 points have been measured. The accuracy of the SRTM model presented by RMSE was computed on the basis of the height differences between the profiles and model homolog points. The analyses were done in Modular GIS Environment Intergraph software. The absolute accuracy of the SRTM model for Poland was RMSE-Z = 2.9 m for flat regions and RMSE-Z = 5.4 m for hilly regions. It was confirmed that this accuracy depends on the resolution of the grid points of DEM and terrain inclination. The statistical analysis showed a systematic shift between SRTM data and reference profiles. The RMSE-Z without a systematic part was found to be 1.0 m for flat regions and 2.7 m for hilly regions of Poland. The data of SRTM level DTED-1 could be used for DEM and contour line generation on topographic maps on scales smaller then 1:50 000 and for SRTM system calibration