Semantic segmentation and photogrammetry of crowdsourced images to monitor historic facades

Crowdsourced images hold information could potentially be used to remotely monitor heritage sites, and reduce human and capital resources devoted to on-site inspections. This article proposes a combination of semantic image segmentation and photogrammetry to monitor changes in built heritage sites. In particular, this article focuses on segmenting potentially damaging plants from the surrounding stone masonry and other image elements. The method compares different backend models and two model architectures: (i) a one-stage model that segments seven classes within the image, and (ii) a two-stage model that uses the results from the first stage to refine a binary segmentation for the plant class. The final selected model can achieve an overall IoU of 66.9% for seven classes (54.6% for one-stage plant, 56.2% for two-stage plant). Further, the segmentation output is combined with photogrammetry to build a 3D segmented model to measure the area of biological growth. Lastly, the main findings from this paper are: (i) With the help of transfer learning and proper choice of model architecture, image segmentation can be easily applied to analyze crowdsourcing data. (ii) Photogrammetry can be combined with image segmentation to alleviate image distortions for monitoring purpose. (iii) Beyond the measurement of plant area, this method has the potential to be easily transferred into other tasks, such as monitoring cracks and erosion, or as a masking tool in the photogrammetry workflow

Digital workflows for the management of existing structures in the pre- and post-earthquake phases: BIM, CDE, drones, laser-scanning and AI

La metodologia BIM, sviluppata in America negli anni '70, ha rivoluzionato l'industria delle costruzioni introducendo i principi di innovazione e digitalizzazione per la gestione dei progetti, in un settore settore produttivo troppo legato a logiche tradizionali. I numerosi processi digitali che sono stati sviluppati da allora hanno riguardato in gran parte la progettazione di nuovi edifici, e sono principalmente legati alla disciplina del construction management. Alcune prime sperimentazioni condotte nel tempo hanno mostrato come l'estensione di questa metodologia agli edifici esistenti comporti molte difficoltà. In questo panorama, il lavoro di tesi si concentra sulla gestione delle strutture nella fase pre e post-sisma con l'obiettivo di sviluppare processi digitali basati sull'uso di tecnologie innovative applicate sia agli edifici ordinari che a quelli storici. Il primo workflow sviluppato, relativo alla fase pre-sisma, è stato denominato scan-to-FEM, ed è finalizzato a particolarizzare il classico processo scan-to-BIM nel campo dell'ingegneria strutturale, analizzando così tutti i passaggi dal rilievo dell'edificio con le tecniche digitali di fotogrammetria e laser-scanning fino all'analisi strutturale e alla valutazione della sicurezza nei confronti delle azioni sismiche. I processi di gestione delle strutture post-sisma sono invece incentrati sulla stima della sicurezza della struttura e sulla definizione delle strategie di intervento, e si basano sull'analisi delle caratteristiche intrinseche della struttura e dei danni indotti dagli eventi sismici. L'intero processo di valutazione del livello operativo di un edificio è stato quindi rivisto alla luce delle moderne tecnologie digitali. Nel dettaglio, sono state sviluppate Reti Neurali Convoluzionali (CNN) per la crack detection, e l'estrazione delle informazioni numeriche associate alle lesioni, gestite poi grazie ai modelli BIM. I quadri fessurativi sono stati digitalizzati grazie allìintroduzione un nuovo oggetto BIM "lesione" (attualmente non codificato nello standard IFC), al quale è stato aggiunto un set di parametri in parte valutati con le CNN ed in parte qualitativi. Durante lo sviluppo di questi processi, sono stati sviluppati nuovi strumenti adhoc per la gestione degli edifici esistenti. In particolare, sono state definite specifiche per lo sviluppo di schede tecniche digitali dei danni, e per la creazione del nuovo oggetto BIM "lesione". I processi di gestione degli edifici danneggiati, grazie agli sviluppi tecnologici realizzati, sono stati applicati per la digitalizzazione dell'edificio storico della chiesa di San Pietro in Vinculis danneggiato a seguito di eventi sismici, grazie ai quali sono stati sperimentati i massimi benefici in termini di riduzione di tempo e risparmio di risorse

Monument Monitor: using citizen science to preserve heritage

This research demonstrates how data collected by citizen scientists can act as a valuable resource for heritage managers. It establishes to what extent visitors’ photographs can be used to assist in aspects of condition monitoring focusing on biological and plant growth, erosion, stone/mortar movement, water ingress/pooling and antisocial behaviour. This thesis describes the methodology and outcomes of Monument Monitor (MM), a project set up in collaboration with Historic Environment Scotland (HES) that requested visitors at selected Scottish heritage sites to submit photographs of their visit. Across twenty case study sites participants were asked to record evidence of a variety of conservation issues. Patterns of contributions to the project are presented alongside key stakeholder feedback, which show how MM was received and where data collection excelled. Alongside this, the software built to manage and sort submissions is presented as a scalable methodology for the collection of citizen generated data of heritage sites. To demonstrate the applicability of citizen generated data for in depth monitoring and analysis, an environmental model is created using the submissions from one case study which predicts the effect of the changing climate at the site between 1980 - 2080. Machine Learning (ML) is used to analyse submitted data in both classification and segmentation tasks. This application demonstrates the validity of utilising ML tools to assist in the analysis and categorising of volunteer submitted photographs. The outcome of this PhD is a scalable methodology with which conservation staff can use visitor submitted images as an evidence-base to support them in the management of heritage sites