Algorithms for the reconstruction, analysis, repairing and enhancement of 3D urban models from multiple data sources

Over the last few years, there has been a notorious growth in the field of digitization of 3D buildings and urban environments. The substantial improvement of both scanning hardware and reconstruction algorithms has led to the development of representations of buildings and cities that can be remotely transmitted and inspected in real-time. Among the applications that implement these technologies are several GPS navigators and virtual globes such as Google Earth or the tools provided by the Institut Cartogràfic i Geològic de Catalunya. In particular, in this thesis, we conceptualize cities as a collection of individual buildings. Hence, we focus on the individual processing of one structure at a time, rather than on the larger-scale processing of urban environments. Nowadays, there is a wide diversity of digitization technologies, and the choice of the appropriate one is key for each particular application. Roughly, these techniques can be grouped around three main families: - Time-of-flight (terrestrial and aerial LiDAR). - Photogrammetry (street-level, satellite, and aerial imagery). - Human-edited vector data (cadastre and other map sources). Each of these has its advantages in terms of covered area, data quality, economic cost, and processing effort. Plane and car-mounted LiDAR devices are optimal for sweeping huge areas, but acquiring and calibrating such devices is not a trivial task. Moreover, the capturing process is done by scan lines, which need to be registered using GPS and inertial data. As an alternative, terrestrial LiDAR devices are more accessible but cover smaller areas, and their sampling strategy usually produces massive point clouds with over-represented plain regions. A more inexpensive option is street-level imagery. A dense set of images captured with a commodity camera can be fed to state-of-the-art multi-view stereo algorithms to produce realistic-enough reconstructions. One other advantage of this approach is capturing high-quality color data, whereas the geometric information is usually lacking. In this thesis, we analyze in-depth some of the shortcomings of these data-acquisition methods and propose new ways to overcome them. Mainly, we focus on the technologies that allow high-quality digitization of individual buildings. These are terrestrial LiDAR for geometric information and street-level imagery for color information. Our main goal is the processing and completion of detailed 3D urban representations. For this, we will work with multiple data sources and combine them when possible to produce models that can be inspected in real-time. Our research has focused on the following contributions: - Effective and feature-preserving simplification of massive point clouds. - Developing normal estimation algorithms explicitly designed for LiDAR data. - Low-stretch panoramic representation for point clouds. - Semantic analysis of street-level imagery for improved multi-view stereo reconstruction. - Color improvement through heuristic techniques and the registration of LiDAR and imagery data. - Efficient and faithful visualization of massive point clouds using image-based techniques.Durant els darrers anys, hi ha hagut un creixement notori en el camp de la digitalització d'edificis en 3D i entorns urbans. La millora substancial tant del maquinari d'escaneig com dels algorismes de reconstrucció ha portat al desenvolupament de representacions d'edificis i ciutats que es poden transmetre i inspeccionar remotament en temps real. Entre les aplicacions que implementen aquestes tecnologies hi ha diversos navegadors GPS i globus virtuals com Google Earth o les eines proporcionades per l'Institut Cartogràfic i Geològic de Catalunya. En particular, en aquesta tesi, conceptualitzem les ciutats com una col·lecció d'edificis individuals. Per tant, ens centrem en el processament individual d'una estructura a la vegada, en lloc del processament a gran escala d'entorns urbans. Avui en dia, hi ha una àmplia diversitat de tecnologies de digitalització i la selecció de l'adequada és clau per a cada aplicació particular. Aproximadament, aquestes tècniques es poden agrupar en tres famílies principals: - Temps de vol (LiDAR terrestre i aeri). - Fotogrametria (imatges a escala de carrer, de satèl·lit i aèries). - Dades vectorials editades per humans (cadastre i altres fonts de mapes). Cadascun d'ells presenta els seus avantatges en termes d'àrea coberta, qualitat de les dades, cost econòmic i esforç de processament. Els dispositius LiDAR muntats en avió i en cotxe són òptims per escombrar àrees enormes, però adquirir i calibrar aquests dispositius no és una tasca trivial. A més, el procés de captura es realitza mitjançant línies d'escaneig, que cal registrar mitjançant GPS i dades inercials. Com a alternativa, els dispositius terrestres de LiDAR són més accessibles, però cobreixen àrees més petites, i la seva estratègia de mostreig sol produir núvols de punts massius amb regions planes sobrerepresentades. Una opció més barata són les imatges a escala de carrer. Es pot fer servir un conjunt dens d'imatges capturades amb una càmera de qualitat mitjana per obtenir reconstruccions prou realistes mitjançant algorismes estèreo d'última generació per produir. Un altre avantatge d'aquest mètode és la captura de dades de color d'alta qualitat. Tanmateix, la informació geomètrica resultant sol ser de baixa qualitat. En aquesta tesi, analitzem en profunditat algunes de les mancances d'aquests mètodes d'adquisició de dades i proposem noves maneres de superar-les. Principalment, ens centrem en les tecnologies que permeten una digitalització d'alta qualitat d'edificis individuals. Es tracta de LiDAR terrestre per obtenir informació geomètrica i imatges a escala de carrer per obtenir informació sobre colors. El nostre objectiu principal és el processament i la millora de representacions urbanes 3D amb molt detall. Per a això, treballarem amb diverses fonts de dades i les combinarem quan sigui possible per produir models que es puguin inspeccionar en temps real. La nostra investigació s'ha centrat en les següents contribucions: - Simplificació eficaç de núvols de punts massius, preservant detalls d'alta resolució. - Desenvolupament d'algoritmes d'estimació normal dissenyats explícitament per a dades LiDAR. - Representació panoràmica de baixa distorsió per a núvols de punts. - Anàlisi semàntica d'imatges a escala de carrer per millorar la reconstrucció estèreo de façanes. - Millora del color mitjançant tècniques heurístiques i el registre de dades LiDAR i imatge. - Visualització eficient i fidel de núvols de punts massius mitjançant tècniques basades en imatges

Continuum mechanics and implicit material point method to underpin the modelling of drag anchors for cable risk assessment

The last years have seen an extraordinary expansion of the wind offshore industry towards new markets. With this development, wind farms are being pushed further offshore, leading to new challenges in maintaining their infrastructures. Data have revealed that one of the assets most susceptible to risks are power cables transporting the electricity generated offshore to the onshore transmission system. Whenever there is no alternative to shielding the cables, these are buried in the seabed to ward off the threat of drag anchors. Understanding the embedment process of drag anchors deployed by ships for mooring purposes is critical to determining the appropriate burial depth of cables. In turn, this protection strategy must include the influence exerted by the seabed conditions. Historically, studies have focused on lab and field tests, whose results have been recently called into question. The lack of an appropriate scientific tool to investigate the anchor cable interaction has recently fostered this process examination via numerical methods. Among these, the Material Point Method (MPM) is well-placed to master large deformation mechanics without mesh distortion and retains all of the advantages of a Lagrangian method. As a matter of fact, the MPM is the main object of investigation of this thesis, whose ultimate goal is to: 1. include inertia forces in the context of finite strain elasto-plasticity for solid materials; 2. expand the above point to handle the presence of water in the porous seabed; and 3. model the friction between the anchor and the surrounding soil. This work has dedicated particular attention to the compliance of the MPM discretised algorithms with the underlying continuum formulation. In this sense, this work’s primary contributions comprise: • a conservation law consistent MPM algorithm for solid mechanics; • a constitutive relationship for porous materials respectful of the solid mass conservation; and • a rigorous assessment of the frictional contact formulations available in the MPM literature

Réorganisation cérébrale chez l’adulte sourd : de la privation à la restauration auditive

On estime que 5 % de la population dans le monde souffre d’une perte auditive handicapante, dont 34 millions d’enfants. Ce déficit perceptif, lorsqu’il survient dès la naissance ou lors des premières années de vie, a de multiples répercussions sur le développement cérébral et neurocognitif. La réorganisation cérébrale ayant cours dans le cerveau des individus privés de l’audition précocement constitue un sujet d’étude très prisé par la communauté scientifique, mais pour laquelle de nombreuses questions restent en suspens. Ainsi, les articles qui composent cette thèse ont pour objectif principal d’améliorer nos connaissances portant sur les mécanismes de réorganisation cérébrale, tant au niveau fonctionnel que structurel afin de mieux comprendre leur implication comportementale chez les individus sourds. Pour ce faire, nous avons souhaité investiguer, par le biais de l’imagerie par résonance magnétique fonctionnelle, quel était le lien entre les activations cérébrales et les performances comportementales lors d’une tâche portant sur les mouvements biologiques chez des adultes sourds congénitaux, en comparaison à des pairs neurotypiques. L’article 1 révèle que les individus sourds présentent une sensibilité accrue à la reconnaissance du mouvement biologique, et notamment des emblèmes, en comparaison à des individus neurotypique. De plus, cette spécificité comportementale observée uniquement chez les individus sourds, s’accompagne d’un recrutement extensif des régions comprises dans le gyrus temporal supérieur, et tout particulièrement le cortex auditif primaire ainsi que le planum temporale. Nos résultats supportent la présence d’une réorganisation intermodale qui s’exprime par le recrutement cérébral des régions auditives lors de stimulations visuelles complexes, entraînant une amélioration de la reconnaissance des mouvements biologiques chez les adultes sourds. Par la suite, nous avons souhaité préciser les mécanismes de réorganisation cérébrale de type structurel. En raison de l’hétérogénéité des résultats rapportés précédemment dans la littérature à propos des changements de matière grise et de matière blanche chez les enfants, les adolescents et les adultes sourds privés de l’audition précocement, la réalisation d’une revue systématique a permis de répertorier l’ensemble des changements structurels obtenus par le biais de diverses techniques d’analyse en imagerie par résonance magnétique. L’article 2 de la présente thèse offre une généralisation des altérations structurelles et intègre une visée clinique à la compréhension de ces changements anatomiques et notamment leur impact sur le développement langagier et neurocognitif. Mis ensemble, ces résultats contribuent à une meilleure appréciation des changements cérébraux à la suite d’une privation précoce de l’audition. En outre, ils offrent une perspective développementale à ces changements par la description de comportements adaptatifs à la situation de handicap auditif, ainsi que du profil neurocognitif de ces individus, dans le but d’apporter de nouvelles pistes aux stratégies de restauration de l’audition et du langage.It is estimated that 5% of the world’s population suffers from a disabling hearing loss, including 34 million children. This sensory deficit, when it occurs at birth or in the first years of life, has multiple repercussions on the brain and neurocognitive development. The brain reorganization taking place in the brain of early-deaf individuals is an area of research highly valued by the scientific community but for which many questions remain unanswered. Thus, the main objective of the articles in this thesis is to improve our knowledge of brain reorganization mechanisms, both at the functional and structural levels, in deaf individuals. This will allow a better understanding of their impact on the behavioural adaptations of deaf individuals. To do this, we investigated, through functional magnetic resonance imaging, the relationship between brain activation and behavioural performance in a task involving biological motions in early-deaf adults, compared to hearing peers. Article 1 reveals that deaf individuals are more sensitive to the recognition of biological motion, including emblems, than hearing individuals. In addition, this behavioural specificity, observed only in deaf individuals, is accompanied by extensive recruitment of the regions included in the superior temporal gyrus, such as the primary auditory cortex but more particularly, the planum temporale. Our results support the presence of intermodal reorganization, which is expressed by brain recruitment of auditory regions during complex visual stimuli, leading to improved recognition of the biological motion in early deaf adults. On the other hand, we wanted to specify the mechanisms of structural brain reorganization. Due to the heterogeneity of the results previously reported in the literature on changes in grey matter and white matter in early-deaf children, adolescents, and adults, the completion of a systematic review identified all the structural changes obtained through various magnetic resonance imaging analysis techniques. The second article of this thesis offers a generalization of structural alterations. It also integrates a clinical frame to the understanding of these anatomical changes to optimize the language and neurocognitive development of these individuals. Together, these results contribute to a better appreciation of brain changes following an early hearing loss at both the functional and structural levels. Besides, they offer a developmental perspective to these changes by describing adaptive behaviours and the neurocognitive profile of these individuals, with providing new insights into hearing and language restoration strategies

Étude biomécanique de la scoliose idiopathique de l'adolescent par l'équilibre énergétique du rachis et la poromécanique des tissus

Ce travail de thèse s’inscrit dans le défi sociétal de la santé et est construit sur une approche originale interdisciplinaire en mécanobiologie. La pathologie étudiée est la scoliose idiopathique, déformation rachidienne structurelle la plus courante touchant 2 à 3% des enfants de 10 ans ou plus. Environ 10% va progresser pendant la croissance et nécessiter un traitement spécifique pouvant aller jusqu’à une chirurgie très invasive. L’aide au diagnostic, la prise en charge du patient et son suivi sont des étapes clés dans lesquelles la proposition d’une quantification objective des phénomènes liés aux altérations pathologiques soutenue par des modèles prédictifs peut apporter une contribution significative. La modélisation mécanique du rachis trouve ses limitations dans le caractère multi-échelles en espace et en temps des tissus biologiques impliqués dans la scoliose. De nombreuses études se sont attachées à comprendre les phénomènes biomécaniques à l’échelle d’un segment vertébral ou bien l’épidémiologie à l’échelle du rachis. Ces approches constituent l’essentiel des travaux disponibles, cependant, il n’existe pas de travaux combinant les deux échelles spatiales, qui sont difficilement modélisables numériquement. L'évolution temporelle de la scoliose est quant à elle principalement étudiée dans la littérature du point de vue clinique et rarement du point de vue mécanique. La méthodologie proposée dans cette thèse s'attache à prendre en compte certaines caractéristiques multi-échelles de la scoliose en s’efforçant de contourner les obstacles par l'élaboration d'un nouveau cadre théorique. L'hypothèse centrale de cette approche est que la position d’équilibre quasi-statique du rachis scoliotique dérive de la minimisation d’une énergie potentielle totale incluant les énergies de déformation des structures déformables ainsi que les efforts internes et externes. Cette modélisation a été paramétrée par des opérateurs de type tenseurs effectifs. La détermination de solutions d’équilibre a été effectuée par minimisation numérique, celle des tenseurs effectifs a été menée par l’implémentation d’une méthode numérique inverse originale par son adaptation au domaine du vivant et incluant notamment une méthode de pénalisation. Cette résolution a été réalisée à partir d’un modèle mécanique global filaire et tridimensionnel du rachis. A une sous-échelle incluant le segment vertébral, une approche poroélastique a été proposée. Cette partie du travail a permis de discuter de la notion d’échelle de temps multiples et d’établir des liens entre les échelles spatiales par le biais des torseurs d’efforts internes. L’approche heuristique a été construite par des échanges avec les informations cliniques (radiographies biplanaires), ceci en collaboration avec le service d’orthopédie pédiatrique du CHU Toulouse. La résolution d’un problème inverse sur un rachis très peu déformé a montré que les résultats obtenus étaient similaires à ceux de la littérature, validant la pertinence de ce modèle. Par ailleurs, les résolutions menées à partir d’une cohorte de patients (scolioses stables ou instables) ont permis de mettre évidence des indices évolutifs associés à l’adaptation mécanique des segments vertébraux. Ainsi, les temps de résolution des modèles numériques étant optimisés, il est possible d’envisager à court terme l’utilisation de cette nouvelle méthodologie en contexte clinique pour aider au diagnostic précoce des scolioses instables, à la rééducation adaptée et la planification chirurgicale. En perspective, grâce au modèle développé dans cette thèse, l’exploration de l’altération des propriétés de transports dans les segments pathologiques permettra d’étudier la dégénérescence discale et ainsi s’intéresser aux causes du développement de la scoliose. Ce type de recherches pourra être effectué par l’enrichissement de la méthodologie par des modèles de transports réactifs étayés par les observations cliniques

Convergences de structures linéaires dans les images : modélisation stochastique et applications en imagerie médicale

This thesis deals with the detection of points of convergences in images, in an a contrario framework. This is a preliminar work which studies various alterations of the a contrario framework such as the naive model. An application in the medical field is the detection of stellate lesions in mammograms, which are highly suspicious signs of breast cancer and are characterized by a radiating pattern of spicules with a bright center. There are plenty of work regarding stellate lesions and architectural distortions. Most of them are based on the extraction of local features such as the gradient orientation, or the pixel orientation and more generally statistics of the orientation histogram. These features are then used in a classifier to assign to each pixel its probability of malignancy. The a contrario methods sets a different framework for the detection of geometric structures in images. A naïve model on line structures is defined and is often chosen as the uniform model, which is not well suited for mammograms where there is a privileged orientation of spicules. We propose in this thesis an anisotropic a contrario framework for a better description of the normal distribution of spicules in a mammogram. The designed models describe the convergence of some of the line structures to a single point. They either concern the lines or the line segments of an image wether we detect global or local convergences. In the last case we explore several definitions of the number of false alarms and several a contrario models on synthetic, natural images and mammograms. We give the a contrario models as two terms mixtures, one uniform and the other of Gaussian type. These are parametric models and we propose an algorithm to estimate their parameters (the point of convergence is estimated with an a contrario method and the other parameters are approached by maximization of the likelihood). The resulting models are used as a contrario models and the results are compared with those against the uniform model.Cette thèse traite de la détection de zones de convergence dans une image, dans un cadre a contrario. C'est un travail théorique préliminaire qui explore différentes altérations du cadre a contrario. Elle a pour application dans le domaine médical la détection des lésions stellaires dans les mammographies, responsables de nombreux cancers du sein et qui se matérialisent par un centre intense vers lequel convergent les spicules, structures linéaires normalement présents dans le sein. Les lésions stellaires et distorsions architecturales ont suscité de nombreux travaux. La plupart des méthodes de détection sont basées sur l'extraction de caractéristiques locales de l'image (orientation du gradient, orientation des pixels, variance de l'histogramme de l'orientation...) puis utilisent une méthode de classification pour attribuer à chaque pixel une probabilité d'appartenir à une lésion stellaire. Ces méthodes nécessitent souvent l'utilisation de filtres en pré-traitement et en post-traitement afin de réduire le bruit, ou de seuiller les résultats finaux. La méthodologie a contrario offre un nouveau cadre pour la détection de structures dans les images. Elle s'appuie sur la définition d'un modèle de bruit, et sur une mesure de l'écart des observations à ce modèle. Le modèle porte sur des structures élémentaires et est souvent choisi "uniforme" : c'est-à-dire que les structures sont supposées suivre la loi uniforme et indépendantes. Or dans les mammographies on observe que les spicules ont une orientation privilégiée, et ne sont pas uniformément distribuées. Nous proposons l'utilisation de la méthode a contrario dans un cadre anisotrope pour mieux tenir compte de la distribution normale des spicules dans une mammographie. Les modèles anisotropes proposés modélisent le fait qu'une partie des structures linéaires est normalement convergentes vers un point commun. Ils portent soit sur les droites de l'image quand il s'agit de détecter les convergences globales, soit sur les segments quand on chercher les convergences locales dans une image. Concernant la détection des convergences locales, le cadre a contrario offre de nombreuses possibilités : sur le choix du nombre de fausses alarmes ou sur le choix du modèle de bruit. Ces choix sont détaillés sur des exemples synthétiques, sur des mammographies et sur des images naturelles. Les modèles a contrario que l'on étudie sont donnés sous la forme de mélanges paramétriques de deux termes : un terme uniforme et un terme "gaussien", modélisant le fait qu'une partie des structures est naturellement convergente. Pour ces différents types de modèles nous proposons d'estimer leurs paramètres. Le point de convergence globale est estimé par minimisation du nombre de fausses alarmes, et l'estimation des autres paramètres est faite par maximisation de la log-vraisemblance. Les modèles estimés sont ensuite testés en tant que modèles a contrario pour la détection des convergences et les résultats sont comparés à ceux que donnait le modèle uniforme

Convergent linear structures in images : stochastic modelisation and application in medical imaging

Cette thèse traite de la détection de zones de convergence dans une image, dans un cadre a contrario. C'est un travail théorique préliminaire qui explore différentes altérations du cadre a contrario. Elle a pour application dans le domaine médical la détection des lésions stellaires dans les mammographies, responsables de nombreux cancers du sein et qui se matérialisent par un centre intense vers lequel convergent les spicules, structures linéaires normalement présents dans le sein. Les lésions stellaires et distorsions architecturales ont suscité de nombreux travaux. La plupart des méthodes de détection sont basées sur l'extraction de caractéristiques locales de l'image (orientation du gradient, orientation des pixels, variance de l'histogramme de l'orientation...) puis utilisent une méthode de classification pour attribuer à chaque pixel une probabilité d'appartenir à une lésion stellaire. Ces méthodes nécessitent souvent l'utilisation de filtres en pré-traitement et en post-traitement afin de réduire le bruit, ou de seuiller les résultats finaux. La méthodologie a contrario offre un nouveau cadre pour la détection de structures dans les images. Elle s'appuie sur la définition d'un modèle de bruit, et sur une mesure de l'écart des observations à ce modèle. Le modèle porte sur des structures élémentaires et est souvent choisi "uniforme" : c'est-à-dire que les structures sont supposées suivre la loi uniforme et indépendantes. Or dans les mammographies on observe que les spicules ont une orientation privilégiée, et ne sont pas uniformément distribuées. Nous proposons l'utilisation de la méthode a contrario dans un cadre anisotrope pour mieux tenir compte de la distribution normale des spicules dans une mammographie. Les modèles anisotropes proposés modélisent le fait qu'une partie des structures linéaires est normalement convergentes vers un point commun. Ils portent soit sur les droites de l'image quand il s'agit de détecter les convergences globales, soit sur les segments quand on chercher les convergences locales dans une image. Concernant la détection des convergences locales, le cadre a contrario offre de nombreuses possibilités : sur le choix du nombre de fausses alarmes ou sur le choix du modèle de bruit. Ces choix sont détaillés sur des exemples synthétiques, sur des mammographies et sur des images naturelles. Les modèles a contrario que l'on étudie sont donnés sous la forme de mélanges paramétriques de deux termes : un terme uniforme et un terme "gaussien", modélisant le fait qu'une partie des structures est naturellement convergente. Pour ces différents types de modèles nous proposons d'estimer leurs paramètres. Le point de convergence globale est estimé par minimisation du nombre de fausses alarmes, et l'estimation des autres paramètres est faite par maximisation de la log-vraisemblance. Les modèles estimés sont ensuite testés en tant que modèles a contrario pour la détection des convergences et les résultats sont comparés à ceux que donnait le modèle uniforme.This thesis deals with the detection of points of convergences in images, in an a contrario framework. This is a preliminar work which studies various alterations of the a contrario framework such as the naive model. An application in the medical field is the detection of stellate lesions in mammograms, which are highly suspicious signs of breast cancer and are characterized by a radiating pattern of spicules with a bright center. There are plenty of work regarding stellate lesions and architectural distortions. Most of them are based on the extraction of local features such as the gradient orientation, or the pixel orientation and more generally statistics of the orientation histogram. These features are then used in a classifier to assign to each pixel its probability of malignancy. The a contrario methods sets a different framework for the detection of geometric structures in images. A naïve model on line structures is defined and is often chosen as the uniform model, which is not well suited for mammograms where there is a privileged orientation of spicules. We propose in this thesis an anisotropic a contrario framework for a better description of the normal distribution of spicules in a mammogram. The designed models describe the convergence of some of the line structures to a single point. They either concern the lines or the line segments of an image wether we detect global or local convergences. In the last case we explore several definitions of the number of false alarms and several a contrario models on synthetic, natural images and mammograms. We give the a contrario models as two terms mixtures, one uniform and the other of Gaussian type. These are parametric models and we propose an algorithm to estimate their parameters (the point of convergence is estimated with an a contrario method and the other parameters are approached by maximization of the likelihood). The resulting models are used as a contrario models and the results are compared with those against the uniform model