Méthodes de génération et de validation de champs de déformation pour la recombinaison de distribution de dose à l’aide d’images 4DCT dans le cadre d’une planification de traitement de cancers pulmonaires

Des efforts de recherche considérables ont été déployés afin d'améliorer les résultats de traitement de cancers pulmonaires. L'étude de la déformation de l'anatomie du patient causée par la ventilation pulmonaire est au coeur du processus de planification de traitement radio-oncologique. À l'aide d'images de tomodensitométrie quadridimensionnelles (4DCT), une simulation dosimétrique peut être calculée sur les 10 ensembles d'images du 4DCT. Une méthode doit être employée afin de recombiner la dose de radiation calculée sur les 10 anatomies représentant une phase du cycle respiratoire. L'utilisation de recalage déformable d'images (DIR), une méthode de traitement d'images numériques, génère neuf champs vectoriels de déformation permettant de rapporter neuf ensembles d'images sur un ensemble de référence correspondant habituellement à la phase d'expiration profonde du cycle respiratoire. L'objectif de ce projet est d'établir une méthode de génération de champs de déformation à l'aide de la DIR conjointement à une méthode de validation de leur précision. Pour y parvenir, une méthode de segmentation automatique basée sur la déformation surfacique de surface à été créée. Cet algorithme permet d'obtenir un champ de déformation surfacique qui décrit le mouvement de l'enveloppe pulmonaire. Une interpolation volumétrique est ensuite appliquée dans le volume pulmonaire afin d'approximer la déformation interne des poumons. Finalement, une représentation en graphe de la vascularisation interne du poumon a été développée afin de permettre la validation du champ de déformation. Chez 15 patients, une erreur de recouvrement volumique de 7.6 ± 2.5[%] / 6.8 ± 2.1[%] et une différence relative des volumes de 6.8 ± 2.4 [%] / 5.9 ± 1.9 [%] ont été calculées pour le poumon gauche et droit respectivement. Une distance symétrique moyenne 0.8 ± 0.2 [mm] / 0.8 ± 0.2 [mm], une distance symétrique moyenne quadratique de 1.2 ± 0.2 [mm] / 1.3 ± 0.3 [mm] et une distance symétrique maximale 7.7 ± 2.4 [mm] / 10.2 ± 5.2 [mm] ont aussi été calculées pour le poumon gauche et droit respectivement. Finalement, 320 ± 51 bifurcations ont été détectées dans le poumons droit d'un patient, soit 92 ± 10 et 228 ± 45 bifurcations dans la portion supérieure et inférieure respectivement. Nous avons été en mesure d'obtenir des champs de déformation nécessaires pour la recombinaison de dose lors de la planification de traitement radio-oncologique à l'aide de la méthode de déformation hiérarchique des surfaces. Nous avons été en mesure de détecter les bifurcations de la vascularisation pour la validation de ces champs de déformation.Purpose: To allow a reliable deformable image registration (DIR) method for dose calculation in radiation therapy and to investigate an automatic vessel bifurcations detection algorithm for DIR assessment to improve lung cancer radiation treatment. Methods: 15 4DCT datasets are acquired and deep exhale respiratory phases are exported to Varian treatment planning system (TPS) Eclipse^{\text{TM}} for contouring. Voxelized contours are smoothed by a Gaussian filter and then transformed into a surface mesh representation. Such mesh is adapted by rigid and elastic deformations based on hierarchical surface deformation to match each subsequent lung volumes. The segmentation efficiency is assessed by comparing the segmented lung contour and the TPS contour considering two volume metrics, defined as Volumetric Overlap Error (VOE) [%] and Relative Volume Difference (RVD) [%] and three surface metrics, defined as Average Symmetric Surface Distance (ASSD) [mm], Root Mean Square Symmetric Surface Distance (RMSSD) [mm] and Maximum Symmetric Surface Distance (MSSD) [mm]. Vesselness filter was applied within the segmented lung volumes to identify blood vessels and airways. Segmented blood vessels and airways were skeletonised using a hierarchical curve-skeleton algorithm based on a generalized potential field approach. A graph representation of the computed skeleton was generated to assign one of three labels to each node: the termination node, the continuation node or the branching node. Results: The volume metrics obtained are a VOE of 7.6 ± 2.5[%] / 6.8 ± 2.1[%] and a RVD of 6.8 ± 2.4 [%] / 5.9 ± 1.9 [%] respectively for left and right lung. The surface metrics computed are an ASSD of 0.8 ± 0.2 [mm] / 0.8 ± 0.2 [mm], a RMSSD of 1.2 ± 0.2 [mm] / 1.3 ± 0.3 [mm] and a MSSD of 7.7 ± 2.4 [mm] / 10.2 ± 5.2 [mm] respectively for left and right lung. 320 ± 51 bifurcations were detected in the right lung of a patient for the 10 breathing phases. 92 ± 10 bifurcations were found in the upper half of the lung and 228 ± 45 bifurcations were found in the lower half of the lung. Discrepancies between ten vessel trees were mainly ascribed to the segmentation methode. Conclusions: This study shows that the morphological segmentation algorithm can provide an automatic method to capture an organ motion from 4DCT scans and translate it into a volume deformation grid needed by DIR method for dose distribution combination. We also established an automatic method for DIR assessment using the morphological information of the patient anatomy. This approach allows a description of the lung’s internal structure movement, which is needed to validate the DIR deformation fields

Modélisation géométrique 3D des structures anatomiques du tronc humain à partir d’images acquises par résonnance magnétique

La modélisation géométrique 3D de structures anatomiques est une étape essentielle dans le développement d’outils de simulation numérique dédiés pour l’étude de l’évolution ou pour la planification de traitements de pathologies complexes. La scoliose est une déformation complexe de la colonne vertébrale et de la cage thoracique qui entraine des asymétries au niveau de l’ensemble du tronc. Ces asymétries sont généralement accompagnées de l’apparence d’une bosse dans le dos du patient et constituent la raison principale pour laquelle le patient ou ses parents décident de consulter. Cependant, les simulateurs biomécaniques actuels se concentrent sur le choix de la meilleure stratégie opératoire qui permet de redresser la colonne et minimiser son déjettement au niveau sagittal et frontal. Dans ce contexte, une modélisation géométrique 3D des structures osseuses est suffisante. Par contre, la priorité du patient est de bénéficier de la stratégie qui pourrait améliorer son apparence par la réduction des asymétries externes du tronc suite au traitement. Il est donc important de propager la correction des structures osseuses, lors de la simulation, à travers les tissus mous du tronc afin de visualiser l’effet d’une stratégie sur l’apparence externe du patient. Par conséquent, une modélisation géométrique précise de l’ensemble des structures anatomiques du tronc incluant la surface externe, les tissus mous et les structures osseuses sous-jacentes devient indispensable. La modélisation de l’intérieur du tronc peut être effectuée en utilisant des images acquises par résonnance magnétique (IRM). Cette modalité d’imagerie est particulièrement intéressante, car elle permet d’obtenir de l’information sur le tronc sans danger pour le patient. La qualité des données IRM est variable et dépend du protocole d’acquisition. Pour garder un temps d’acquisition raisonnable, il faut réduire la portion du tronc couverte ou réduire la résolution des données, ce qui impactera le modèle géométrique obtenu. De plus, puisque les structures osseuses ne sont pas facilement identifiables dans les données IRM, elles sont généralement obtenues avec des radiographies. L’obtention d’un modèle précis du tronc implique donc de combiner un modèle des structures osseuses et un des tissus mous. Cette mise en correspondance est complexe, car les IRM sont acquises en position couchée et les radiographies le sont en position debout. Cette thèse propose une nouvelle méthodologie pour construire un modèle géométrique précis et personnalisé du tronc à partir de données IRM. Le nouveau modèle géométrique sera obtenu sans segmenter les données pour éviter la perte d’information. Cette méthodologie est différente des approches classiques qui génèrent des éléments géométriques reliant des frontières segmentées dans une étape préalable. Le nouveau modèle sera enrichi par l’utilisation de modèles surfaciques de vertèbres qui permettront une segmentation automatique des vertèbres visibles dans les données IRM. La première phase des travaux s’est concentrée sur la génération du modèle géométrique personnalisé du tronc obtenu à travers l’adaptation d’un maillage 3D. Le processus d’adaptation du maillage est basé sur la génération d’une métrique riemannienne construite en utilisant l’intensité des images IRM. La métrique définit la forme, la taille et l’orientation de chacun des éléments du maillage pour respecter les frontières des structures présentes dans les données. La validation du processus a été effectuée en plusieurs étapes. Tout d’abord, il a été montré, avec des IRM cardiaques, que le processus produit des maillages respectant la métrique. Par la suite, le processus d’adaptation a été comparé avec celui proposé par Goksel et al qui produit également des maillages sans segmenter les données. Cette comparaison a été faite sur un cas analytique et sur une série de cas réels. Pour comparer les méthodes, plusieurs maillages de densités différentes sont obtenus avec chacune d’elles. Puis, des éléments sont extraits de chacun des maillages en utilisant la frontière d’un volume de référence. La somme du volume des éléments extraits est comparée à celui de la référence. Les mesures comparant les volumes confirment que notre méthode produit des maillages respectant mieux les frontières des structures présentes, qu’elle converge plus rapidement et qu’elle est donc plus précise pour un nombre de sommets donnés. La seconde phase a été centrée sur le développement d’une méthodologie de segmentation semi-automatique des vertèbres dans les données IRM. Un modèle surfacique des structures osseuses est recalé avec les volumes de données IRM pour segmenter les vertèbres. Pour y parvenir, un algorithme de recalage par information mutuelle, reconnu pour donner de bons résultats avec des données multimodales, a été utilisé. Pour améliorer le taux de succès de l’algorithme, une phase d’initialisation positionne les vertèbres près de leur position finale estimée. L’évaluation de la phase d’initialisation montre que l’algorithme de recalage supporte une erreur de positionnement de 13 mm par rapport à sa position finale pour assurer un bon recalage. Cette distance est facilement atteignable. La robustesse de l’algorithme de recalage a été évaluée avec plusieurs ensembles de données. Si la qualité des données IRM est suffisante, notre méthode produit de bons résultats. Une résolution de 3 mm entre les tranches est un bon compromis entre la qualité et le temps d’acquisition. Pour conclure, la nouvelle représentation géométrique est minimale et préserve la frontière des structures anatomiques présentes dans les données. Elle serait un bon candidat pour être utilisée dans un simulateur numérique. En outre, la méthode de segmentation semi-automatique des données IRM est robuste et produit des résultats fiables. Pour poursuivre ces travaux, la segmentation des vertèbres pourrait être utilisée pour simplifier la génération du maillage. L’adaptation de maillage peut être restreinte à des zones segmentées, tout en utilisant l’information du volume entier, limitant ainsi la perte d’information. L’emplacement des vertèbres serait alors connu dans le maillage adapté, ce qui permettrait de faire le recalage avec le modèle surfacique des structures osseuses.----------ABSTRACT 3D geometric modeling of anatomical structures is an essential step in the development of numerical simulation tools dedicated to the study of evolution or the planning of complex disease treatments. Scoliosis is a complex deformation of the spine and rib cage which leads to asymmetries in the whole trunk. These asymmetries are usually accompanied by the appearance of a hump in the back of the patient and are the main reason why the patient or his parents decide to consult. However, current biomechanical simulators focus on choosing the best surgical strategy that helps straighten the spine and achieve frontal and sagittal trunk balance. In this context, a 3D geometric modeling of bone structures is sufficient. On the other hand, the priority of the patient is to benefit from the strategy that could improve most his appearance by reducing trunk asymmetries. It is therefore important to propagate the correction of bone structures, in the simulation, through the soft tissue of the trunk, in order to visualize the effect of a strategy on the external surface of the trunk. Therefore, a precise geometric modeling of all anatomical structures of the trunk including the outer surface, the soft tissue and underlying bone structures becomes essential. Modeling the inside of the trunk may be performed using images acquired by magnetic resonance imaging (MRI). This imaging modality is particularly interesting because it provides information on the trunk without any danger for the patient. The quality of MRI data is variable and depends on the acquisition protocol. To keep a reasonable time of acquisition, either the scope of the trunk or the resolution of the data has to be reduced, but this has an impact on the quality of the resulting geometric model. In addition, since the bone structures are not easily identifiable in the MRI data, they are generally obtained with radiographs. Obtaining an accurate model of the trunk therefore involves combining a model of bone structures and a model of soft tissues. Combining those models is complex because MRI are acquired in a laying position and the radiographs are acquired in a standing position. This thesis proposes a new methodology to build a precise and personalised geometric model of the trunk based on MRI data. The new model will be obtained without segmenting the data to avoid any loss of information. This methodology is different of the standard approaches that produce geometric elements linking boundaries segmented in an initial step. The new model will be enhanced with the use of surfacic models of vertebrae to perform an automatic segmentation of the visible vertebra within the MRI dataset. The first phase of our work has focused on the generation of a custom geometric model of the trunk obtained through the adaptation of a 3D mesh. The mesh adaptation process is based on the generation of a Riemannian metric constructed using the grey levels of the MRI data. The metric defines the shape, size and orientation of each mesh element to respect the boundaries of anatomical structures in the data. The validation process was performed in several steps. Firstly, it has been shown, with cardiac MRI, that the process produces meshes respecting the metric. Thereafter, the adaptation process was compared with the one proposed by Goksel et al which also produces meshes without segmenting the data. This comparison was made on an analytical case and a series of real cases. To compare the methods, several meshes with different densities were obtained with each of them. Then, elements were extracted from each of the meshes using the boundary of a reference volume. The sum of the volume of the extracted elements was compared with the reference. Measurements comparing the volumes confirmed that our method produces meshes respecting the boundaries of the structures better, that converges faster and is therefore more accurate for a given number of vertices The second phase focused on the development of a methodology for semi-automatic segmentation of the vertebrae in MRI data. A surface model of bone structures is registered with MRI data volumes to segment vertebrae. To achieve this, a registration based on a mutual information algorithm, known to give good results with multimodal data, was used. To improve the success rate of the algorithm, an initialization phase positions the vertebrae near their estimated final position. The evaluation of the initialization phase shows that the registration algorithm supports a positioning error of 13 mm from its final position to ensure proper registration. This distance is easily attainable. The robustness of the registration algorithm was evaluated with multiple data sets. If MRI data quality is adequate, our method produces good results. A resolution of 3 mm between slices is a good compromise between data quality and acquisition time. In conclusion, the new geometric representation is minimal and preserves the border of anatomical structures in the data. It would be a good candidate to be used for simulations. In addition, the semi-automatic segmentation method of MRI data is robust and produces reliable results. To continue this work, segmentation of the vertebrae could be used to simplify the generation of the mesh. Mesh adaptation may be restricted to segmented areas while using the information of the entire volume, hence limiting information loss. The location of the vertebrae would be known in the adapted mesh, thereby simplifying the registration with the surface model of the bone structures

Modélisation statistique des structures anatomiques de la rétine à partir d'images de fond d'oeil

L’examen non-invasif du fond d’oeil permet d’identifier sur la rétine les signes de nombreuses pathologies oculaires qui développent de graves symptômes pour le patient pouvant entraîner la cécité. Le réseau vasculaire rétinien peut de surcroît présenter des signes précurseurs de pathologies cardiovasculaires et cérébro-vasculaires. La rétine, où apparaissent ces pathologies, est constituée de plusieurs structures anatomiques dont la variabilité est importante au sein d’une population saine. Pour autant, les évaluations cliniques actuelles ne prennent pas en compte cette variabilité ce qui ne permet pas de détecter précocement ces pathologies. Ces évaluations se basent sur un ensemble restreint de mesures prélevées à partir de structures dont la segmentation manuelle est réalisable par les experts. De plus, elles sont basées sur un seuillage empirique déterminé par les cliniciens et appliqué sur chacune des mesures afin d’établir un diagnostic. Ainsi, les évaluations cliniques actuelles sont affectées par la grande variabilité des structures anatomiques de la rétine au sein de la population et elles n’évaluent pas les anomalies trop difficiles à mesurer manuellement. Dans ce contexte, il convient de proposer de nouvelles mesures cliniques qui tiennent compte de la variabilité normale à l’aide d’une modélisation statistique des structures anatomiques de la rétine. Cette modélisation statistique permet de mieux comprendre et identifier ce qui est normal et comment l’anatomie et ses attributs varient au sein d’une population saine. Cela permet ainsi d’identifier la présence de pathologies à l’aide de nouvelles mesures cliniques construites en tenant compte de la variabilité des attributs de l’anatomie. La modélisation statistique des structures anatomiques de la rétine est cependant difficile étant donné les variations morphologiques et topologiques de ces structures. Les changements morphologiques et topologiques du réseau vasculaire rétinien compliquent son analyse statistique ainsi que les outils de recalage, de segmentation et de représentation sémantique s’y appliquant. Les questions de recherches adressées dans cette thèse sont la production d’outils capables d’analyser la variabilité des structures anatomiques de la rétine et l’élaboration de nouvelles mesures cliniques tenant compte de la variabilité normale de ces structures. Pour répondre à ces questions de recherche, trois objectifs de recherche sont formulés. ----------ABSTRACT: Non-invasive retinal fundus examination allows clinicians to identify signs of many ocular conditions that develop critical symptoms affecting the patient and even leading to blindness. In addition, the retinal vascular network may present early signs of cardiovascular and cerebrovascular diseases. The retina, where these pathologies appear, is composed of several anatomical structures whose variability is considerable within a healthy population. Yet, current clinical evaluations do not take into account this variability, and this does not allow early detection of these pathologies. These evaluations are based on a limited set of measurements taken from structures whose manual segmentation is achievable by the experts. In addition, they are based on empirical thresholding determined by the clinicians and applied to each of the measurements to establish a diagnosis. Thus, current clinical assessments are affected by the large variability of anatomical structures of the retina within a healthy population and do not evaluate abnormalities that are too difficult to measure manually. In this context, it is advisable to propose new clinical measurements that take into account the normal variability using statistical modeling of the anatomical structures of the retina. Such a statistical modeling approach helps us to better understand and identify what is normal and how the anatomy and its attributes vary across a healthy population. This makes it possible to identify the presence of pathologies using new clinical measurements constructed by taking into account the variability of the anatomy’s attributes. Statistical modeling of the anatomical structures of the retina is difficult, however, given the morphological and topological variations of these structures. Morphological and topological changes in the retinal vascular network complicate its statistical analysis as well as the registration methods, segmentation and semantic representation applied to it. The research questions proposed in this thesis pertain to creating tools capable of analyzing the variability of the anatomical structures of the retina and proposing new clinical measures that take into account the normal variability of those structures. To answer these research questions, three research objectives are formulated

Ensembles de niveaux robustes au speckle et recalage B-spline: application à la segmentation et l'analyse du mouvement cardiaque par des images ultrasons

L'analyse du mouvement local des parois du cœur dans des images ultrasonores est souvent utilisée pour diagnostiquer certaines malformations cardiaques. Malheureusement, cette modalité produit des images caractérisées par un niveau élevé de speckle, rendant difficile la détection des cavités. La thèse présente une méthode d'estimation du mouvement des cavités dans des images 2D. Nous proposons un nouveau modèle de level sets pour segmenter l'image. Ce modèle s'appuie sur une fonction d'arrêt adaptée au speckle. Celle-ci se démarque des fonctions habituelles en remplaçant le gradient par le coefficient de variation, une statistique robuste aux bruits multiplicatifs. De plus, nous renforçant cette fonction par un classificateur perceptron multicouche rendant plus fiable la détection de contours. Les résultats obtenus montrent un apport significatif en précision. L'estimation du mouvement se fait par un processus de recalage adaptatif qui calcule une B-spline hiérarchique. Cette méthode prend en entrée les courbes produites par la segmentation et estime la déformation en appliquant successivement l'algorithme ICP, une optimisation aux moindres carrés, et un raffinage hiérarchique. L'expérimentation montre que ce modèle aboutit à une approximation précise des déformations 2D des parois du cœu

Segmentation automatique des dents en imagerie maxillo-faciale Cone Beam CT

La planification de traitement et la simulation chirurgicale en médecine dentaire nécessite l’obtention de modèles 3D personnalisés du système dentaire du patient. La représentation tridimensionnelle de ces structures, et plus particulièrement des dents, fournit une compréhension poussée des relations dento-maxillo-faciales, ce qui permet au clinicien de sélectionner un plan de traitement optimisé. L’obtention de ces modèles personnalisés se faisant à l’aide de modalités d’imagerie 3D, la segmentation des organes d’intérêt est une étape essentielle à l’obtention de modèles fiables et précis. Compte tenu de la complexité morphologique des dents, mais aussi des contraintes inhérentes à l’utilisation du Cone Beam CT, une automatisation du processus de segmentation est certainement souhaitable. En ce sens, l’objectif de ce travail implique la mise en place d’une méthode entièrement automatique de segmentation individuelle des dents à partir d’images maxillo-faciales CBCT. Le processus de segmentation se divise en deux grandes étapes principales. Dans un premier temps, des sous-régions du volume 3D original sont extraites, afin de circonscrire chacune des dents au sein de volumes restreints. Cette étape se base sur l’identification automatique de repères anatomiques propres au complexe maxillo-facial. Entre autres, l’identification de la courbe décrivant la forme de l’arcade dentaire ainsi que le positionnement de plans séparant les dents sur l’arcade guident l’extraction de ces sous-volumes. Ces derniers sont ensuite utilisés de manière indépendante dans un algorithme de détection de la pulpe dentaire basé sur la reconstruction morphologique. La forme de la pulpe permet, dans un second temps, de tracer des contours significatifs de la dent via la propagation d’un front sous contraintes de gradient. Ces contours instancient un processus de segmentation par marche aléatoire afin de fournir un modèle pré-personnalisé de chaque dent. Le modèle surfacique subit ensuite une déformation par optimisation laplacienne, afin d’épouser correctement les frontières de la dent. Les modèles 3D résultants constituent une représentation fiable et précise des structures dentaires du patient. Ces modèles ont été validés à l’aide d’une base de données contenant 88 segmentations de référence, toutes produites par un expert. La performance globale de la segmentation se traduit par un indice de Dice (DICE) de 95,20±1,07 %, une différence relative de volume (RVD) de 2,57±3,21 % et une distance surfacique moyenne-symétrique (ASD) de 0,16±0,04 mm. Les résultats de ce travail démontrent que la méthode fournit automatiquement des segmentations multi-organes précises à partir d’un examen 3D de la mâchoire du patient

Un nouveau descripteur iconique topologique pour l'appariement d'images de structures anatomiques

L’objectif principal de notre projet de recherche est de créer un descripteur iconique topologique qui permet de faire des appariements de structures anatomiques en se basant sur l’organisation topologique des intensités dans une image. Ce descripteur doit définir un espace métrique afin de pouvoir effectuer des comparaisons efficaces. Les descripteurs actuellement disponibles ne font pas intervenir les composantes distantes d’images pour décrire un lieu dans l’image. De façon inhérente, ils sont locaux dans leurs analyses des caractéristiques de l’image. Bien sûr, certains d’entre eux incluent un certain voisinage, mais aucun des descripteurs que nous avons analysés incorpore l’information de l’image dans son ensemble. Pour arriver à nos fins, nous proposons une représentation sous forme de graphe de l’espace image. Pour construire ce graphe nous proposons deux approches. La première considère l’image comme un graphe implicite dans lequel les noeuds sont les pixels de l’image et la connectivité des noeuds du graphe représente le voisinage des pixels. La deuxième est, quant à elle, plus élaborée et est bâtie en analysant les régions définies par une sursegmentation de l’image. Dans celle-ci, les régions sont les noeuds du graphe et les arêtes du graphe représentent la connectivité des régions. Pour décrire un lieu dans l’image, nous proposons d’extraire un arbre du graphe image pour chacun des endroits d’intérêt. Pour extraire cet arbre, nous utilisons un processus de minimisation de la rencontre des gradients, autrement dit, les branches de cet arbre poussent de manière à réduire les gradients traversés. Cet arbre est une vue de l’image telle que perçue par le lieu étudié. L’arbre ainsi conçu est notre descripteur sous sa forme la plus complète. Pour être en mesure de comparer et de conserver ces arbres, nous en extrayons une représentation en histogramme. Nous avons étudié plusieurs versions, sous forme d’histogrammes, des arbres, chaque version étant plus ou moins riche en information. Le passage à une telle représentation nous permet une sauvegarde efficace et configurable. En effet, si nous désirons inclure plus d’information relative à l’arbre dans l’histogramme le représentant, nous pouvons utiliser un histogramme ayant plus de classes. Ce passage à une représentation en histogramme nous permet également l’utilisation de mesures de métriques fiables pour quantifier la distance entre deux de nos descripteurs. Les résultats obtenus montrent que nos descripteurs sont en mesure de faire l’appariement d’organes présents dans des acquisitions de tomographie axiale (CT), et ce, dans la même image ou dans des images distinctes. Pour mesurer la capacité d’appariement des descripteurs que l’on propose, nous avons proposé un algorithme basé sur les rangs médians de distances. Cet algorithme nous permet d’évaluer la capacité de correspondance en tenant compte de tous les descripteurs des images. Les résultats que nous avons obtenus sont très prometteurs si on tient compte des difficultés de la tâche, liées, entre autres, au fait que l’appariement soit basé sur une seule instance d’un descripteur et au manque de structure apparente dans les images 2D. En effet, compte tenu des temps de calculs considérables, nous avons restreint notre analyse des appariements des descripteurs à des images 2D de thorax. Les structures anatomiques étant compréhensibles seulement lorsque l’on effectue une analyse 3D, la qualité des résultats obtenus est impressionnante. Le passage à des descripteurs 3D ne demande aucune modification des algorithmes utilisés et devrait nous fournir des résultats d’appariement des structures anatomiques encore meilleurs.----------ABSTRACT: The main objective of our research project is to create a topological iconic descriptor that allows for the matching of anatomical structures based on the topological organization of intensities in an image. This descriptor must define a metric space in order to be able to make efficient comparisons. Currently available descriptors do not involve remote image components to describe a location in the image. Inherently, they are local in their analyzes of the characteristics of the image. Of course, some of them include some neighborhood, but none of the descriptors we have analyzed incorporate the image information as a whole. To arrive at our ends, we propose a representation in the form of a graph of the image space. To build this graph we propose two approaches. The first considers the image as an implicit graph in which the nodes are the pixels of the image and the connectivity of the nodes of the graph represents the neighborhood of the pixels. The second is, in turn, more elaborate and is built by analyzing the regions defined by an over-segmentation of the image. In this one, the regions are the nodes of the graph and the edges of the graph represent the connectivity of the regions. To describe a region in the image, we propose to extract a tree from the image graph for each of the regions of interest. To extract this tree, we use a process of minimizing the gradients encounter, that is, the branches of this tree grow in order to reduce the gradients crossed. This tree is a view of the image as perceived by the region studied. The tree thus conceived is our descriptor in its most complete form. To be able to compare and preserve these trees, we extract a histogram representation. We have studied several versions, in the form of histograms, of the trees, each version being more or less rich in information. Moving to such a representation allows us an efficient and configurable storage. Indeed, if we want to include more information about the tree in the histogram representing it, we can use a histogram with more classes. This shift to a histogram representation also allows us to use reliable metric measurements to quantify the distance between two of our descriptors. The results show that our descriptors are able to match organs present in axial tomography (CT) acquisitions, in the same image or in separate images. To measure the ability to match the descriptors proposed, we proposed an algorithm based on the median ranks of distances. This algorithm allows us to evaluate the matching capability taking into account all the descriptors of the images. The results that we obtained are very promising if we take into account the difficulties of the task. Indeed, given the considerable computation time, we have restricted our analysis of descriptor matches to 2D images of thorax. The anatomical structures are understandable only when performing a 3D analysis, the quality of the results obtained is impressive. The shift to 3D descriptors requires no modification of the algorithms used and should provide us with even better anatomical structure matching results

Réalité augmentée en chirurgie : développement d'un pointeur intelligent

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal

Segmentation fémorale par modèle déformable et programmation dynamique

This Ph.D thesis presents new paradigms in the field of segmentation by mean of deformable models. Classic model-based segmentation approach consists of iteratively deform complex models in the space of the scanner slices until the organ to segment is fitted. The proposed works tries to improve the process by decomposing the problem in three distinct phases : First, anatomical landmarks of the organ to segment are automatically detected using a fast ray-casting technique ; A basic deformable model is next initialized to fit these landmarks. It allows approximately fitting the organ contour. This raw approximation can optionally be refined by a conventional registration ; Finally, an active contour method (snakes) allows to accurately delimiting the contour of the organ. Although contour delimitation by classic snake resolution usually converges to a local minimum, this problem is avoided by using dynamic programming. A main advantage of our approach is to propose a good compromise between segmentation speed and quality of the result. It also allows coming back to an interactive segmentation of the organ anytime. CT femoral segmentation of degenerative hips has been used to validate our approach. Good results were achieved on most of the patients. Only highly degenerated femurs with osteoporosis or arthritis were not fully automatically segmented. Thanks to the goods results achieved, this new segmentation paradigm could practically be used in prosthesis planning software like femur resurfacing

Analyse et caractérisation temps réel de vidéos chirurgicales. Application à la chirurgie de la cataracte

Huge amounts of medical data are recorded every day. Those data could be very helpful for medical practice. The LaTIM has acquired solid know-how about the analysis of those data for decision support. In this PhD thesis, we propose to reuse annotated surgical videos previously recorded and stored in a dataset, for computer-aided surgery. To be able to provide relevant information, we first need to recognize which surgical gesture is being performed at each instant of the surgery, based on the monitoring video. This challenging task is the aim of this thesis. We propose an automatic solution to analyze cataract surgeries, in real time, while the video is being recorded. A content based video retrieval (CBVR) method is used to categorize the monitoring video, in combination with a statistical model of the surgical process to bring contextual information. The system performs an on-line analysis of the surgical process at two levels of description for a complete and precise analysis. The methods developed during this thesis have been evaluated in a dataset of cataract surgery videos collected at Brest University Hospital. Promising results were obtained for the automatic analysis of cataract surgeries and surgical gesture recognition. The statistical model allows an analysis which is both fine-tuned and comprehensive. The general approach proposed in this thesis could be easily used for computer aided surgery, by providing recommendations or video sequence examples. The method could also be used to annotate videos for indexing purposes.L'objectif de cette thèse est de fournir aux chirurgiens des aides opératoires en temps réel. Nous nous appuyons pour cela sur des vidéos préalablement archivées et interprétées. Pour que cette aide soit pertinente, il est tout d'abord nécessaire de reconnaître, à chaque instant, le geste pratiqué par le chirurgien. Ce point est essentiel et fait l'objet de cette thèse. Différentes méthodes ont été développées et évaluées, autour de la reconnaissance automatique du geste chirurgical. Nous nous sommes appuyés sur des méthodes de catégorisation (recherche des cas les plus proches basée sur l'extraction du contenu visuel) et des modèles statistiques du processus chirurgical. Les réflexions menées ont permis d'aboutir à une analyse automatique de la chirurgie à plusieurs niveaux de description. L'évaluation des méthodes a été effectuée sur une base de données de vidéos de chirurgies de la cataracte, collectées grâce à une forte collaboration avec le service d'ophtalmologie du CHRU de Brest. Des résultats encourageants ont été obtenus pour la reconnaissance automatique du geste chirurgical. Le modèle statistique multi-échelles développé permet une analyse fine et complète de la chirurgie. L'approche proposée est très générale et devrait permettre d'alerter le chirurgien sur les déroulements opératoires à risques, et lui fournir des recommandations en temps réel sur des conduites à tenir reconnues. Les méthodes développées permettront également d'indexer automatiquement des vidéos chirurgicales archivées

Fusion multimodale d'images pour la reconstruction et la modélisation géométrique 3D du tronc humain

RÉSUMÉ La fusion multimodale d'images est un sujet de grand intérêt dans le domaine de la vision par ordinateur et a des applications dans divers domaines tels que la surveillance et l'imagerie médicale. En imagerie médicale, la fusion multimodale d'images est une étape importante, car les différentes images utilisées offrent de l'information complémentaire et utile pour la planification du traitement d'un patient. Par exemple, le recalage entre différentes modalités d'images à résonance magnétique (RM) du cerveau résulte en une superposition d'information morphologique et fonctionnelle. En cardiologie, le recalage multimodal permet une mise à jour d'un modèle préopératoire de la vascularisation des patients, obtenu à partir d'images RM ou tomographiques, avec des angiographies acquises dans la salle d'opération. Le recalage d'images multimodales permet aussi la construction d'un modèle complet du tronc pour la simulation numérique de traitements orthopédiques de déformations scoliotiques. La scoliose idiopathique est une maladie caractérisée par une courbure complexe de la colonne vertébrale qui peut affecter les fonctions physiques du patient nécessitant parfois une chirurgie. Les chirurgiens se fient sur des mesures obtenues à partir d'images radiographiques pour planifier la correction de la colonne. Par contre, suite à cette correction, une asymétrie du tronc peut persister. Il est donc utile de concevoir un simulateur de chirurgie afin de prédire l'effet de la correction chirurgicale sur l'apparence externe du tronc. Des travaux de recherche en cours visent à vérifier si la réaction de l'ensemble des structures anatomiques incluant les tissus mous face à une correction de la courbure de la colonne a un impact sur le résultat obtenu à la surface externe du tronc. Ces travaux nécessitent la génération d'un modèle géométrique du tronc entier y incluant les tissus mous afin de permettre la simulation de la propagation de l'effet d'une chirurgie de la colonne sur l'apparence externe du patient, fournissant ainsi aux chirurgiens un modèle pour la planification d'une chirurgie. Par conséquent, il est nécessaire de générer un modèle géométrique du tronc qui pourrait intégrer les structures osseuses extraites à partir d'images radiographies (RX), les tissus mous extraits à partir d'images RM et la surface externe du tronc obtenue à partir d'images de topographie de surface (TP) acquise à l'aide de caméras 3D. Ce modèle nécessite un recalage entre ces différentes modalités d'images. Le recalage entre les images RM, RX et TP du tronc humain implique plusieurs difficultés. Premièrement, les images sont acquises à des moments ainsi qu'avec des postures différentes. Par exemple, les images RM sont acquises en position couchée, tandis que les images RX et TP sont acquises en position debout. Cette différence de posture entraîne des déformations non-rigides dans les structures anatomiques du tronc dont le recalage doit en tenir compte. De plus, les structures contenues dans le tronc humain n'ont pas toutes les mêmes caractéristiques physiques et, par conséquent, ne se déforment pas toutes de la même façon. En particulier, les vertèbres sont des structures rigides tandis que les tissus mous se déforment de façon non-rigide. Deuxièmement, il y a un manque de repères anatomiques correspondants entre les différentes images, puisque ces images montrent des informations complémentaires. Finalement, l'acquisition des images RM n'est pas toujours possible pour les patients scoliotiques à cause du manque de disponibilité des systèmes en clinique. De plus, la longue durée des acquisitions cause un manque de confort auprès des patientes. En effet, aucune des méthodes de recalage existantes n'effectue le recalage entre les images RM et RX tout en tenant compte du changement de posture entre les acquisitions, et aucune des méthodes n'effectue le recalage d'images TP, RX et RM du tronc humain. Ce document propose une méthodologie pour la génération d'un modèle géométrique du tronc complet d'un patient scoliotique. Le modèle géométrique sera généré en fusionnant, par recalage élastique, des images RX, des images RM et des images TP d'un patient, tout en tenant compte du manque de correspondances anatomiques ainsi que des déformations dues au changement de posture entre les acquisitions d'images. Dans une première phase, un recalage est effectué entre la colonne vertébrale extraite à partir des images RM et celle extraite à partir des images RX en compensant pour les changements dus à la différence de posture. La transformation semi-rigide de la colonne vertébrale est effectuée à l'aide d'un modèle articulé, ce dernier étant défini de la façon suivante: pour chaque vertèbre, un système de coordonnées local est construit à partir de repères vertébraux. Des transformations intervertébrales locales et rigides sont ensuite obtenues en calculant les transformations entre les systèmes de coordonnées locaux des vertèbres adjacentes. Finalement, la transformation globale entre chaque vertèbre extraite à partir de l'image RM et la vertèbre correspondante extraite à partir de l'image RX est obtenue en concaténant les transformations locales. La validation a été effectuée sur 14 patientes scoliotiques en comparant la méthode proposée avec un recalage rigide. La précision du recalage des vertèbres thoraciques et lombaires est validée en calculant l'erreur cible entre des points de repère extraits à partir des corps vertébraux. L'erreur moyenne cible a diminué de 10,73 mm dans le cas du recalage rigide jusqu'à 4,53 mm dans le cas du recalage avec modèle articulé. De plus, les angles de Cobb obtenus à partir des images RM sont comparés à ceux obtenus à partir des images RX dans le plan latéral et frontal, au niveau thoracique et lombaire, ceci avant et après le recalage. Les différences entre tous les angles de Cobb des deux modalités d'images étaient toujours au-delà de 10,0° suite au recalage rigide, tandis que ces différences ont baissé en dessous de 1,0° suite au recalage avec la méthode proposée. Finalement, en comparant les courbures de la colonne entre les positions couchée et debout, nous avons remarqué une diminution significative dans l'angle de Cobb lorsque le patient est en position couchée. Cette diminution était au-delà de 10,0° dans les deux plans et dans les deux régions de la colonne. Ces différences d'angles confirment les résultats obtenus dans la littérature montrant que la courbure de la colonne est atténuée lorsque le patient est en position couchée. De plus, la diminution dans les erreurs de recalage lorsque la méthode proposée est utilisée démontre que cette méthode réussit à recaler les structures vertébrales entre les images RM et RX tout en compensant pour le changement de posture qui se fait entre les deux acquisitions. Dans une deuxième phase, les images RM, RX et TP d'un même patient sont recalées afin d'obtenir un modèle géométrique complet d'un patient qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc. Tout d'abord, les images TP sont recalées aux images RX en utilisant une fonction spline plaque-mince et à l'aide de points correspondants placés sur la surface du tronc du patient avant l'acquisition des deux modalités d'images. Ensuite, les images RM sont incorporées en se servant d'une transformation du modèle articulé suivi d'un recalage avec une spline plaque-mince contrainte afin de tenir compte de la rigidité des vertèbres. La qualité du recalage entre les images RM et TP est quantifiée pour trois patients scoliotiques avec l'indice DICE, celui-ci mesurant le chevauchement entre les tranches d'images RM et l'espace contenu dans l'image TP, et étant défini comme le ratio entre le double de l'intersection et l'union. L'indice DICE varie entre 0 et 1, où la valeur de 0 indique qu'il n'y a aucun chevauchement et une valeur de 1 indique qu'il y a un chevauchement parfait. Une valeur de 0,7 est considérée comme un chevauchement adéquat. Le recalage avec la méthode proposée est comparé au recalage rigide ainsi qu'au recalage articulé simple. Une valeur DICE moyenne de 0,95 est obtenue pour la méthode proposée, démontrant un excellent chevauchement et une amélioration comparativement à la valeur de 0,82 dans le cas du modèle articulé simple et de 0,84 dans le cas du recalage rigide. Donc, la méthode de recalage proposée réussit à fusionner les données sur les structures osseuses, les tissus mous, ainsi que la surface externe du tronc à partir des images RM, RX et TP, tout en compensant pour le changement de posture entre ces acquisitions. Dans une troisième phase, un recalage inter-patient permet de compléter un modèle tridimensionnel partiel personnalisé du tronc d'un patient à partir d'une fusion des images RX et TP du patient et des images RM d'un modèle générique obtenu en suivant la méthodologie proposée. Premièrement, un patient ayant un modèle géométrique complet qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc est désigné en tant que modèle générique. Deuxièmement, un modèle personnalisé partiel d'un autre patient est obtenu en recalant les images TP aux images RX à l'aide d'une fonction spline plaque-mince. Troisièmement, les images RM du modèle générique sont incorporées dans le modèle personnalisé partiel de ce patient à l'aide du modèle articulé ainsi que de la déformation spline plaque-mince contrainte. L'indice DICE est utilisé afin de mesurer le chevauchement entre les images TP du patient et les images RM incorporées suite au recalage inter-patient à partir du modèle générique. De plus, le chevauchement est calculé entre les images RM incorporées suite au recalage inter-patient à partir du modèle générique et les images RM réelles du patient suite au recalage intra-patient. Les résultats montrent une diminution générale significative de l'indice DICE comparativement au recalage intra-patient. Par contre, les valeurs obtenues sont plus élevées que 0,7, ce qui est adéquat. Le chevauchement a aussi été mesuré entre le gras segmenté à partir des images RM suite au recalage inter-patient et les images RM réelles du patient suite au recalage intra-patient, et des valeurs inférieures à 0,7 sont obtenues. Ceci peut être expliqué par le fait que ratio faible entre la circonférence et l'aire des structures analysées a pour effet de diminuer les valeurs DICE. La méthodologie proposée fournit un cadre qui permet de construire un modèle complet du tronc sans avoir besoin d'une acquisition d'images RM pour chaque patient. Le modèle complet obtenu inclut les structures osseuses, les tissus mous ainsi que la surface du tronc complet d'un patient scoliotique. Ce modèle peut être incorporé dans le simulateur chirurgical qui est en cours de développement, afin de tenir compte des tissus mous dans la simulation de l'effet d'un traitement de la colonne vertébrale sur la surface du tronc d'un patient. Cependant, la précision du recalage pourrait être améliorée en se servant d'un maillage adaptatif tridimensionnel des tissus mous tout en incorporant des indices de rigidité pour chacun des tissus.---------ABSTRACT Multimodal image fusion is a topic of great interest in the field of computer vision and has applications in a wide range of areas such as video surveillance and medical imaging. In medical imaging applications, multimodal image fusion is an important task since different image modalities can be used in order to provide additional information and are thus useful for the treatment of patients. For example, the registration between different magnetic resonance (MR) image modalities of the brain results in a model that incorporates both anatomical and functional information. In cardiology, the multimodal registration allows an up-to-date 3D preoperative model of patients, obtained from computed tomography or MR images, with angiograms acquired in the operating room. The multimodal image registration also allows for the construction of a complete model of the trunk for the simulation of orthopedic treatments for scoliotic deformations. Idiopathic scoliosis is a disease characterized by a complex curvature of the spine which can affect the physical functioning of the patient, sometimes requiring surgery. Surgeons rely on measurements obtained from radiographic images in order plan the surgical correction of the vertebral column. However, following such a correction, an asymmetry of the trunk may persist. It would therefore be useful to develop a surgical simulator in order to predict the effect of a surgical correction on the external appearance of the trunk. Research is underway that aims to verify whether the reaction of all anatomical structures including the soft tissues following a correction of the curvature of the spine has an impact on the result obtained at the external surface of the torso. This research requires the design of a geometric model of the entire trunk that also incorporates soft tissues in order to allow for the simulation of the propagation of the effect of spine surgery on the external appearance of the patient, thus providing surgeons with a model for surgical planning. Therefore, it is necessary to obtain a geometric model of the trunk that would integrate the bone structures extracted from X-ray images, soft tissues extracted from MR images and the trunk surface obtained from surface topography (TP) data acquired using 3D cameras. This complete model requires the registration between the different imaging modalities. The registration between the MR, X-ray and TP images is subject to several difficulties. Firstly, these images are acquired at different times and in different postures. For example, MR images are acquired in prone position, whereas the TP and X-ray images are acquired in standing position. This difference in posture causes non-rigid deformations in the anatomical structures of the trunk that must be taken into consideration during registration. Moreover, the structures contained in the human body do not have the same physical characteristics, and therefore do not deform all in the same manner. In particular, the vertebrae are rigid structures, while soft tissues deform non-rigidly. Secondly, there is a lack of corresponding anatomical landmarks between the different images, as these images contain non-overlapping anatomical information. Thirdly, the acquisition of MR images is not always possible for patients with scoliosis due to the lack of availability of such acquisition systems in clinical settings. In addition, the lengthy acquisition time causes patient discomfort. In fact, none of the existing registration methods registers X-ray and MR images while taking into account the change in posture between acquisitions, and none of the methods registers TP, MR and X-ray images of the human trunk. This document proposes a methodology for generating a complete geometric model of the trunk of a patient with scoliosis. The geometric model is developed using the non-rigid registration of X-ray, TP and MR images, while taking into account the lack of anatomical correspondences between the image modalities, and the non-rigid deformation that occurs due to a posture change between the image acquisitions. In the first phase, the shape of the spine extracted from MR images is registered to that extracted from the X-ray images all while compensating for spine shape changes that are due to the difference in posture between the acquisition of the two modalities. The semi-rigid transformation of the spine is obtained by means of an articulated model registration which is defined as follows: For each vertebra, a local coordinate system is constructed from vertebral landmarks. Local rigid inter-vertebral transformations are then obtained by computing the transformations between the local coordinate systems of adjacent vertebrae. Finally, the global transformation between each vertebra extracted from the MR images and the corresponding vertebra extracted from the X-ray images is obtained by concatenating the local transformations. The validation is performed using 14 patients with scoliosis by comparing the proposed method with rigid registration. Registration accuracy in the thoracic and lumbar areas is validated by calculating the target registration error between correspondence points extracted from the vertebral bodies. The average error decreased from 10.73 mm in the case of rigid registration to 4.53 mm in the case of registration using the proposed articulated model. In addition, Cobb angles obtained from MR image reconstructions are compared with those obtained from X-ray image reconstructions in the lateral and frontal views and in the thoracic and lumbar areas of the spine, both before and after registration. The differences between all Cobb angles of the two imaging modalities were above 10.0° following rigid registration, whereas these differences fell below 1.0° following registration using the proposed method. Finally, when comparing the curvatures of the spine between the prone and standing postures, we noticed a significant decrease in the Cobb angle when the patient is lying down. This decrease was above the 10.0° in both views and in both regions of the spine. These angle differences confirm the results obtained in the literature showing that the curvature of the spine is attenuated when the patient is lying down. Moreover, the decrease in registration errors when the proposed method is used shows that this method successfully aligns the spine between MR and X-ray images all while compensating for the change in posture that occurs between the two acquisitions. In the second phase, the TP, X-ray and MR images of the same patient are registered in order to obtain a full geometric model of the entire torso which incorporates the bone structures, soft tissue, as well as the external surface of the trunk. Firstly, the TP and X-ray images are aligned using a thin-plate spline and landmarks placed on the surface of the trunk of the patient prior to the acquisition of the two imaging modalities. Secondly, MR images are incorporated into the model using the articulated model followed by a thin-plate spline registration constrained in order to maintain the stiffness of the vertebrae. The quality of registration between the MR and the TP images is verified for 3 patients with scoliosis with the DICE index à, which measures the overlap between the MRI slices and the space contained within the TP image. The DICE index varies between 0 and 1, where the value of 0 indicates that there is no overlap and a value of 1 indicates a perfect overlap. A value of 0.7 is considered suitable overlap. The proposed method is compared to rigid registration and registration a simple articulated model. An average DICE value of 0.95 is obtained when the proposed method is used, showing excellent overlap and a significant improvement compared to 0.82 in the case of simple articulated model registration and 0.84 in the case of rigid registration. Therefore, the proposed registration method succeeds in incorporating bone structures, soft tissues, and the external surface of the trunk using MR, X-ray and TP images all while compensating for the change in posture that occurs between these acquisitions. In the third phase, inter-patient registration allows for the completion of a personalized three-dimensional partial model of the trunk of a patient by registering TP and X-ray images of the patient with the MR images of a generic model that is obtained by following the proposed methodology. Firstly, a patient having a full geometric model which incorporates the bone structures, soft tissues, as well as the external surface of the trunk is designated as the generic model. Secondly, a partial personalized model of another patient is obtained by registering the X-ray and TP images of the patient using a thin-plate spline function. Thirdly, MR images of the generic model are incorporated into the partial personalized model of the test patient using the articulated model transformation and the constrained thin-plate spline deformation. The DICE index is used in order to measure the overlap between the TP images of the patient and the MR images from the generic model following inter-patient registration. Moreover, the overlap between the MR images from the generic model following inter-patient registration and the patient's real MR images is measured. The results show a significant overall decrease in the DICE index compared to intra-patient registration. However, the values obtained are higher than 0.7, which is considered adequate. The overlap was also measured between fat tissues segmented from MR images registered from the generic model and the patient's own registered MR images, and values below 0.7 are obtained. However, this lack of overlap can be explained by the fact that the low circumference to area ratio of the structures being analysed leads to inherently lower DICE values. The methodology proposed here allows for a framework in which, upon the use of a larger database of patients, a complete model of the trunk can be built without the need for MR image acquisition for each patient. The complete model obtained includes the bone structures, soft tissues and the complete surface of the trunk of scoliotic patients. This model can be incorporated into the surgical simulator which is under development, in order to take soft tissues into account while simulating the effect of spine instrumentation on the external surface of the patient's trunk. However, the precision of the registration can be improved by using a 3 dimensional adaptive mesh of the soft tissues all while incorporating tissue-specific stiffness factors