3D reconstruction for plastic surgery simulation based on statistical shape models

This thesis has been accomplished in Crisalix in collaboration with the Universitat Pompeu Fabra within the program of Doctorats Industrials. Crisalix has the mission of enhancing the communication between professionals of plastic surgery and patients by providing a solution to the most common question during the surgery planning process of ``How will I look after the surgery?''. The solution proposed by Crisalix is based in 3D imaging technology. This technology generates the 3D reconstruction that accurately represents the area of the patient that is going to be operated. This is followed by the possibility of creating multiple simulations of the plastic procedure, which results in the representation of the possible outcomes of the surgery. This thesis presents a framework capable to reconstruct 3D shapes of faces and breasts of plastic surgery patients from 2D images and 3D scans. The 3D reconstruction of an object is a challenging problem with many inherent ambiguities. Statistical model based methods are a powerful approach to overcome some of these ambiguities. We follow the intuition of maximizing the use of available prior information by introducing it into statistical model based methods to enhance their properties. First, we explore Active Shape Models (ASM) which are a well known method to perform 2D shapes alignment. However, it is challenging to maintain prior information (e.g. small set of given landmarks) unchanged once the statistical model constraints are applied. We propose a new weighted regularized projection into the parameter space which allows us to obtain shapes that at the same time fulfill the imposed shape constraints and are plausible according to the statistical model. Second, we extend this methodology to be applied to 3D Morphable Models (3DMM), which are a widespread method to perform 3D reconstruction. However, existing methods present some limitations. Some of them are based in non-linear optimizations computationally expensive that can get stuck in local minima. Another limitation is that not all the methods provide enough resolution to represent accurately the anatomy details needed for this application. Given the medical use of the application, the accuracy and robustness of the method, are important factors to take into consideration. We show how 3DMM initialization and 3DMM fitting can be improved using our weighted regularized projection. Finally, we present a framework capable to reconstruct 3D shapes of plastic surgery patients from two possible inputs: 2D images and 3D scans. Our method is used in different stages of the 3D reconstruction pipeline: shape alignment; 3DMM initialization and 3DMM fitting. The developed methods have been integrated in the production environment of Crisalix, proving their validity.Aquesta tesi ha estat realitzada a Crisalix amb la col·laboració de la Universitat Pompeu Fabra sota el pla de Doctorats Industrials. Crisalix té com a objectiu la millora de la comunicació entre els professionals de la cirurgia plàstica i els pacients, proporcionant una solució a la pregunta que sorgeix més freqüentment durant el procés de planificació d'una operació quirúrgica ``Com em veuré després de la cirurgia?''. La solució proposada per Crisalix està basada en la tecnologia d'imatge 3D. Aquesta tecnologia genera la reconstrucció 3D de la zona del pacient operada, seguit de la possibilitat de crear múltiples simulacions obtenint la representació dels possibles resultats de la cirurgia. Aquesta tesi presenta un sistema capaç de reconstruir cares i pits de pacients de cirurgia plàstica a partir de fotos 2D i escanegis. La reconstrucció en 3D d'un objecte és un problema complicat degut a la presència d'ambigüitats. Els mètodes basats en models estadístics son adequats per mitigar-les. En aquest treball, hem seguit la intuïció de maximitzar l'ús d'informació prèvia, introduint-la al model estadístic per millorar les seves propietats. En primer lloc, explorem els Active Shape Models (ASM) que són un conegut mètode fet servir per alinear contorns d'objectes 2D. No obstant, un cop aplicades les correccions de forma del model estadístic, es difícil de mantenir informació de la que es disposava a priori (per exemple, un petit conjunt de punts donat) inalterada. Proposem una nova projecció ponderada amb un terme de regularització, que permet obtenir formes que compleixen les restriccions de forma imposades i alhora són plausibles en concordança amb el model estadístic. En segon lloc, ampliem la metodologia per aplicar-la als anomenats 3D Morphable Models (3DMM) que són un mètode extensivament utilitzat per fer reconstrucció 3D. No obstant, els mètodes de 3DMM existents presenten algunes limitacions. Alguns estan basats en optimitzacions no lineals, computacionalment costoses i que poden quedar atrapades en mínims locals. Una altra limitació, és que no tots el mètodes proporcionen la resolució adequada per representar amb precisió els detalls de l'anatomia. Donat l'ús mèdic de l'aplicació, la precisió i la robustesa són factors molt importants a tenir en compte. Mostrem com la inicialització i l'ajustament de 3DMM poden ser millorats fent servir la projecció ponderada amb regularització proposada. Finalment, es presenta un sistema capaç de reconstruir models 3D de pacients de cirurgia plàstica a partir de dos possibles tipus de dades: imatges 2D i escaneigs en 3D. El nostre mètode es fa servir en diverses etapes del procés de reconstrucció: alineament de formes en imatge, la inicialització i l'ajustament de 3DMM. Els mètodes desenvolupats han estat integrats a l'entorn de producció de Crisalix provant la seva validesa

Dynamical models and machine learning for supervised segmentation

This thesis is concerned with the problem of how to outline regions of interest in medical images, when the boundaries are weak or ambiguous and the region shapes are irregular. The focus on machine learning and interactivity leads to a common theme of the need to balance conflicting requirements. First, any machine learning method must strike a balance between how much it can learn and how well it generalises. Second, interactive methods must balance minimal user demand with maximal user control. To address the problem of weak boundaries,methods of supervised texture classification are investigated that do not use explicit texture features. These methods enable prior knowledge about the image to benefit any segmentation framework. A chosen dynamic contour model, based on probabilistic boundary tracking, combines these image priors with efficient modes of interaction. We show the benefits of the texture classifiers over intensity and gradient-based image models, in both classification and boundary extraction. To address the problem of irregular region shape, we devise a new type of statistical shape model (SSM) that does not use explicit boundary features or assume high-level similarity between region shapes. First, the models are used for shape discrimination, to constrain any segmentation framework by way of regularisation. Second, the SSMs are used for shape generation, allowing probabilistic segmentation frameworks to draw shapes from a prior distribution. The generative models also include novel methods to constrain shape generation according to information from both the image and user interactions. The shape models are first evaluated in terms of discrimination capability, and shown to out-perform other shape descriptors. Experiments also show that the shape models can benefit a standard type of segmentation algorithm by providing shape regularisers. We finally show how to exploit the shape models in supervised segmentation frameworks, and evaluate their benefits in user trials

Shape-aware surface reconstruction from sparse 3D point-clouds.

The reconstruction of an object's shape or surface from a set of 3D points plays an important role in medical image analysis, e.g. in anatomy reconstruction from tomographic measurements or in the process of aligning intra-operative navigation and preoperative planning data. In such scenarios, one usually has to deal with sparse data, which significantly aggravates the problem of reconstruction. However, medical applications often provide contextual information about the 3D point data that allow to incorporate prior knowledge about the shape that is to be reconstructed. To this end, we propose the use of a statistical shape model (SSM) as a prior for surface reconstruction. The SSM is represented by a point distribution model (PDM), which is associated with a surface mesh. Using the shape distribution that is modelled by the PDM, we formulate the problem of surface reconstruction from a probabilistic perspective based on a Gaussian Mixture Model (GMM). In order to do so, the given points are interpreted as samples of the GMM. By using mixture components with anisotropic covariances that are "oriented" according to the surface normals at the PDM points, a surface-based fitting is accomplished. Estimating the parameters of the GMM in a maximum a posteriori manner yields the reconstruction of the surface from the given data points. We compare our method to the extensively used Iterative Closest Points method on several different anatomical datasets/SSMs (brain, femur, tibia, hip, liver) and demonstrate superior accuracy and robustness on sparse data

Beschreibung von Organgrenzen als Äquipotentialverlauf finiter Quellpunkte mit Q/r-Potentialen

In dieser Arbeit wurde ein neues Verfahren zur komprimierten Beschreibung bereits bekannter Konturlinien kompakter menschlicher Organe und zu deren verbesserter Anpassung an die in individuellen medizinischen Bild-Datensätzen erkennbaren Kantenlinien entwickelt. Dazu wurden physikalisch motivierte mathematische Beschreibungen, hier die durch Äquipotentiallinien und -flächen elektrischer Felder, mit der Bildverarbeitung verknüpft. Die Potentialtheorie liefert die flexible Basis, um kompakte, geschlossene Organe zu modellieren. Zu diesem Zweck wird eine Verteilung von virtuellen Quellpunkten generiert, die über ein Q r -Potential verfügen. Die betrachtete Organschicht schneidet die gemeinsame Äquipotentialfläche und liefert eine Äquipotentiallinie, die den Organrand nachbildet. Die Überführung in eine Äquipotentialdarstellung geschieht mit bereits manuell segmentierten Organen. Die segmentierten Daten stammen von dem Voxelmodell ‘‘Laura’’, das als Grundlage für das ICRP-Referenzphantom RCP-AF verwendet wurde, und hat eine Auflösung von 1,875 x 1,875 x 5mm. Alle Programmierarbeiten wurden in der Interactive Data Language (IDL) 8.2 durchgeführt. Es werden Schichten von Herz, Magen, Blase und Niere mittels Quellenverteilungen modelliert. Eine Darstellung der Organe mittels dieser Methode liefert folgende Vorteile. Die Konstellation an virtuellen Quellpunkten ist intuitiv erfassbar. Die Modellierung mit virtuellen Quellpunkten stellt eine sehr komprimierte Art der Datenspeicherung dar und ist auflösungsunabhängig. Im Bereich hochaufgelöster Datensätze ist dies ein wesentlicher Vorteil. Es genügen die Koordinaten der Quellpunkte, ihre Stärken und eine Potentialangabe. Die Form lässt sich über die Lage und Anzahl der Quellpunkte verändern. Eine Ähnlichkeitstransformation und eine Innerhalb/Außerhalb-Entscheidung sind möglich. Der Einsatz von Standard-Computersystemen sowie die Übertragbarkeit der Daten über gängige Systeme, z.B. derzeitige Internetprotokolle, wäre damit gegeben. Eine Überführung in ein Voxelmodell ist problemlos möglich. Die Potentialflächen sind kontinuierlich und müssen mit Voxeln gefüllt werden. Eine Generierung verschiedener Modelle mit unterschiedlicher Auflösung ist möglich. Gegenüber der Voxeldarstellung von Organgrenzen verspricht das Konzept der Äquipotentialdarstellung eine Zeitersparnis a) bei der interaktiven Anpassung, b) beim Datentransfer und c) bei der Innerhalb/Außerhalb-Entscheidung für Interaktionspunkte im Laufe von Monte-Carlo-Simulationen der Berechnung von Organdosen. Die ermittelten Quellenverteilungen der modellierten Organe werden anschließend in den individuellen CT-Datensatz eingebracht, um die bereits vorhanden Segmentierung der Organgrenzen ausgewählter Schichten nochmals zu verbessern. Dazu werden die Quellpunkte anhand der vorhandenen, detektierten Kanten neu justiert, um eine optimale Platzierung zu generieren. Wo es keine erkennbaren Kanten im Schichtbild gibt, verbleiben die Quellen an ihrem Platz. Das Modell wird nicht verzerrt und kann bei Bedarf manuell ausgerichtet werden. Die gemeinsame Äquipotentiallinie bildet den segmentierten Rand und überbrückt die Gebiete, in denen keine Kanten im medizinischen Bild zu sehen sind, aber ein Organ an ein anderes grenzt. Die Güte der Anpassung der so ermittelten Äquipotentiallinien an die wirklichen Organgrenzen übertrifft nicht selten diejenige, die man durch die Anpassung der Äquipotentiallinien an die bereits voxelierte Organgrenzlinien erhält. Die Anpassung der durch das Potentialmodell bereits beschriebenen Organkonturlinien an die in individuellen medizinischen Bildaten erkennbaren Kanten kann man als zweite Näherung im Rahmen der Segmentierung bezeichnen; ihr Anwendungsgebiet ist die Individualisierung der Darstellung von Organkonturen. Obwohl dieser Algorithmus ein komplexes Wissen in die Bearbeitung einbringt, besteht weiterhin die Möglichkeit, manuell zu interagieren. Ein direktes Zugreifen auf die Quellpunkte ist möglich und sinnvoll, da es auch bei trainierten Algorithmen zu Fehlerkennungen in der Analyse der Organe kommt. Da nur der Quellpunkt selber verschoben werden muss, nicht z.B. die Interpolationspunkte von Splines auf dem Organrand, stellt dies einen akzeptablen manuellen Aufwand dar, der geringer ist als die Kombination von grauwertbasierten Techniken mit Splines. Es ist auch möglich, die Quellstärke anzupassen und auf diese Weise die Äquipotentiallinie zu verschieben. Dafür muss keine Umwandlung in eine andere Modellform vorgenommen werden oder die Organabgrenzung neu approximiert werden. Für die Strahlentherapie, in der die persönliche Verantwortung über die Segmentierungsarbeit bei den Ärzten liegt, ist eine manuelle Überprüfung und Bearbeitungsmöglichkeit unabdingbar. Die vorgestellte Methode liefert somit gute Resultate für die automatische Modellierung und die verbesserte Segmentierung kompakter konvexer Organe. Damit ist eine flexible Basis für weitere Anpassungen an verschiedene Aufgabenstellungen geschaffen. Die Möglichkeit zu einer einfachen Ähnlichkeitstransformation der im Äquipotentialmodell dargestellten Organkonturen lässt sich auch bei der Anpassung von Organkonturen, z.B. an unterschiedliche Lebensalter oder an Unterschiede im Körpergewicht, als Mittel zur Zeitersparnis verwenden. Somit dient die in dieser Arbeit vorgestellte Äquipotentialdarstellung der Organkonturen gleichermaßen dem herkömmlichen Zweck der Organdosisberechnungen im Strahlenschutz als auch der immer aktueller werdenden Aufgabe der komprimierten digitalen Übermittlung von Organkonturen zu medizinischen Zwecken. Die vorliegende Betrachtung beschränkt sich auf die zweidimensionale Beschreibung der Organgrenzen und schlägt die dreidimensionale Darstellung mittels einer Normierungsmatrix für die Potentiale auf dem Organrand vor. Der Algorithmus beinhaltet ein komplexes Modellwissen und kann als “High Level”-Algorithmus angesehen werden.The scope of the dissertation is to introduce a new method for organ contour modelling and segmentation in radiology and radiation protection. The method makes use of functions customary in physics, in this case the equipotential lines caused by a distribution of point sources. The mathematical description of electrical fields is transferred to virtual anatomy modelling and image segmentation. Each source point is assumed to have a Q/r potential, and the distribution of point sources is so optimized that one of their resulting equipotential lines traces the given organ contour. Therefore, the source points are placed in accordance to an organ border in a human voxel phantom that had previously been generated from 2-dimensional CT images of a real patient. The results for several closed and compact organs shall be presented, appropriate models for the contours for e.g. heart, stomach and bladder were generated. After the creation of the organ contour by source points these new organ models shall be adapted to the segmentation of organs from medical images. The distribution of source points is transferred to CT data, and the edges of the images are overlain with the equipotential line. The source points are able to move within a given area, thereby the equipotential line is editable. The principle of electrical fields offers an aspect that serves as criteria for optimising the place of a source point. Their field lines are perpendicular to the equipotential lines and lead in radial direction from the source point. The edge detection of the medical images is performed by means of gradient methods which provide vectors of the edge directions. The single source points shall be adjusted to the vectors of the edges and put on an optimised place. The resulting match of the equipotential line with the detectable edges is considered in the optimisation process and aimed to maximise. A better tracing of the equipotential lines with the existing edges is expected and the results of the suggested outlines for several organ will be presented in 2D slices of the CT data. The organ modelling by equipotential lines provides the advantages of compacted data and of the mathematical continuity of the equipotential lines, different from the limited resolution of voxelised organ contours

Novel Methods for Multi-Shape Analysis

Multi-shape analysis has the objective to recognise, classify, or quantify morphological patterns or regularities within a set of shapes of a particular object class in order to better understand the object class of interest. One important aspect of multi-shape analysis are Statistical Shape Models (SSMs), where a collection of shapes is analysed and modelled within a statistical framework. SSMs can be used as (statistical) prior that describes which shapes are more likely and which shapes are less likely to be plausible instances of the object class of interest. Assuming that the object class of interest is known, such a prior can for example be used in order to reconstruct a three-dimensional surface from only a few known surface points. One relevant application of this surface reconstruction is 3D image segmentation in medical imaging, where the anatomical structure of interest is known a-priori and the surface points are obtained (either automatically or manually) from images. Frequently, Point Distribution Models (PDMs) are used to represent the distribution of shapes, where each shape is discretised and represented as labelled point set. With that, a shape can be interpreted as an element of a vector space, the so-called shape space, and the shape distribution in shape space can be estimated from a collection of given shape samples. One crucial aspect for the creation of PDMs that is tackled in this thesis is how to establish (bijective) correspondences across the collection of training shapes. Evaluated on brain shapes, the proposed method results in an improved model quality compared to existing approaches whilst at the same time being superior with respect to runtime. The second aspect considered in this work is how to learn a low-dimensional subspace of the shape space that is close to the training shapes, where all factors spanning this subspace have local support. Compared to previous work, the proposed method models the local support regions implicitly, such that no initialisation of the size and location of these regions is necessary, which is advantageous in scenarios where this information is not available. The third topic covered in this thesis is how to use an SSM in order to reconstruct a surface from only few surface points. By using a Gaussian Mixture Model (GMM) with anisotropic covariance matrices, which are oriented according to the surface normals, a more surface-oriented fitting is achieved compared to a purely point-based fitting when using the common Iterative Closest Point (ICP) algorithm. In comparison to ICP we find that the GMM-based approach gives superior accuracy and robustness on sparse data. Furthermore, this work covers the transformation synchronisation method, which is a procedure for removing noise that accounts for transitive inconsistency in the set of pairwise linear transformations. One interesting application of this methodology that is relevant in the context of multi-shape analysis is to solve the multi-alignment problem in an unbiased/reference-free manner. Moreover, by introducing an improvement of the numerical stability, the methodology can be used to solve the (affine) multi-image registration problem from pairwise registrations. Compared to reference-based multi-image registration, the proposed approach leads to an improved registration accuracy and is unbiased/reference-free, which makes it ideal for statistical analyses

Interactive Shape Models

Supervised segmentation methods in which a model of the shape of an object and its gray-level appearance is used to segment new images have become popular techniques in medical image segmentation. However, the results of these methods are not always accurate enough. We show how to extend one of these segmentation methods, active shape models (ASM) so that user interaction can be incorporated. In this interactive shape model (iASM), a user drags points to their correct position thus guiding the segmentation process. Experiments for three medical segmentation tasks are presented: segmenting lung fields in chest radiographs, hand outlines in hand radiographs and thrombus in abdominal aorta aneurysms from CTA data. By only fixing a small number of points, the part of sufficiently accurate segmentations can be increased from 20-70% for no interaction to over 95%. We believe that iASM can be used in many clinical applications