The state-of-the-art in ultrasound-guided spine interventions.

During the last two decades, intra-operative ultrasound (iUS) imaging has been employed for various surgical procedures of the spine, including spinal fusion and needle injections. Accurate and efficient registration of pre-operative computed tomography or magnetic resonance images with iUS images are key elements in the success of iUS-based spine navigation. While widely investigated in research, iUS-based spine navigation has not yet been established in the clinic. This is due to several factors including the lack of a standard methodology for the assessment of accuracy, robustness, reliability, and usability of the registration method. To address these issues, we present a systematic review of the state-of-the-art techniques for iUS-guided registration in spinal image-guided surgery (IGS). The review follows a new taxonomy based on the four steps involved in the surgical workflow that include pre-processing, registration initialization, estimation of the required patient to image transformation, and a visualization process. We provide a detailed analysis of the measurements in terms of accuracy, robustness, reliability, and usability that need to be met during the evaluation of a spinal IGS framework. Although this review is focused on spinal navigation, we expect similar evaluation criteria to be relevant for other IGS applications

Medical Image Registration Using Deep Neural Networks

Registration is a fundamental problem in medical image analysis wherein images are transformed spatially to align corresponding anatomical structures in each image. Recently, the development of learning-based methods, which exploit deep neural networks and can outperform classical iterative methods, has received considerable interest from the research community. This interest is due in part to the substantially reduced computational requirements that learning-based methods have during inference, which makes them particularly well-suited to real-time registration applications. Despite these successes, learning-based methods can perform poorly when applied to images from different modalities where intensity characteristics can vary greatly, such as in magnetic resonance and ultrasound imaging. Moreover, registration performance is often demonstrated on well-curated datasets, closely matching the distribution of the training data. This makes it difficult to determine whether demonstrated performance accurately represents the generalization and robustness required for clinical use. This thesis presents learning-based methods which address the aforementioned difficulties by utilizing intuitive point-set-based representations, user interaction and meta-learning-based training strategies. Primarily, this is demonstrated with a focus on the non-rigid registration of 3D magnetic resonance imaging to sparse 2D transrectal ultrasound images to assist in the delivery of targeted prostate biopsies. While conventional systematic prostate biopsy methods can require many samples to be taken to confidently produce a diagnosis, tumor-targeted approaches have shown improved patient, diagnostic, and disease management outcomes with fewer samples. However, the available intraoperative transrectal ultrasound imaging alone is insufficient for accurate targeted guidance. As such, this exemplar application is used to illustrate the effectiveness of sparse, interactively-acquired ultrasound imaging for real-time, interventional registration. The presented methods are found to improve registration accuracy, relative to state-of-the-art, with substantially lower computation time and require a fraction of the data at inference. As a result, these methods are particularly attractive given their potential for real-time registration in interventional applications

Book of Abstracts 15th International Symposium on Computer Methods in Biomechanics and Biomedical Engineering and 3rd Conference on Imaging and Visualization

In this edition, the two events will run together as a single conference, highlighting the strong connection with the Taylor & Francis journals: Computer Methods in Biomechanics and Biomedical Engineering (John Middleton and Christopher Jacobs, Eds.) and Computer Methods in Biomechanics and Biomedical Engineering: Imaging and Visualization (JoãoManuel R.S. Tavares, Ed.). The conference has become a major international meeting on computational biomechanics, imaging andvisualization. In this edition, the main program includes 212 presentations. In addition, sixteen renowned researchers will give plenary keynotes, addressing current challenges in computational biomechanics and biomedical imaging. In Lisbon, for the first time, a session dedicated to award the winner of the Best Paper in CMBBE Journal will take place. We believe that CMBBE2018 will have a strong impact on the development of computational biomechanics and biomedical imaging and visualization, identifying emerging areas of research and promoting the collaboration and networking between participants. This impact is evidenced through the well-known research groups, commercial companies and scientific organizations, who continue to support and sponsor the CMBBE meeting series. In fact, the conference is enriched with five workshops on specific scientific topics and commercial software.info:eu-repo/semantics/draf

Fusion multimodale d'images pour la reconstruction et la modélisation géométrique 3D du tronc humain

RÉSUMÉ La fusion multimodale d'images est un sujet de grand intérêt dans le domaine de la vision par ordinateur et a des applications dans divers domaines tels que la surveillance et l'imagerie médicale. En imagerie médicale, la fusion multimodale d'images est une étape importante, car les différentes images utilisées offrent de l'information complémentaire et utile pour la planification du traitement d'un patient. Par exemple, le recalage entre différentes modalités d'images à résonance magnétique (RM) du cerveau résulte en une superposition d'information morphologique et fonctionnelle. En cardiologie, le recalage multimodal permet une mise à jour d'un modèle préopératoire de la vascularisation des patients, obtenu à partir d'images RM ou tomographiques, avec des angiographies acquises dans la salle d'opération. Le recalage d'images multimodales permet aussi la construction d'un modèle complet du tronc pour la simulation numérique de traitements orthopédiques de déformations scoliotiques. La scoliose idiopathique est une maladie caractérisée par une courbure complexe de la colonne vertébrale qui peut affecter les fonctions physiques du patient nécessitant parfois une chirurgie. Les chirurgiens se fient sur des mesures obtenues à partir d'images radiographiques pour planifier la correction de la colonne. Par contre, suite à cette correction, une asymétrie du tronc peut persister. Il est donc utile de concevoir un simulateur de chirurgie afin de prédire l'effet de la correction chirurgicale sur l'apparence externe du tronc. Des travaux de recherche en cours visent à vérifier si la réaction de l'ensemble des structures anatomiques incluant les tissus mous face à une correction de la courbure de la colonne a un impact sur le résultat obtenu à la surface externe du tronc. Ces travaux nécessitent la génération d'un modèle géométrique du tronc entier y incluant les tissus mous afin de permettre la simulation de la propagation de l'effet d'une chirurgie de la colonne sur l'apparence externe du patient, fournissant ainsi aux chirurgiens un modèle pour la planification d'une chirurgie. Par conséquent, il est nécessaire de générer un modèle géométrique du tronc qui pourrait intégrer les structures osseuses extraites à partir d'images radiographies (RX), les tissus mous extraits à partir d'images RM et la surface externe du tronc obtenue à partir d'images de topographie de surface (TP) acquise à l'aide de caméras 3D. Ce modèle nécessite un recalage entre ces différentes modalités d'images. Le recalage entre les images RM, RX et TP du tronc humain implique plusieurs difficultés. Premièrement, les images sont acquises à des moments ainsi qu'avec des postures différentes. Par exemple, les images RM sont acquises en position couchée, tandis que les images RX et TP sont acquises en position debout. Cette différence de posture entraîne des déformations non-rigides dans les structures anatomiques du tronc dont le recalage doit en tenir compte. De plus, les structures contenues dans le tronc humain n'ont pas toutes les mêmes caractéristiques physiques et, par conséquent, ne se déforment pas toutes de la même façon. En particulier, les vertèbres sont des structures rigides tandis que les tissus mous se déforment de façon non-rigide. Deuxièmement, il y a un manque de repères anatomiques correspondants entre les différentes images, puisque ces images montrent des informations complémentaires. Finalement, l'acquisition des images RM n'est pas toujours possible pour les patients scoliotiques à cause du manque de disponibilité des systèmes en clinique. De plus, la longue durée des acquisitions cause un manque de confort auprès des patientes. En effet, aucune des méthodes de recalage existantes n'effectue le recalage entre les images RM et RX tout en tenant compte du changement de posture entre les acquisitions, et aucune des méthodes n'effectue le recalage d'images TP, RX et RM du tronc humain. Ce document propose une méthodologie pour la génération d'un modèle géométrique du tronc complet d'un patient scoliotique. Le modèle géométrique sera généré en fusionnant, par recalage élastique, des images RX, des images RM et des images TP d'un patient, tout en tenant compte du manque de correspondances anatomiques ainsi que des déformations dues au changement de posture entre les acquisitions d'images. Dans une première phase, un recalage est effectué entre la colonne vertébrale extraite à partir des images RM et celle extraite à partir des images RX en compensant pour les changements dus à la différence de posture. La transformation semi-rigide de la colonne vertébrale est effectuée à l'aide d'un modèle articulé, ce dernier étant défini de la façon suivante: pour chaque vertèbre, un système de coordonnées local est construit à partir de repères vertébraux. Des transformations intervertébrales locales et rigides sont ensuite obtenues en calculant les transformations entre les systèmes de coordonnées locaux des vertèbres adjacentes. Finalement, la transformation globale entre chaque vertèbre extraite à partir de l'image RM et la vertèbre correspondante extraite à partir de l'image RX est obtenue en concaténant les transformations locales. La validation a été effectuée sur 14 patientes scoliotiques en comparant la méthode proposée avec un recalage rigide. La précision du recalage des vertèbres thoraciques et lombaires est validée en calculant l'erreur cible entre des points de repère extraits à partir des corps vertébraux. L'erreur moyenne cible a diminué de 10,73 mm dans le cas du recalage rigide jusqu'à 4,53 mm dans le cas du recalage avec modèle articulé. De plus, les angles de Cobb obtenus à partir des images RM sont comparés à ceux obtenus à partir des images RX dans le plan latéral et frontal, au niveau thoracique et lombaire, ceci avant et après le recalage. Les différences entre tous les angles de Cobb des deux modalités d'images étaient toujours au-delà de 10,0° suite au recalage rigide, tandis que ces différences ont baissé en dessous de 1,0° suite au recalage avec la méthode proposée. Finalement, en comparant les courbures de la colonne entre les positions couchée et debout, nous avons remarqué une diminution significative dans l'angle de Cobb lorsque le patient est en position couchée. Cette diminution était au-delà de 10,0° dans les deux plans et dans les deux régions de la colonne. Ces différences d'angles confirment les résultats obtenus dans la littérature montrant que la courbure de la colonne est atténuée lorsque le patient est en position couchée. De plus, la diminution dans les erreurs de recalage lorsque la méthode proposée est utilisée démontre que cette méthode réussit à recaler les structures vertébrales entre les images RM et RX tout en compensant pour le changement de posture qui se fait entre les deux acquisitions. Dans une deuxième phase, les images RM, RX et TP d'un même patient sont recalées afin d'obtenir un modèle géométrique complet d'un patient qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc. Tout d'abord, les images TP sont recalées aux images RX en utilisant une fonction spline plaque-mince et à l'aide de points correspondants placés sur la surface du tronc du patient avant l'acquisition des deux modalités d'images. Ensuite, les images RM sont incorporées en se servant d'une transformation du modèle articulé suivi d'un recalage avec une spline plaque-mince contrainte afin de tenir compte de la rigidité des vertèbres. La qualité du recalage entre les images RM et TP est quantifiée pour trois patients scoliotiques avec l'indice DICE, celui-ci mesurant le chevauchement entre les tranches d'images RM et l'espace contenu dans l'image TP, et étant défini comme le ratio entre le double de l'intersection et l'union. L'indice DICE varie entre 0 et 1, où la valeur de 0 indique qu'il n'y a aucun chevauchement et une valeur de 1 indique qu'il y a un chevauchement parfait. Une valeur de 0,7 est considérée comme un chevauchement adéquat. Le recalage avec la méthode proposée est comparé au recalage rigide ainsi qu'au recalage articulé simple. Une valeur DICE moyenne de 0,95 est obtenue pour la méthode proposée, démontrant un excellent chevauchement et une amélioration comparativement à la valeur de 0,82 dans le cas du modèle articulé simple et de 0,84 dans le cas du recalage rigide. Donc, la méthode de recalage proposée réussit à fusionner les données sur les structures osseuses, les tissus mous, ainsi que la surface externe du tronc à partir des images RM, RX et TP, tout en compensant pour le changement de posture entre ces acquisitions. Dans une troisième phase, un recalage inter-patient permet de compléter un modèle tridimensionnel partiel personnalisé du tronc d'un patient à partir d'une fusion des images RX et TP du patient et des images RM d'un modèle générique obtenu en suivant la méthodologie proposée. Premièrement, un patient ayant un modèle géométrique complet qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc est désigné en tant que modèle générique. Deuxièmement, un modèle personnalisé partiel d'un autre patient est obtenu en recalant les images TP aux images RX à l'aide d'une fonction spline plaque-mince. Troisièmement, les images RM du modèle générique sont incorporées dans le modèle personnalisé partiel de ce patient à l'aide du modèle articulé ainsi que de la déformation spline plaque-mince contrainte. L'indice DICE est utilisé afin de mesurer le chevauchement entre les images TP du patient et les images RM incorporées suite au recalage inter-patient à partir du modèle générique. De plus, le chevauchement est calculé entre les images RM incorporées suite au recalage inter-patient à partir du modèle générique et les images RM réelles du patient suite au recalage intra-patient. Les résultats montrent une diminution générale significative de l'indice DICE comparativement au recalage intra-patient. Par contre, les valeurs obtenues sont plus élevées que 0,7, ce qui est adéquat. Le chevauchement a aussi été mesuré entre le gras segmenté à partir des images RM suite au recalage inter-patient et les images RM réelles du patient suite au recalage intra-patient, et des valeurs inférieures à 0,7 sont obtenues. Ceci peut être expliqué par le fait que ratio faible entre la circonférence et l'aire des structures analysées a pour effet de diminuer les valeurs DICE. La méthodologie proposée fournit un cadre qui permet de construire un modèle complet du tronc sans avoir besoin d'une acquisition d'images RM pour chaque patient. Le modèle complet obtenu inclut les structures osseuses, les tissus mous ainsi que la surface du tronc complet d'un patient scoliotique. Ce modèle peut être incorporé dans le simulateur chirurgical qui est en cours de développement, afin de tenir compte des tissus mous dans la simulation de l'effet d'un traitement de la colonne vertébrale sur la surface du tronc d'un patient. Cependant, la précision du recalage pourrait être améliorée en se servant d'un maillage adaptatif tridimensionnel des tissus mous tout en incorporant des indices de rigidité pour chacun des tissus.---------ABSTRACT Multimodal image fusion is a topic of great interest in the field of computer vision and has applications in a wide range of areas such as video surveillance and medical imaging. In medical imaging applications, multimodal image fusion is an important task since different image modalities can be used in order to provide additional information and are thus useful for the treatment of patients. For example, the registration between different magnetic resonance (MR) image modalities of the brain results in a model that incorporates both anatomical and functional information. In cardiology, the multimodal registration allows an up-to-date 3D preoperative model of patients, obtained from computed tomography or MR images, with angiograms acquired in the operating room. The multimodal image registration also allows for the construction of a complete model of the trunk for the simulation of orthopedic treatments for scoliotic deformations. Idiopathic scoliosis is a disease characterized by a complex curvature of the spine which can affect the physical functioning of the patient, sometimes requiring surgery. Surgeons rely on measurements obtained from radiographic images in order plan the surgical correction of the vertebral column. However, following such a correction, an asymmetry of the trunk may persist. It would therefore be useful to develop a surgical simulator in order to predict the effect of a surgical correction on the external appearance of the trunk. Research is underway that aims to verify whether the reaction of all anatomical structures including the soft tissues following a correction of the curvature of the spine has an impact on the result obtained at the external surface of the torso. This research requires the design of a geometric model of the entire trunk that also incorporates soft tissues in order to allow for the simulation of the propagation of the effect of spine surgery on the external appearance of the patient, thus providing surgeons with a model for surgical planning. Therefore, it is necessary to obtain a geometric model of the trunk that would integrate the bone structures extracted from X-ray images, soft tissues extracted from MR images and the trunk surface obtained from surface topography (TP) data acquired using 3D cameras. This complete model requires the registration between the different imaging modalities. The registration between the MR, X-ray and TP images is subject to several difficulties. Firstly, these images are acquired at different times and in different postures. For example, MR images are acquired in prone position, whereas the TP and X-ray images are acquired in standing position. This difference in posture causes non-rigid deformations in the anatomical structures of the trunk that must be taken into consideration during registration. Moreover, the structures contained in the human body do not have the same physical characteristics, and therefore do not deform all in the same manner. In particular, the vertebrae are rigid structures, while soft tissues deform non-rigidly. Secondly, there is a lack of corresponding anatomical landmarks between the different images, as these images contain non-overlapping anatomical information. Thirdly, the acquisition of MR images is not always possible for patients with scoliosis due to the lack of availability of such acquisition systems in clinical settings. In addition, the lengthy acquisition time causes patient discomfort. In fact, none of the existing registration methods registers X-ray and MR images while taking into account the change in posture between acquisitions, and none of the methods registers TP, MR and X-ray images of the human trunk. This document proposes a methodology for generating a complete geometric model of the trunk of a patient with scoliosis. The geometric model is developed using the non-rigid registration of X-ray, TP and MR images, while taking into account the lack of anatomical correspondences between the image modalities, and the non-rigid deformation that occurs due to a posture change between the image acquisitions. In the first phase, the shape of the spine extracted from MR images is registered to that extracted from the X-ray images all while compensating for spine shape changes that are due to the difference in posture between the acquisition of the two modalities. The semi-rigid transformation of the spine is obtained by means of an articulated model registration which is defined as follows: For each vertebra, a local coordinate system is constructed from vertebral landmarks. Local rigid inter-vertebral transformations are then obtained by computing the transformations between the local coordinate systems of adjacent vertebrae. Finally, the global transformation between each vertebra extracted from the MR images and the corresponding vertebra extracted from the X-ray images is obtained by concatenating the local transformations. The validation is performed using 14 patients with scoliosis by comparing the proposed method with rigid registration. Registration accuracy in the thoracic and lumbar areas is validated by calculating the target registration error between correspondence points extracted from the vertebral bodies. The average error decreased from 10.73 mm in the case of rigid registration to 4.53 mm in the case of registration using the proposed articulated model. In addition, Cobb angles obtained from MR image reconstructions are compared with those obtained from X-ray image reconstructions in the lateral and frontal views and in the thoracic and lumbar areas of the spine, both before and after registration. The differences between all Cobb angles of the two imaging modalities were above 10.0° following rigid registration, whereas these differences fell below 1.0° following registration using the proposed method. Finally, when comparing the curvatures of the spine between the prone and standing postures, we noticed a significant decrease in the Cobb angle when the patient is lying down. This decrease was above the 10.0° in both views and in both regions of the spine. These angle differences confirm the results obtained in the literature showing that the curvature of the spine is attenuated when the patient is lying down. Moreover, the decrease in registration errors when the proposed method is used shows that this method successfully aligns the spine between MR and X-ray images all while compensating for the change in posture that occurs between the two acquisitions. In the second phase, the TP, X-ray and MR images of the same patient are registered in order to obtain a full geometric model of the entire torso which incorporates the bone structures, soft tissue, as well as the external surface of the trunk. Firstly, the TP and X-ray images are aligned using a thin-plate spline and landmarks placed on the surface of the trunk of the patient prior to the acquisition of the two imaging modalities. Secondly, MR images are incorporated into the model using the articulated model followed by a thin-plate spline registration constrained in order to maintain the stiffness of the vertebrae. The quality of registration between the MR and the TP images is verified for 3 patients with scoliosis with the DICE index à, which measures the overlap between the MRI slices and the space contained within the TP image. The DICE index varies between 0 and 1, where the value of 0 indicates that there is no overlap and a value of 1 indicates a perfect overlap. A value of 0.7 is considered suitable overlap. The proposed method is compared to rigid registration and registration a simple articulated model. An average DICE value of 0.95 is obtained when the proposed method is used, showing excellent overlap and a significant improvement compared to 0.82 in the case of simple articulated model registration and 0.84 in the case of rigid registration. Therefore, the proposed registration method succeeds in incorporating bone structures, soft tissues, and the external surface of the trunk using MR, X-ray and TP images all while compensating for the change in posture that occurs between these acquisitions. In the third phase, inter-patient registration allows for the completion of a personalized three-dimensional partial model of the trunk of a patient by registering TP and X-ray images of the patient with the MR images of a generic model that is obtained by following the proposed methodology. Firstly, a patient having a full geometric model which incorporates the bone structures, soft tissues, as well as the external surface of the trunk is designated as the generic model. Secondly, a partial personalized model of another patient is obtained by registering the X-ray and TP images of the patient using a thin-plate spline function. Thirdly, MR images of the generic model are incorporated into the partial personalized model of the test patient using the articulated model transformation and the constrained thin-plate spline deformation. The DICE index is used in order to measure the overlap between the TP images of the patient and the MR images from the generic model following inter-patient registration. Moreover, the overlap between the MR images from the generic model following inter-patient registration and the patient's real MR images is measured. The results show a significant overall decrease in the DICE index compared to intra-patient registration. However, the values obtained are higher than 0.7, which is considered adequate. The overlap was also measured between fat tissues segmented from MR images registered from the generic model and the patient's own registered MR images, and values below 0.7 are obtained. However, this lack of overlap can be explained by the fact that the low circumference to area ratio of the structures being analysed leads to inherently lower DICE values. The methodology proposed here allows for a framework in which, upon the use of a larger database of patients, a complete model of the trunk can be built without the need for MR image acquisition for each patient. The complete model obtained includes the bone structures, soft tissues and the complete surface of the trunk of scoliotic patients. This model can be incorporated into the surgical simulator which is under development, in order to take soft tissues into account while simulating the effect of spine instrumentation on the external surface of the patient's trunk. However, the precision of the registration can be improved by using a 3 dimensional adaptive mesh of the soft tissues all while incorporating tissue-specific stiffness factors

Analyse automatique des images échographiques de la colonne vertébrale

Résumé L'échographie est une modalité d'imagerie médicale généralement utilisée pour visualiser les tissus mous dans différentes applications cliniques. Cette technique est très avantageuse étant donné son faible coût, sa portabilité et surtout l'absence de rayons ionisants pour former des images. Cependant, le contenu de ces images est complexe et peut être difficile à interpréter même pour un expert. De plus, afin d'obtenir des images échographiques exploitables, un positionnement adéquat de la sonde est nécessaire lors de l'acquisition. Ces deux inconvénients sont encore plus importants lors de l'acquisition d’images de structures osseuses. Ces structures réfléchissent entièrement les ondes ultrasonores, créant ainsi des surfaces très brillantes et des ombres acoustiques en dessous d'elles, rendant ainsi leur interprétation encore plus complexe. Dans le cas d’une vertèbre, la surface de l'apophyse épineuse est tellement petite que sa brillance est particulièrement dépendante de l'orientation et de la position de la sonde. D'autre part, la forme complexe de la vertèbre rend la frontière de son ombre acoustique plus difficile à définir. Cependant l'utilisation de l'échographie de la colonne vertébrale à la place de radiographies lors du suivi clinique de patients atteints de scoliose pourrait réduire le cumul de radiation. Plusieurs méthodes utilisant l'échographie ont été développées ces dernières années afin d’évaluer la scoliose ou de réajuster le corset pour des patients atteints de scoliose idiopathique adolescente (SIA). Ces méthodes requièrent des images de bonne qualité et une segmentation manuelle du contenu. Dans ce projet, nous proposons d’effectuer une analyse automatique des images échographiques vertébrales afin de comprendre le modèle de formation de ces images et de segmenter automatiquement les structures d’intérêt. Dans un premier temps, nous avons développé une méthode de segmentation automatique de l'apophyse épineuse et de l'ombre acoustique dans les images échographiques vertébrales afin d'aider l'utilisateur à interpréter ce type d'images. Cette méthode s'appuie, tout d'abord, sur l’extraction de différentes caractéristiques et leur validation afin de sélectionner l’ensemble le plus pertinent. Puis un classifieur est utilisé afin d'associer chaque pixel de l'image à une des trois régions suivantes : apophyse épineuse, ombre acoustique ou autres tissus. Finalement, une étape de régularisation est appliquée afin de prendre en compte les différentes propriétés des vertèbres. Nous avions une base de données contenant 181 images échographiques, mais nous n'en avons utilisé que 107, car seules celles-ci avaient une qualité acceptable. Un taux de classification de 84% pour l’apophyse épineuse et de 92% pour l’ombre acoustique ont été obtenus. De plus, le centroïde de l’apophyse épineuse segmentée se trouvait en moyenne à 0.38 mm de celui de la vérité terrain, provenant d’une segmentation manuelle validée par un radiologue. Nous avons aussi évalué la précision de la méthode proposée en comparant les régions segmentées automatiquement à celles délimitées manuellement et avons obtenu un coefficient de similarité DICE de 0.88 pour l’ombre acoustique et de 0.72 pour l’apophyse épineuse.----------Abstract Ultrasound (US) imaging is a medical imaging modality that is often used to visualize soft tissues in the human body in various clinical applications. This technique has several important advantages, in particular its low cost, portability, and the fact that it is radiation-free. However, the content of US images is rather complex and can be hard to interpret even for an expert. Furthermore, the quality of the content of US images will depend of the positioning of the probe during the acquisition. When measuring bone surfaces, these two disadvantages are accentuated. Indeed, the acoustic waves are entirely reflected by these hard structures, thereby creating bright surfaces with acoustic shadows below them, which make the interpretation of such images even more challenging. In the case of a vertebra, the surface of the spinous process is so small that its appearance in US images will strongly depend on the orientation and position of the probe. Moreover, it can be difficult to determine the boundary of the acoustic shadow created by the bone structure given the complicated shape of the vertebra. Nevertheless, in the clinical monitoring of scoliosis, using US images of the spine instead of X-rays could be very useful to reduce the cumulative radiation received by patients. In recent years, several methods using US imaging to evaluate scoliosis, or to adjust the brace in the treatment of adolescent idiopathic scoliosis (AIS), have been developed. These methods require good quality images and use manual segmentation of the image content. In this project, we propose a framework for the automatic analysis of US images of the spine (vertebrae) that utilizes an image formation model and an automatic segmentation of the regions of interest. First, we developed an automatic segmentation method to detect the spinous process and the acoustic shadow in the US images, aimed at helping the end user interpret the images. This method uses feature extraction and selection process in order to determine the most relevant set of features. The aim of the classification task is to discriminate three different regions: spinous process, acoustic shadow and other tissues. An LDA classifier is used to assign each image pixel to one of the three regions. Finally, we apply a regularization step which exploits several properties of vertebrae. Using a database of 107 US images, we obtained a classification rate of 84% for the spinous process and 92% for the acoustic shadow. In addition, the centroid of the automatically segmented spinous process was located 0.38 mm on average from that of the ground truth, as provided by a manual labelling that was validated by a radiologist. We also compared the automatically and manually segmented regions and obtained DICE similarity coefficients of 0.72 and 0.88 for the spinous process and acoustic shadow respectively

Traitement d'images de radiographie à faible dose : Débruitage et rehaussement de contraste conjoints et détection automatique de points de repère anatomiques pour l'estimation de la qualité des images

We aim at reducing the ALARA (As Low As Reasonably Achievable) dose limits for images acquired with EOS full-body system by means of image processing techniques. Two complementary approaches are studied. First, we define a post-processing method that optimizes the trade-off between acquired image quality and X-ray dose. The Non-Local means filter is extended to restore EOS images. We then study how to combine it with a multi-scale contrast enhancement technique. The image quality for the diagnosis is optimized by defining non-parametric noise containment maps that limit the increase of noise depending on the amount of local redundant information captured by the filter. Secondly, we estimate exposure index (EI) values on EOS images which give an immediate feedback on image quality to help radiographers to verify the correct exposure level of the X-ray examination. We propose a landmark detection based approach that is more robust to potential outliers than existing methods as it exploits the redundancy of local estimates. Finally, the proposed joint denoising and contrast enhancement technique significantly increases the image quality with respect to an algorithm used in clinical routine. Robust image quality indicators can be automatically associated with clinical EOS images. Given the consistency of the measures assessed on preview images, these indices could be used to drive an exposure management system in charge of defining the optimal radiation exposure.Nos travaux portent sur la réduction de la dose de rayonnement lors d'examens réalisés avec le Système de radiologie EOS. Deux approches complémentaires sont étudiées. Dans un premier temps, nous proposons une méthode de débruitage et de rehaussement de contraste conjoints pour optimiser le compromis entre la qualité des images et la dose de rayons X. Nous étendons le filtre à moyennes non locales pour restaurer les images EOS. Nous étudions ensuite comment combiner ce filtre à une méthode de rehaussement de contraste multi-échelles. La qualité des images cliniques est optimisée grâce à des fonctions limitant l'augmentation du bruit selon la quantité d’information locale redondante captée par le filtre. Dans un deuxième temps, nous estimons des indices d’exposition (EI) sur les images EOS afin de donner aux utilisateurs un retour immédiat sur la qualité de l'image acquise. Nous proposons ainsi une méthode reposant sur la détection de points de repère qui, grâce à l'exploitation de la redondance de mesures locales, est plus robuste à la présence de données aberrantes que les méthodes existantes. En conclusion, la méthode de débruitage et de rehaussement de contraste conjoints donne des meilleurs résultats que ceux obtenus par un algorithme exploité en routine clinique. La qualité des images EOS peut être quantifiée de manière robuste par des indices calculés automatiquement. Étant donnée la cohérence des mesures sur des images de pré-affichage, ces indices pourraient être utilisés en entrée d'un système de gestion automatique des expositions

ADVANCED MOTION MODELS FOR RIGID AND DEFORMABLE REGISTRATION IN IMAGE-GUIDED INTERVENTIONS

Image-guided surgery (IGS) has been a major area of interest in recent decades that continues to transform surgical interventions and enable safer, less invasive procedures. In the preoperative contexts, diagnostic imaging, including computed tomography (CT) and magnetic resonance (MR) imaging, offers a basis for surgical planning (e.g., definition of target, adjacent anatomy, and the surgical path or trajectory to the target). At the intraoperative stage, such preoperative images and the associated planning information are registered to intraoperative coordinates via a navigation system to enable visualization of (tracked) instrumentation relative to preoperative images. A major limitation to such an approach is that motions during surgery, either rigid motions of bones manipulated during orthopaedic surgery or brain soft-tissue deformation in neurosurgery, are not captured, diminishing the accuracy of navigation systems. This dissertation seeks to use intraoperative images (e.g., x-ray fluoroscopy and cone-beam CT) to provide more up-to-date anatomical context that properly reflects the state of the patient during interventions to improve the performance of IGS. Advanced motion models for inter-modality image registration are developed to improve the accuracy of both preoperative planning and intraoperative guidance for applications in orthopaedic pelvic trauma surgery and minimally invasive intracranial neurosurgery. Image registration algorithms are developed with increasing complexity of motion that can be accommodated (single-body rigid, multi-body rigid, and deformable) and increasing complexity of registration models (statistical models, physics-based models, and deep learning-based models). For orthopaedic pelvic trauma surgery, the dissertation includes work encompassing: (i) a series of statistical models to model shape and pose variations of one or more pelvic bones and an atlas of trajectory annotations; (ii) frameworks for automatic segmentation via registration of the statistical models to preoperative CT and planning of fixation trajectories and dislocation / fracture reduction; and (iii) 3D-2D guidance using intraoperative fluoroscopy. For intracranial neurosurgery, the dissertation includes three inter-modality deformable registrations using physic-based Demons and deep learning models for CT-guided and CBCT-guided procedures

Augmented Reality Assistance for Surgical Interventions using Optical See-Through Head-Mounted Displays

Augmented Reality (AR) offers an interactive user experience via enhancing the real world environment with computer-generated visual cues and other perceptual information. It has been applied to different applications, e.g. manufacturing, entertainment and healthcare, through different AR media. An Optical See-Through Head-Mounted Display (OST-HMD) is a specialized hardware for AR, where the computer-generated graphics can be overlaid directly onto the user's normal vision via optical combiners. Using OST-HMD for surgical intervention has many potential perceptual advantages. As a novel concept, many technical and clinical challenges exist for OST-HMD-based AR to be clinically useful, which motivates the work presented in this thesis. From the technical aspects, we first investigate the display calibration of OST-HMD, which is an indispensable procedure to create accurate AR overlay. We propose various methods to reduce the user-related error, improve robustness of the calibration, and remodel the calibration as a 3D-3D registration problem. Secondly, we devise methods and develop hardware prototype to increase the user's visual acuity of both real and virtual content through OST-HMD, to aid them in tasks that require high visual acuity, e.g. dental procedures. Thirdly, we investigate the occlusion caused by the OST-HMD hardware, which limits the user's peripheral vision. We propose to use alternative indicators to remind the user of unattended environment motion. From the clinical perspective, we identified many clinical use cases where OST-HMD-based AR is potentially helpful, developed applications integrated with current clinical systems, and conducted proof-of-concept evaluations. We first present a "virtual monitor'' for image-guided surgery. It can replace real radiology monitors in the operating room with easier user control and more flexibility in positioning. We evaluated the "virtual monitor'' for simulated percutaneous spine procedures. Secondly, we developed ARssist, an application for the bedside assistant in robotic surgery. The assistant can see the robotic instruments and endoscope within the patient body with ARssist. We evaluated the efficiency, safety and ergonomics of the assistant during two typical tasks: instrument insertion and manipulation. The performance for inexperienced users is significantly improved with ARssist, and for experienced users, the system significantly enhanced their confidence level. Lastly, we developed ARAMIS, which utilizes real-time 3D reconstruction and visualization to aid the laparoscopic surgeon. It demonstrates the concept of "X-ray see-through'' surgery. Our preliminary evaluation validated the application via a peg transfer task, and also showed significant improvement in hand-eye coordination. Overall, we have demonstrated that OST-HMD based AR application provides ergonomic improvements, e.g. hand-eye coordination. In challenging situations or for novice users, the improvements in ergonomic factors lead to improvement in task performance. With continuous effort as a community, optical see-through augmented reality technology will be a useful interventional aid in the near future