Multi-modal imaging in Ophthalmology: image processing methods for improving intra-ocular tumor treatment via MRI and Fundus image photography

The most common ocular tumors in the eye are retinoblastoma and uveal melanoma, affecting children and adults respectively, and spreading throughout the body if left untreated. To date, detection and treatment of such tumors rely mainly on two imaging modalities: Fundus Image Photography (Fundus) and Ultrasound (US), however, other image modalities such as Magnetic Resonance Imaging (MRI) and Computed Tomography (CT) are key to confirm a possible tumor spread outside the eye cavity. Current procedures to select the best treatment and follow-up are based on manual multimodal measures taken by clinicians. These tasks often require the manual annotation and delineation of eye structures and tumors, a rather tedious and time consuming endeavour, to be performed in multiple medical sequences simultaneously. ################################ This work presents a new set of image processing methods for improving multimodal evaluation of intra-ocular tumors in 3D MRI and 2D Fundus. We first introduce a novel technique for the automatic delineation of ocular structures and tumors in the 3D MRI. To this end, we present an Active Shape Model (ASM) built out of a dataset of healthy patients to demonstrate that the segmentation of ocular structures (e.g. the lens, the vitreous humor, the cornea and the sclera) can be performed in an accurate and robust manner. To validate these findings, we introduce a set of experiments to test the model performance on eyes with presence of endophytic retinoblastoma, and discover that the segmentation of healthy eye structures is possible, regardless of the presence of the tumor inside the eyes. Moreover, we propose a specific set of Eye Patient-specific eye features that can be extracted -- Le rétinoblastome et le mélanome uvéal sont les types de cancer oculaire les plus communs, touchant les enfants et adultes respectivement, et peuvent se répandre à travers l’organisme s’ils ne sont pas traités. Actuellement, le traitement pour la détection du rétinoblastome se base essentiellement à partir de deux modalites d’imagerie fond d’œil (Fundus) et l’ultrason (US). Cependant, d’autres modalités d’imagerie comme l’Imagerie par Résonance magnétique (IRM) et la Tomodensitométrie (TDM) sont clé pour confirmer la possible expansion du cancer en dehors de la cavité oculaire. Les techniques utilisées pour déterminer la tumeur oculaire, ainsi que le choix du traitement, se basent sur des mesures multimodales réalisées de manière manuelle par des médecins. Cette méthodologie manuelle est appliquée quotidiennement et continuellement pendant toute la durée de la maladie. Ce processus nécessite souvent la délinéation manuelle des structures ocularies et de la tumeur, un mécanisme laborieux et long, effectuée dans des multiples séquences médicales simultanées (par exemple : T1-weighted et T2-weighted IRM ...) qui augmentent la difficulté pour évaluer la maladie. Le présent travail présente une nouvelle série de techniques permettant d’améliorer l´évaluation multimodale de tumeurs oculaires en IRM et Fundus. Dans un premier temps, nous intro- duisons une méthode qui assure la délinéation automatique de la structure oculaire et de la tumeur dans un IRM 3D. Pour cela, nous présentons un Active Shape Model (ASM) construite à partir d’un ensemble de données de patients en bonne santé pour prouver que la segmenta- tion automatique de la structure oculaire (par exemple : le cristallin, l´humeur aqueuse, la cornée et la sclère) peut être réalisée de manière précise et robuste. Afin de valider ces résultats, nous introduisons un ensemble d’essais pour tester la performance du modèle par rapport à des yeux de patients affectés pathologiquement par un rétinoblastome, et démontrons que la segmentation de la structure oculaire d’un œil sain est possible, indépendamment de la présence d’une tumeur à l’intérieur des yeux. De plus, nous proposons une caractérisation spécifique du patient-specific eye features qui peuvent être utile pour la segmentation de l’œil dans l’IRM 3D, fournissant des formes riches et une information importante concernant le tissu pathologique noyé dans la structure oculaire de l’œil sain. Cette information est ultérieurement utilisée pour entrainer un ensemble de classificateurs (Convolutional Neural Network (CNN), Random Forest, . . . ) qui réalise la segmentation automatique de tumeurs oculaires à l’intérieur de l’œil. En outre, nous explorons une nouvelle méthode pour évaluer des multitudes de séquences d’images de manière simultanée, fournissant aux médecins un outil pour observer l’extension de la tumeur dans le fond d’œil et l’IRM. Pour cela, nous combinons la segmentation auto- matique de l’œil de l’IRM selon la description ci-dessus et nous proposons une delineation manuelle de tumeurs oculaires dans le fond d’œil. Ensuite, nous recalons ces deux modalités d’imagerie avec une nouvelle base de points de repère et nous réalisons la fusion des deux modalités. Nous utilisons cette nouvelle méthode pour (i) améliorer la qualité de la délinéation dans l’IRM et pour (ii) utiliser la projection arrière de la tumeur pour transporter de riches me- sures volumétriques de l’IRM vers le fond d’œil, en créant une nouvelle forme 3D représentant le fond d’œil 2D dans une méthode que nous appelons Topographic Fundus Mapping. Pour tous les tests et contributions, nous validons les résultats avec une base de données d’IRM et une base de données d’images pathologiques du fond d’œil de rétinoblastome