Anatomical a priori and data augmentation for multi-organ detection in medical images

Abstract

La détection d'objet, l'un des problèmes fondamentaux en vision par ordinateur, vise à localiser et à classer les instances d'objets. Elle peut constituer la première étape avant l'application d'autres méthodes de traitement d'images telles que la segmentation et le recalage. En imagerie médicale, elle est utile pour diverses applications, de la planification d'opérations chirurgicales à la recherche de pathologies. Nous proposons une solution d'apprentissage profond au problème de la détection d'objets dans les images médicales. L'état de l'art nous a conduit à baser nos travaux sur le détecteur "You Only Look Once" (YOLO) qui fournit un bon compromis vitesse/précision. Malheureusement cette méthode, comme toutes les méthodes d'apprentissage profond, s'avère être sensible à la dimension réduite de l'ensemble d'apprentissage, problème fréquemment rencontré en imagerie médicale car l'étiquetage manuel à réaliser par les experts pour chaque organe est long et coûteux en temps. Dans ce cadre, notre première contribution a consisté à développer une approche d'augmentation des données basée sur un "Cycle Generative Adversarial Network" (CycleGAN). Nous montrons à partir des résultats expérimentaux obtenus sur des données TDM et IRM que cette augmentation de données permet de régulariser l'apprentissage du détecteur YOLO en conduisant à des performances de détection significativement meilleures. Ces résultats montrent cependant également que cette performance peut encore être améliorée, dans la mesure où ils comportent un certain nombre de détections anatomiquement aberrantes. Notre deuxième contribution nous a donc conduit à intégrer un a priori dans le processus de détection afin de pénaliser les valeurs aberrantes. Cet a priori est basé sur les relations spatiales existantes entre les structures anatomiques et est intégré sous la forme d'un terme supplémentaire dans la fonction de perte du détecteur YOLO. Les résultats expérimentaux obtenus montrent clairement que cette contrainte joue pleinement son rôle en diminuant significativement les erreurs de détection.Object detection is one of the fundamental problems in computer vision that aims at locating and classifying object instances. It can be the first step before applying other image processing methods such as segmentation and registration. In medical imaging, it is a prerequisite in many radiological procedures such as patient screening and diagnosis which implies localizing anatomical structures or lesions. We propose a deep learning solution to the problem of object detection in medical images. We choose the "You Only Look Once" (YOLO) detector which provides a good speed/accuracy compromise. Unfortunately this method, like all deep learning methods, is sensitive to the small size of the training set, a problem frequently encountered in medical imaging because the manual labeling to be performed by experts for each organ is long and time consuming. In this context, our first contribution was to develop a data augmentation approach based on a "Cycle Generative Adversarial Network" (CycleGAN). We show from experimental results obtained on CT and MRI data that this data augmentation allows to regularize the learning of the YOLO detector by leading to significantly better detection performances. However, these results also show that this performance can still be improved, as they include a certain number of anatomically aberrant detections. Our second contribution led us to integrate a priori in the detection process in order to penalize outliers. This a priori is based on the existing spatial relations between the anatomical structures and is integrated as an additional term in the loss function of the YOLO detector. The experimental results obtained clearly show that this constraint plays its full role in significantly reducing the detection errors