Cascaded multitask U-Net using topological loss for vessel segmentation and centerline extraction

Vessel segmentation and centerline extraction are two crucial preliminary tasks for many computer-aided diagnosis tools dealing with vascular diseases. Recently, deep-learning based methods have been widely applied to these tasks. However, classic deep-learning approaches struggle to capture the complex geometry and specific topology of vascular networks, which is of the utmost importance in most applications. To overcome these limitations, the clDice loss, a topological loss that focuses on the vessel centerlines, has been recently proposed. This loss requires computing, with a proposed soft-skeleton algorithm, the skeletons of both the ground truth and the predicted segmentation. However, the soft-skeleton algorithm provides suboptimal results on 3D images, which makes the clDice hardly suitable on 3D images. In this paper, we propose to replace the soft-skeleton algorithm by a U-Net which computes the vascular skeleton directly from the segmentation. We show that our method provides more accurate skeletons than the soft-skeleton algorithm. We then build upon this network a cascaded U-Net trained with the clDice loss to embed topological constraints during the segmentation. The resulting model is able to predict both the vessel segmentation and centerlines with a more accurate topology.Comment: 13 pages, 4 figure

Apprivoiser l'hétérogénéité en informatique 1ère année

National audienceFace au constat d’une hétérogénéité grandissante des savoir-faire et connaissances en informatique des étudiants à l’arrivée en première année, et le risque de son exacerbation dans le contexte du « nouveau bac », nous avons voulu expérimenter une approche pédagogique, qui permette une gestion de cette hétérogénéité tout en respectant les contraintes d’un emploi du temps homogène et un coût constant. Les actions menées s’articulent autour de 4 pôles : la constitution de groupes de niveau, avec une attention particulière portée sur les 2 niveaux extrêmes (renforcement et avancé/en autonomie), la mise en place de QCMs réguliers, l’utilisation ponctuelle de l’Apprentissage Par Problème (APP), et un auto-positionnement. L’expérimentation est encore en cours, mais déjà de premiers éléments permettent d’ouvrir les échanges

RORPO: Une méthode morphologique pour l'analyse des structures curvilignes; Application au filtrage et à la segmentation de vaisseaux sanguins.

The analysis of curvilinear structures in 3D images is a complex and challenging task. Curvilinear structures are thin, easily corrupted by noise, and can have a complex geometry. Despite the numerous applications in material science, remote sensing and medical imaging, and the large number of dedicated methods developed the last few years, the detection of such structures remains a difficult problem. In this work, we provide an analysis of curvilinear structures. We first propose a new framework called RORPO to characterize such structures via two features: an intensity feature, which preserves the intensity of curvilinear structures while decreasing the intensity of other structures; and a directional feature, providing at each point the direction of the curvilinear structure. RORPO, unlike state-of-the art methods, is a non-local and non-linear framework that is better adapted to the intrinsic anisotropy of curvilinear structures. RORPO is based on recent advances in Mathematical Morphology: the path operators. We provide a full description of the structural and algorithmic details of RORPO, and we also conduct a quantitative comparative study of our features with three popular curvilinear structure analysis filters: the Frangi Vesselness, the Optimally Oriented Flux, and the Hybrid Diffusion with Continuous Switch. Besides the straightforward filtering applications, both RORPO features can be used as priors to characterize curvilinear structures. We propose a regularization term for variational segmentation which embeds these features. Classical regularization terms are not adapted to curvilinear structures, and usually lead to the loss of most of the low contrasted ones. Based on the RORPO features, we propose to only regularize curvilinear structures along their main axis. This directional regularization better preserves curvilinear structures but also reconnects some of the parts of these structures that may have been disconnected by noise. We present results of the segmentation of retinal images with the Chan et al. model either with the classical total variation or with our directional regularization term. This confirms that our regularization term is better suited for images with curvilinear structures.L'analyse des structures curvilignes en $3$ dimensions est un problème difficile en analyse d'images. En effet, ces structures sont fines, facilement corrompues par le bruit et présentent une géométrie complexe. Depuis plusieurs années, de nombreuses méthodes spécialement dédiées au traitement d'images contenant des structures curvilignes ont vu le jour, étant donné le grand nombre d'applications en science des matériaux, télédétection ou encore en imagerie médicale. Pourtant, l'analyse des structures curvilignes demeure une tâche complexe. L'objet de ce manuscrit est la caractérisation des structures curvilignes pour l'analyse d'images. Nous proposons en premier lieu une nouvelle méthode, appelée RORPO, à partir de laquelle deux caractéristiques peuvent être calculées. La première est une caractéristique d'intensité qui préserve l'intensité des structures curvilignes tout en réduisant celle des autres structures. La seconde est une caractéristique de direction, qui fournit en chaque point d'une image, la direction (sous la forme d'un vecteur) d'une structure curviligne potentielle. RORPO, contrairement aux méthodes classiques de la littérature, est une méthode non locale, non linéaire et qui est mieux adaptée à l'anisotropie intrinsèque des structures curvilignes. Le fondement de notre méthode repose sur une notion récente de Morphologie Mathématique: les opérateurs par chemins. Dans cette thèse, nous proposons une description complète de RORPO et de ses propriétés algorithmiques. Nous menons aussi une étude quantitative de ses deux caractéristiques en les comparant avec trois autres filtres populaires de détection de structures curvilignes: La vesselness de Frangi, les Optimally Oriented Flux (OOF) et l'Hybrid Diffusion with Continuous Switch (HDCS). RORPO peut directement être appliquée pour filtrer des images contenant des structures curvilignes afin de spécifiquement les préserver mais aussi de réduire le bruit dans l'image. Mais les deux caractéristiques de RORPO peuvent aussi être utilisées comme information a priori sur les structure curvilignes afin d'être intégrées dans une méthode plus complexe d'analyse d'image. Nous proposons une telle application dans la deuxième partie de cette thèse. Nous concevons un terme de régularisation, destiné à la segmentation variationnelle, qui est mieux adapté aux structures curvilignes que la plupart des autres termes de la littérature. Pour ce faire, nous intégrons les deux caractéristiques de RORPO dans cette régularisation, ce qui nous permet de régulariser nos résultats seulement dans la direction des structures curvilignes. Nous préservons ainsi mieux ces structures mais nous pouvons aussi reconnecter certaines structures curvilignes déconnectées par le bruit. Les résultats de cette nouvelle régularisation sont présentés sur la segmentation de vaisseaux sanguins du fond d'œil. Nous comparons aussi ces résultats avec le modèle de segmentation de Chan et al. ce qui nous permet de montrer que notre terme de régularisation est en effet bien mieux adapté aux structures curvilignes

Réseau de neurones multitâche centré sur la topologie pour la segmentation du réseau vasculaire cérébral

National audienceLe traitement le plus efficace contre l’AVC ischémique est la Thrombectomie Endovasculaire (TEV), une intervention consistant à retirer le caillot à l’aide d’un cathéter. Cette opération est complexe et donne souvent des résultats sous-optimaux. Le projet ANR PreSPIN propose de réaliser un simulateur de la TEV pour améliorer la planification de l’intervention et pour estimer le résultat post-opératoire

U-Net en cascade utilisant une fonction de perte topologique pour la segmentation du réseau vasculaire cérébral

National audienc

Apprentissage semi-supervisé pour la segmentation du réseau vasculaire cérébral : une étude comparative

National audienc

Restoring Connectivity in Vascular Segmentation using a Learned Post-Processing Model

Accurate segmentation of vascular networks is essential for computer-aided tools designed to address cardiovascular diseases. Despite more than thirty years of research, it remains a challenge to obtain vascular segmentation results that preserve the connectivity of the underlying vascular network. Yet connectivity is one of the key feature of these tools. In this work, we propose a post-processing algorithm aiming to reconnect vascular structures that have been disconnected by a segmentation algorithm. Connectivity being a complex property to model explicity, we propose to learn this geometric feature either through synthetic data or annotations of the application of interest. The resulting post-processing model can be used on the output of any supervised or unsupervised vascular segmentation algorithm. We show that this post-processing effectively restores the connectivity of vascular networks both in 2D and 3D images, leading to improved overall segmentation results

Réseau de neurones multitâche et fonction de perte topologique pour la segmentation duréseau vasculaire cérébral à partir d’images IRM

National audienc

Learning a reconnecting regularization term for blood vessel variational segmentation

International audienceThe segmentation of blood vessels in medical images is a challenging task as they are thin, connected and tortuous. The detection of a connected vascular network is of the utmost importance in clinical applications (e.g. blood flow simulations, vascular network modeling and analysis). Deep learning approaches have been developed to tackle this issue, but they require a large annotated dataset for each new application of interest, which is very challenging to build for vascular networks. In this work, rather than learning the segmentation task, we propose to learn a reconnecting regularization term that learns geometric properties of vascular networks independent of the image modality. Therefore, this term generalizes better than deep learning segmentation models, and can be easily plugged into variational segmentation frameworks to detect vascular networks in different datasets without requiring annotations. We apply this approach on retinal images by training our reconnecting term on the STARE dataset and applying it on the DRIVE dataset. We show that our approach better preserves the connectivity of vascular networks than classic regularization terms in the literature. Finally, we illustrate the generalization power of our reconnecting term by applying it to other types of data