Détection et description de points clés par apprentissage

Hospitals are increasingly generating 3D medical images that require automatic registration for systematic and large-scale analysis. Key points are used to reduce the time and memory required for this registration, and can be detected and described using various classical methods, as well as neural networks, as demonstrated numerous times in 2D. This thesis presents results and discussions on methods for detecting and describing key points using 3D neural networks. Two types of networks were studied to detect and/or describe characteristic points in 3D medical images. The first networks studied describe the areas directly surrounding key points, while the second type performs both detection and description of key points in a single step.Les hôpitaux génèrent de plus en plus d’images médicales en 3D. Ces volumes nécessitent un recalage automatique, en vue d’être analysés de manière systématique et à grande échelle. Les points clés sont utilisés pour réduire la durée et la mémoire nécessaires à ce recalage et peuvent être détectés et décrits à l’aide de différentes méthodes classiques, mais également à l’aide de réseaux neuronaux, comme cela a été démontré de nombreuses fois en 2D. Cette thèse présente les résultats et les discussions sur les méthodes de détection et de description de points clés à l’aide de réseaux neuronaux 3D. Deux types de réseaux ont été étudiés pour détecter et/ou décrire des points caractéristiques dans des images médicales 3D. Les premiers réseaux étudiés permettent de décrire les zones entourant directement les points clés, tandis que les seconds effectuent les deux étapes de détection et de description des points clés en une seule fois

Description de points clés par apprentissage dans des images médicales 3D

International audienceNous présentons une nouvelle approche pour apprendre des descripteurs de points clés en 3D, que nous appliquons aux images médicales scanners médicaux corps entier. Il a été démontré que les descripteurs de points clés basés sur les Réseaux de Neurones Convolutifs ( RNC) donnent de meilleurs résultats que les descripteurs faits à la main, pour les images 2D. L’adaptation aux images 3D telles que les images tomodensitométriques n’est cependant pas simple, essentiellement en raison du manque de données d’entraînement labellisées.Nous proposons de générer des données d’entraînement semi-synthétiques. L’idée principale est d’estimer d’abord la densité des transformations locales entre les patients à partir d’un petit nombre d’images tomodensitométriques dont les correspondances entre des points de repère anatomique, définis par des experts, sont connues. Nous échantillonnons ensuite un grand nombre de transformations à partir de cette densité et transformons des volumes labellisés, pour lesquels nous pouvons ensuite former des correspondances de points clés exactes en utilisant une correspondance guidée par la transformation. Notre fonction de description est un RNC à deux étages, que nous formons en utilisant la perte par triplets inspirée par l’apprentissage de descripteurs 2D, avec une extraction de triplets en ligne.Nos résultats expérimentaux montrent que notre descripteur appris surpasse le descripteur 3D-SURF créé à la main dans une évaluation sur les données semi- synthétiques ainsi qu’en recalage d’images 3D réelles, avec un temps d’exécution similair

Learning 3D medical image keypoint descriptors with the triplet loss

International audiencePurpose: We propose to learn a 3D keypoint descriptor which we use to match keypoints extracted from full-body CT scans. Our methods are inspired by 2D keypoint descriptor learning, which was shown to outperform hand-crafted descriptors. Adapting these to 3D images is challenging because of the lack of labelled training data and high memory requirements.Method: We generate semi-synthetic training data. For that, we first estimate the distribution of local affine inter-subject transformations using labelled anatomical landmarks on a small subset of the database. We then sample a large number of transformations and warp unlabelled CT scans, for which we can subsequently establish reliable keypoint correspondences using guided matching. These correspondences serve as training data for our descriptor, which we represent by a CNN and train using the triplet loss with online triplet mining.Results: We carry out experiments on a synthetic data reliability benchmark and a registration task involving 20 CT volumes with anatomical landmarks used for evaluation purposes. Our learned descriptor outperforms the 3D-SURF descriptor on both benchmarks while having a similar runtime.Conclusion: We propose a new method to generate semi-synthetic data and a new learned 3D keypoint descriptor. Experiments show improvement compared to a hand-crafted descriptor. This is promising as literature has shown that jointly learning a detector and a descriptor gives further performance boost