3D surface reconstruction using dense optical flow combined to feature matching: Application to endoscopy

Abstract

International audienceIn structure from motion (SfM) algorithms, the surface reconstruction performance strongly depends on the quality of the determination of homologous points between images. Classical feature matching-based methods as integrated in the state-of the-art SfM-algorithms are often inoperative for scenes including weak structures and textures (e.g., as those in medical endoscopic videos). This contribution introduces an effective solution based on the combination of dense optical flow and feature matching. The accuracy and robustness of the proposed method were validated using results obtained for a phantom with known dimensions and with patient data, respectively. Apart from the high performance obtained for cystoscopy and gastroscopy, the proposed solution has a high potential in other medical and non-medical scenes.Dans les algorithmes de structures à partir du mouvement (SfM), la performance de la reconstruction des surfaces dépend fortement de la qualité de la détermination des points homologues entre images. Les méthodes SfM de référence sont souvent inopérantes pour les scènes avec peu de structures et textures faiblement contrastées car elles reposent uniquement sur l'appariement de caractéristiques. Cette contribution présente une solution associant un flot optique dense à la mise en correspondance de caractéristiques. La précision et la robustesse de la reconstruction ont été validées via des résultats obtenus pour un fantôme avec des dimensions connues et avec des données patient en cystoscopie et en gastroscopie, respectivement. Plus généralement, cette approche a un fort potentiel pour toute scène peu constrastée, médicales ou non

    Similar works