Robust 3D pose estimation and efficient 2D region-based segmentation from a 3D shape prior

©2008 Springer-Verlag Berlin Heidelberg. The original publication is available at www.springerlink.com.Presented at the 10th European Conference on Computer Vision, Marseille, France, October 12-18, 2008.DOI: 10.1007/978-3-540-88688-4_13In this work, we present an approach to jointly segment a rigid object in a 2D image and estimate its 3D pose, using the knowledge of a 3D model. We naturally couple the two processes together into a unique energy functional that is minimized through a variational approach. Our methodology differs from the standard monocular 3D pose estimation algorithms since it does not rely on local image features. Instead, we use global image statistics to drive the pose estimation process. This confers a satisfying level of robustness to noise and initialization for our algorithm, and bypasses the need to establish correspondences between image and object features. Moreover, our methodology possesses the typical qualities of region-based active contour techniques with shape priors, such as robustness to occlusions or missing information, without the need to evolve an infinite dimensional curve. Another novelty of the proposed contribution is to use a unique 3D model surface of the object, instead of learning a large collection of 2D shapes to accommodate for the diverse aspects that a 3D object can take when imaged by a camera. Experimental results on both synthetic and real images are provided, which highlight the robust performance of the technique on challenging tracking and segmentation applications

Correspondência eficiente de descritores SIFT para construção de mapas densos de pontos homólogos em imagens de sensoriamento remoto

Métodos automáticos de localização de pontos homólogos em imagens digitais baseados em área, combinados com técnicas de crescimento de região, são capazes de produzir uma malha densa e exata de pontos homólogos. Entretanto, o processo de crescimento de região pode ser interrompido em regiões da imagem, cuja paralaxe no eixo horizontal apresenta variação abrupta. Essa situação geralmente é causada por uma descontinuidade na superfície ou espaço-objeto imageado, tal como um prédio numa cena urbana ou um paredão de exploração de uma mina a céu aberto. Nesses casos, novos pares de pontos homólogos (sementes) devem ser introduzidos, normalmente por um operador humano, a partir dos quais o processo é reiniciado. Dependendo do tipo da imagem utilizada e da estrutura 3D da região mapeada, a intervenção humana pode ser considerável. Uma alternativa totalmente automatizada em que se combinam as técnicas SIFT (Scale Invariant Feature Transform), pareamento por mínimos quadrados e crescimento de região foi proposta anteriormente pelos autores. O presente trabalho apresenta uma extensão a essa técnica. Basicamente, propõem-se alterações na etapa de correspondência do SIFT, que exploram características de estereogramas produzidos por sensores aéreos e orbitais. Avaliações experimentais demonstram que as modificações propostas trazem dois tipos de benefícios. Em primeiro lugar, obtém-se um aumento do número de pontos homólogos encontrados, sem aumento correspondente na proporção de falsas correspondências. Em segundo lugar, a carga computacional é reduzida substancialmente