A reconstrução e caracterização tridimensional (3D) de estruturas anatómicas externas a partir de simples imagens bidimensionais (2D) tem sido um dos tópicos de maior investigação no campo da Visão Computacional. No entanto, continua a ser um dos problemas mais complexos de concretizar, de forma automática, rápida e precisa.Recentemente, soluções baseadas em métodos volumétricos são utilizadas com sucesso na reconstrução 3D de objectos a partir de imagens 2D. Neste trabalho, utilizando uma sequência de imagens adquiridas em torno de um objecto, de forma a varrer completamente o mesmo, e obtidas com uma câmara CCD convencional, pretende-se construir um modelo 3D do objecto em questão. O objectivo final é extrair a forma 3D de zonas anatómicas exteriores, com boa precisão e aparência fotorrealista

João Manuel Ribeiro da Silva Tavares

Mário Augusto Pires Vaz

Teresa Cristina de Sousa Azevedo

Repositório Aberto da Universidade do Porto

2º ENCONTRO NACIONAL DE BIOMECÂNICA H. Rodrigues et al. (Eds.) Évora, Portugal, 8 e 9 de Fevereiro, 2007 OBTENÇÃO DA FORMA TRIDIMENSIONAL DE ESTRUTURAS ANATÓMICAS EXTERNAS A PARTIR DE IMAGENS Teresa C. S. Azevedo*, João Manuel R. S. Tavares** e Mário A. P. Vaz** * INEGI – Instituto de Engenharia Mecânica e Gestão Industrial, LOME – Laboratório de Óptica e Mecânica Experimental FEUP – Faculdade de Engenharia da Universidade do Porto e-mail: teresa.azevedo@fe.up.pt ** INEGI, LOME DEMEGI – Departamento de Engenharia Mecânica e Gestão Industrial, FEUP e-mail: {tavares, gmavaz}@fe.up.pt Palavras-Chave: Visão Computacional, Reconstrução Tridimensional, Métodos Volumétricos  Resumo. A reconstrução e caracterização tridimensional (3D) de estruturas anatómicas externas a partir de simples imagens bidimensionais (2D) tem sido um dos tópicos de maior investigação no campo da Visão Computacional. No entanto, continua a ser um dos problemas mais complexos de concretizar, de forma automática, rápida e precisa. Recentemente, soluções baseadas em métodos volumétricos são utilizadas com sucesso na reconstrução 3D de objectos a partir de imagens 2D. Neste trabalho, utilizando uma sequência de imagens adquiridas em torno de um objecto, de forma a “varrer” completamente o mesmo, e obtidas com uma câmara CCD convencional, pretende-se construir um modelo 3D do objecto em questão. O objectivo final é extrair a forma 3D de zonas anatómicas exteriores, com boa precisão e aparência fotorrealista. 1 RECONSTRUÇÃO 3D DO CORPO HUMANO Reconstruções 3D do corpo humano foram pela primeira vez desenvolvidas na década de 70 para testes de ergonomia na indústria automóvel e aeronáutica, [1]. Nos dias de hoje, os modelos 3D do corpo humano obtidos são bastante realistas e constituem um tópico de grande interesse, com utilização prática em inúmeras áreas como indústria cinematográfica, realidade virtual, indústria, design ou em aplicações biomédicas. Os modelos 3D de um corpo humano estático são normalmente obtidos utilizando digitalizadores (scanners) 3D comerciais, geralmente dispendiosos mas simples de usar. Tais sistemas utilizam tecnologias, tais como, luz estruturada e feixes laser, que providenciam a reconstrução de um elevado número de pontos, utilizados posteriormente para uma modelação  Teresa C. S. Azevedo, João Manuel R. S. Tavares e Mário A. P. Vaz do corpo humano de boa qualidade e exactidão (ver, por exemplo, [2] e [3]). Existem outras técnicas para a reconstrução 3D do corpo humano baseadas em métodos de múltiplas imagens 2D, alvo de considerável investigação nas últimas décadas (ver, por exemplo, [4], [5] e [6]). 1.1 Métodos volumétricos Os métodos tradicionais de reconstrução 3D por metodologias de Visão Estéreo têm dificuldades em reconstruir formas que apresentem elevados graus de continuidade e suavidade, tal como a do corpo humano, [7]. Os métodos volumétricos de reconstrução 3D de superfícies têm-se tornado bastante populares nas últimas décadas. Relativamente, às técnicas de Visão Estéreo, estes métodos são alternativas eficientes e mais versáteis, pois trabalham no espaço volumétrico do objecto a reconstruir, e não requerem o emparelhamento entre imagens. A maioria das técnicas de reconstrução baseadas em silhuetas baseia-se no conceito de Envoltório Visual (Visual Hull), [8]. A referida estrutura é definida como sendo a forma máxima que reproduz as silhuetas do objecto original em todos os pontos de vista fora do seu fecho convexo. Como na prática não é possível utilizar um número infinito de imagens, procura-se obter uma aproximação do Envoltório Visual, através de um processo de intersecção de volumes cónicos, com base nas restrições impostas pelas silhuetas obtidas e os centros de projecção associados, obtendo-se assim o Envoltório Visual Inferido – Inferred Visual Hull, Figura 1. No entanto, mesmo se hipoteticamente se utilizassem um número infinito de imagens, nem todas as concavidades podem ser modeladas pelo Envoltório Visual. Actualmente, muitos algoritmos de reconstrução volumétrica usam uma ou várias propriedades fotogramétricas para distinguir os pontos da superfície do objecto a reconstruir dos restantes pontos que constituem a cena envolvente do mesmo objecto. Estes métodos baseados em fotoconsistência, além de reconstruir objectos com geometrias complicadas, como as estruturas anatómicas externas, também geram um modelo 3D colorido, sem a necessidade de uma etapa extra para a texturização do modelo reconstruído. O método de Coloração de Voxels (Voxel Coloring), [9], permite que um objecto seja reconstruído através de imagens obtidas em condições usuais e sem a imposição de restrições severas. O primeiro passo, no processo de reconstrução pelo método de Coloração de Voxels, é a definição de um volume de voxels que envolva o objecto. A sua forma é determinada pela remoção dos voxels fotoinconsistentes do volume inicial. Um voxel é consistente se o desvio padrão da intensidade das cores dos píxels que ele projecta, for inferior a um valor limite. Tendo o modelo volumétrico do objecto 3D, é possível obter uma aproximação poligonal da superfície deste, utilizando, por exemplo, o algoritmo de geração de malhas Marching Cubes, [10].  Figura 1 – Do objecto 3D ao seu Envoltório Visual Inferido.  Teresa C. S. Azevedo, João Manuel R. S. Tavares e Mário A. P. Vaz 2 METODOLOGIA UTILIZADA O primeiro passo no método de reconstrução adoptado neste trabalho é calibração da câmara de imagem utilizada. A calibração de uma câmara pretende compreender e modelizar a transformação que esta realiza ao traduzir uma cena do mundo 3D para uma imagem 2D, Figura 2.  Figura 2 – Calibração de uma câmara: determinação do modelo que transforma um ponto de coordenadas 3D do sistema mundo para um ponto 2D no sistema imagem. O processo de calibração usado neste trabalho baseou-se no método de calibração de Zhang, [11]. Assim, é utilizado um padrão planar (2D) de calibração, posicionado em diversas posições no espaço, dando origem a um conjunto de imagens onde, em cada uma, há um certo número de pontos cujas coordenadas no sistema de referência do padrão de calibração são conhecidas. Este primeiro conjunto de imagens permite determinar os parâmetros intrínsecos da câmara (distância focal e ponto principal), assim como dois coeficientes da distorção radial e dois coeficientes da distorção tangencial impostas pelo sistema óptico da câmara de imagem. De seguida, sobre este padrão de calibração é colocado o objecto a reconstruir, adquirindo-se um segundo conjunto de imagens em redor do mesmo objecto, tendo-se o cuidado de manter inalteradas as características internas da câmara usada nos processos de aquisição dos dois conjuntos de imagens. Este segundo conjunto de imagens, Figura 3, permite determinar os parâmetros extrínsecos da câmara (rotação e translação). Posteriormente, as imagens deste mesmo segundo conjunto são segmentadas, utilizando para tal ferramentas básicas de processamento de imagem, como binarização por threshold. Após a segmentação, o modelo 3D do objecto em causa é reconstruído utilizando a técnica de Coloração de Voxels Generalizada (Generalized Voxel Coloring - GVC), [12]. Por último, ao modelo volumétrico obtido é aplicado uma poligonização (suavização) através do algoritmo Marching Cubes.  Figura 3 – Exemplo de imagens utilizadas na segunda fase de calibração.  Teresa C. S. Azevedo, João Manuel R. S. Tavares e Mário A. P. Vaz 3 RESULTADOS EXPERIMENTAIS O método de reconstrução 3D de objectos descrito neste artigo foi testado com dois objectos, bastante distintos em termos de dimensões e de complexidade da forma: um “torso” e uma “mão” humanos. 3.1 Calibração Uma forma de verificar os resultados da calibração, consiste em reprojectar os pontos 3D do plano de calibração nas imagens 2D, utilizando para tal os parâmetros de calibração obtidos. Assim, os desvios padrão dos erros de reprojecção (em pixels), para a “mão” são 0.5513 segundo a direcção x e 0.8851 segundo a direcção y; para o “torso” os valores equivalentes são 14.33606 e 12.59670 respectivamente.  Como se pode observar, os resultados obtidos são bastante mais precisos no primeiro caso. 3.2 Reconstrução 3D Os parâmetros obtidos pelo processo de calibração da câmara de imagem usada, juntamente com as imagens originais e as segmentadas, Figura 4, são introduzidos no programa de reconstrução 3D, obtendo-se um modelo 3D do objecto em causa, Figura 5 e Figura 6.  Figura 4 – Exemplo de uma imagem da “mão” e do “torso” e respectivos resultados do processo de segmentação (à direita da imagem original respectiva). 4 CONCLUSÕES E TRABALHO FUTURO É difícil obter um modelo 3D exacto de um objecto, principalmente se este apresentar superfícies complexas, como é o caso das estruturas anatómicas externas. Neste trabalho, verificou-se que os erros existentes nos modelos 3D reconstruídos usando a metodologia apresentada neste artigo são essencialmente devidos aos resultados do processo de calibração da câmara de imagem usada não serem por vezes os mais correctos. Tal influência verificou-se, por exemplo, no caso do “torso” apresentado neste artigo.  Assim, o trabalho futuro irá concentrar-se em melhorar os resultados do processo de calibração da câmara de imagem usada e do próprio processo de reconstrução 3D considerado. Neste último, ir-se-á estudar a influência dos critérios de fotoconsistência, visto as estruturas em consideração possuírem cor mais ou menos uniforme ao longo de todas as suas superfícies.  Teresa C. S. Azevedo, João Manuel R. S. Tavares e Mário A. P. Vaz  Figura 5 – Modelo 3D da “mão” obtido (segundo diferentes orientações de visualização): à esquerda, imagens originais; no meio, modelo volumétrico; à direita, modelo após geração das malhas.  Figura 6 – Modelo 3D do “torso” obtido (segundo diferentes orientações de visualização): à esquerda, imagens originais; no meio, modelo volumétrico; à direita, modelo após geração das malhas.  Teresa C. S. Azevedo, João Manuel R. S. Tavares e Mário A. P. Vaz AGRADECIMENTOS Este trabalho foi parcialmente desenvolvido no âmbito do Projecto de Investigação “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos” financiado pela FCT - Fundação para a Ciência e a Tecnologia com a referência: POSC/EEA-SRI/55386/2004. REFERÊNCIAS [1] D. Thalmann, Human modelling and animation, Eurographics State of the Art Reports, 1993. [2] M. Levoy, K. Pulli, B. Curless, et al., The Digital Michelangelo Project: 3D scanning of large statues, Siggraph 2000, Computer Graphics, ACM Press, ACM SIGGRAPH, Addison Wesley:131-144, 2000. [3] C. Rocchini, P. Cignoni, C. Montani, et al., A low cost 3D scanner based on structured light, EUROGRAPHICS, Interlaken, Suíça, 20 (3):299-308, 2001. [4] J. Y. Zheng, Acquiring 3D models from sequences of contours, IEEE Transaction on Pattern Analysis and Machine Intelligence, 16 (2):163-178, 1994. [5] A. Hilton, D. Beresford, T. Gentils, et al., Virtual people: Capturing human models to populate virtual worlds, IEEE International Conference on Computer Animation, Geneva, Switzerland:174-185, 1999. [6] S. Vedula, S. Baker, T. Kanade, Spatio-temporal view interpolation, 13th ACM Eurographics Workshop on Rendering, Pisa, Italy:65-76, 2002. [7] G. Zeng, M. Lhuillier, L. Quan, Recent Methods for Reconstructing Surfaces from Multiple Images, Lecture Notes in Computer Science, Springer Verlag, 3519:429-447, 2005. [8] A. Laurentini, The visual hull concept for silhouette-based image understanding, IEEE Transactions on Pattern Analysis and Machine Intelligence, 16 (2):150-162, 1994. [9] S. N. Seitz, C. R. Dyer, Photorealistic Scene Reconstruction by Voxel Coloring, IEEE Conference on Computer Vision and Pattern Recognition Conference, San Juan, Puerto Rico:1067-1073, 1997. [10] W. E. Lorensen, H. E. Cline, Marching cubes: A high resolution 3D surface construction algorithm, International Conference on Computer Graphics and Interactive Techniques, ACM Press, New York, USA, 21 (4):163-169, 1987. [11] Z. Zhang, A Flexible New Technique for Camera Calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11):1330-1334, 2000. [12] M. Loper, Archimedes: Shape Reconstruction from Pictures - A Generalized Voxel Coloring Implementation, http://matt.loper.org/Archimedes/Archimedes_docs/html/index.html (Agosto 2006), 2002.  

Obtenção da forma tridimensional de estruturas anatómicas externas a partir de imagens

https://repositorio-aberto.up.pt/bitstream/10216/338/2/60353.pdf

Obtenção da forma tridimensional de estruturas anatómicas externas a partir de imagens

Abstract

Similar works

Full text

Available Versions

Repositório Aberto da Universidade do Porto