Challenges of 3D Surface Reconstruction in Capsule Endoscopy

There are currently many challenges specific to three-dimensional (3D) surface reconstruction using capsule endoscopy (CE) images. There are also challenges specific to viewing the content of CE reconstructed 3D surfaces for bowel disease diagnosis purposes. In this preliminary work, the author focuses on the latter and discusses the effects such challenges have on the content of reconstructed 3D surfaces from CE images. Discussions are divided into two parts. The first part focuses on the comparison of the content of 3D surfaces reconstructed using both preprocessed and non-preprocessed CE images. The second part focuses on the comparison of the content of 3D surfaces viewed at the same azimuth angles and different elevation angles of the line of sight. Experiments-based conclusion suggests 3D printing as a solution to the line of sight and 2D screen visual restrictions.Comment: 5 pages, 3 figure

Segmentação de imagens da Cápsula Endoscópica com aplicações na deteção de tumores e na reconstrução 3-D da mucosa intestinal

Dissertação de mestrado integrado em Engenharia Biomédica (área de especialização em Eletrónica Médica)A cápsula endoscópica é um dispositivo que contém uma pequena câmara e que é usado para capturar imagens do trato gastrointestinal de forma não invasiva. Como o resultado é um vídeo bastante longo, a taxa de deteção de patologias é baixa, logo existe a necessidade de melhorar a qualidade dos vídeos ao adicionar informação às frames ou então ao fazer uma deteção automática de patologias ou estruturas de relevo. Os objetivos do trabalho descrito nesta dissertação eram especialmente dois. O primeiro consistia na reconstrução tridimensional de frames individuais da cápsula endoscópica, tal como encontrar uma forma de relacionar imagens consecutivas para assim poder, no futuro, juntar informações da terceira dimensão ao longo do vídeo. O segundo objetivo é a deteção automática de tecido tumoral em cada frame retirada da cápsula endoscópica. Para ambos os objetivos foi usado o algoritmo de segmentação Expectation-Maximization, seguindo uma abordagem Maximum a Posteriori, usando o espaço de cor Lab para retirar o efeito da luminosidade. No primeiro caso, é realizada a segmentação com diferentes números de regiões, para aferir o número ótimo em cada frame. Ao calcular os coeficientes de correlação entre vetores de features de cor e textura das várias regiões, é possível detetar regiões correspondentes entre as várias frames. No final a reconstrução das frames é realizada com o uso do método Shape from Shading. Na deteção automática de tumores, depois de dividir a imagem em duas regiões diferentes, o método proposto envolve o cálculo de descritores estatísticos dos histogramas em cada região, e a posterior classificação usando diferentes classificadores supervisionados. Chegou-se à conclusão que a segmentação para encontrar os diferentes tecidos, apesar de apresentar resultados quando analisada individualmente, tem de ser refinada para que as regiões em frames diferentes tenham uma maior semelhança. A reconstrução individual apresenta bons resultados, aumentando a informação em cada frame, aumentando assim a capacidade de diagnóstico. O método de deteção automática de tumores proposto apresenta resultados bastante promissores quando comparados com estado da arte, tanto o método de segmentação, tal como o conjunto de features usado. A precisão do sistema concebido teve uma melhoria de pelo menos 6% em relação a métodos do estado da arte implementados para a mesma base de dados.Wireless Capsule Endoscopy is a non-invasive device that contains a small camera used for capturing images from the gastrointestinal tract. The result of this exam is very long video, which leads to a low detection rate of several pathologies. This fact is the reason why it’s needed for the increase of quality of the videos, either adding new information to every frame, either implementing algorithms for automatic detection of pathologies or important structures. The objectives of the work described in this texto were specially two. The first one consisted in the construction of an algorithm for the 3-D reconstruction of individual frames and also to find similar regions in consecutive regions, so in the future this information could lead to a video of combined 3-D images. The second objective is the automatic detection of tumor tissue in capsule endoscopy frames. The segmentation in both objectives used the Expectation-Maximization algorithm, with a Maximum a Posteriori approach, using the Lab color space so the light effect could be removed. In the first case, the segmentation is performed with a different number of regions, so it could be possible to find the best number of regions in each frame. Correlation coefficients were then calculated between vectors containing color and texture features of the different regions, so corresponding regions could be found. Reconstruction of frames was performed using the Shape from Shading method. In the automatic detection of tumors, after dividing the image in two different regions, the proposed method includes the computation of statistical features from the histograms of each region, and the classification with supervised classifiers. As conclusion, it is possible to say that the segmentation to find different kinds of tissues need to be refined so the correct corresponding regions can be found. The individual reconstruction presents good results, increasing the visual information in each frame, increasing in that way the diagnosis capability. The method for tumor detection presents promising results when compared to state of the art methods. The final system precision had an increase of at least 6% in relation with state of the art algorithm implemented with the same database