Robust 2D-3D alignment based on geometrical consistency

This paper presents a new registration algorithm of a 2D image and a 3D geometrical model, which is robust for initial registration errors, for reconstructing a realistic 3D model of indoor scene settings. One of the typical tech-niques of pose estimation of a 3D model in a 2D image is the method based on the correspondences between 2D pho-tometrical edges and 3D geometrical edges projected on the 2D image. However, for indoor settings, features extracted on the 2D image and jump edges of the geometrical model, which can be extracted robustly, are limited. Therefore, it is difficult to find corresponding edges between the 2D image and the 3D model correctly. For this reason, in most cases, the relative position has to be manually set close to correct position beforehand. To overcome this problem, in the pro-posed method, firstly the relative pose is roughly estimated by utilizing geometrical consistencies of back-projected 2D photometrical edges on a 3D model. Next, the edge-based method is applied for the precise pose estimation after the above estimation procedure is converged. The performance of the proposed method is successfully demonstrated with some experiments using simulated models of indoor scene settings and actual environments measured by range and image sensors. 1

Reconstruçao 3D de acervos culturais usando câmeras RGB-D : solução de compromisso entre precisão e tempo aplicada ao projeto Aleijadinho Digital

Orientador : Olga Regina Pereira BellonCoorientador : Luciano SilvaTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 29/04/2016Inclui referências : f. 67-78Área de concentração : Ciência da computaçãoResumo: Neste trabalho é proposto a utilização de câmeras RGB-D dentro do contexto de digitalização 3D de acervos culturais. O grupo de pesquisa no qual este trabalho foi desenvolvido está atuando no projeto Aleijadinho Digital. Este projeto consiste da digitalização do acervo deixado pelo artista barroco Aleijadinho. Uma das contribuições desta tese está na apresentação de um estudo comparativo sobre os projetos mais relevantes da área da preservação digital. As diversas tecnologias de geração 3D destes e outros projetos de preservação cultural também são discutidas e classificadas. Os scanners tradicionalmente utilizados nestes trabalhos possuem alta precisão, chegando na casa dos micrômetros. No entanto podem custar até centenas de milhares de dólares, necessitam de tripés, fonte própria de energia, treinamento para calibrar e operar o equipamento, espaço físico amplo e a aquisição pode durar alguns minutos para uma única captura. Enquanto os sensores RGB-D apesar da menor precisão realizam até 60 capturas por segundo, são simples de serem operados, necessitam apenas da conexão com um notebook e em geral custam até 100 dólares. Diversos trabalhos recentes apresentaram métodos que exploram o potencial destes sensores. No entanto, estas abordagens com frequência apresentam deformações quando aplicadas em reconstruções 3D completas, 360 graus, para diversos objetos. Neste trabalho é proposto uma metodologia completa de reconstrução 3D baseada em câmeras RGB-D. E para atenuar o efeito da deformação é apresentado um método de alinhamento baseado em pares que expande o grafo de conectividade. Isto é feito através de um método original para detecção automática de novos pares de malhas 3D com região de sobreposição. Esta medida permite que eventuais erros de alinhamento sejam distribuídos de forma mais homogênea entre um maior número de pares de alinhamento. Esta técnica de alinhamento é importante pois o acúmulo de erro é intensificado pela grande quantidade de imagens geradas por câmeras RGBD. Os experimentos foram realizados utilizando os dados de 30 obras do projeto Aleijadinho Digital, realizado em parceria com a UNESCO. Com o auxílio de modelos criados com um sensor 3D de precisão submilimétrica específico para tarefa de reconstrução 3D, experimentos comparativos foram realizados contra outros métodos estado da arte. Os resultados apresentados foram favoráveis ao método proposto no que diz respeito a precisão geométrica. Palavras-chave: kinect, alinhamento, reconstrução 3D, acervos culturais.Abstract: This work proposes a 3D reconstruction method using RGB-D cameras within the context of 3D digital preservation of cultural heritage. Our research group is involved in Digital Aleijadinho project, which consists of the digitization of the artworks from this baroque artist. We present a comparative study of the most influential projects of the digital preservation area, their contributions and 3D generation technologies. Scanners traditionally used in these projects can achieve micrometer precision. However they also can cost up to hundreds of thousands of dollars, require tripods, own source of energy, training to calibrate and operate the equipment, ample space and the acquisition may take several minutes for a single capture. While the RGB-D sensors despite the lower precision they achieve up to 60 fps, they are easy to operate, requiring only the connection to a notebook and generally cost up to $100. Several recent studies presented methods that exploit the potential of these sensors. However, these approaches often exhibit errors when applied to full 3D reconstruction of di_erent objects, known as the loop closure problem. This work proposes a complete methodology of 3D reconstruction based on RGB-D cameras.And to mitigate the loop closure e_ect we present an pairwise alignment method that expands the graph connectivity.This is done through a new method that expands connections in a pairwise alignment system by automatically discovering new pairs of meshes with overlapping region. Then the alignment error is distributed more evenly over the aligned pairs avoiding the loop closure of full 3D reconstructions. Our alignment approach is necessary because the error accumulation is intensified by the large amount of data generated by RGB-D cameras. The experiments were performed using the data of 30 artworks of Digital Aleijadinho project, conducted in partnership with UNESCO. Our experiments show detailed 3D models and favorably compare with state-of-the-art methods found in literature. Keywords: kinect, alignment, 3D reconstruction, cultural heritage

Automated analysis and visualization of preclinical whole-body microCT data

In this thesis, several strategies are presented that aim to facilitate the analysis and visualization of whole-body in vivo data of small animals. Based on the particular challenges for image processing, when dealing with whole-body follow-up data, we addressed several aspects in this thesis. The developed methods are tailored to handle data of subjects with significantly varying posture and address the large tissue heterogeneity of entire animals. In addition, we aim to compensate for lacking tissue contrast by relying on approximation of organs based on an animal atlas. Beyond that, we provide a solution to automate the combination of multimodality, multidimensional data.* Advanced School for Computing and Imaging (ASCI), Delft, NL * Bontius Stichting inz Doelfonds Beeldverwerking, Leiden, NL * Caliper Life Sciences, Hopkinton, USA * Foundation Imago, Oegstgeest, NLUBL - phd migration 201