Natural Feature Tracking Augmented Reality for On-Site Assembly Assistance Systems

We introduce a natural feature tracking approach that facilitates the tracking of rigid objects for an on-site assembly assistance system. The tracking system must track multiple circuit boards without added fiducial markers, and they are manipulated by the user. We use a common SIFT feature matching detector enhanced with a probability search. This search estimates how likely a set of query descriptors belongs to a particular object. The method was realized and tested. The results show that the probability search enhanced the identification of different circuit boards

Rigid Object Tracking Algorithms for Low-Cost AR Devices

Augmented reality (AR) applications rely on robust and efficient methods for tracking. Tracking methods use a computer-internal representation of the object to track, which can be either sparse or dense representations. Sparse representations use only a limited set of feature points to represent an object to track, whereas dense representations almost mimic the shape of an object. While algorithms performed on sparse representations are faster, dense representations can distinguish multiple objects. The research presented in this paper investigates the feasibility of a dense tracking method for rigid object tracking, which incorporates the both object identification and object tracking steps. We adopted a tracking method that has been developed for the Microsoft Kinect to support single object tracking. The paper describes this method and presents the results. We also compared two different methods for mesh reconstruction in this algorithm. Since meshes are more informative when identifying a rigid object, this comparison indicates which algorithm shows the best performance for this task and guides our future research efforts

Local Geometric Consensus: A General Purpose Point Pattern-Based Tracking Algorithm

Proceedings of ACM ISMAR 2015, Fukuoka, JapanInternational audienceWe present a method which can quickly and robustly match 2D and 3D point patterns based on their sole spatial distribution , but it can also handle other cues if available. This method can be easily adapted to many transformations such as similarity transformations in 2D/3D, and affine and perspective transformations in 2D. It is based on local geometric consensus among several local matchings and a refinement scheme. We provide two implementations of this general scheme, one for the 2D homography case (which can be used for marker or image tracking) and one for the 3D similarity case. We demonstrate the robustness and speed performance of our proposal on both synthetic and real images and show that our method can be used to augment any (textured/textureless) planar objects but also 3D objects

Camera tracking by online learning of keypoint arrangements using LLAH in augmented reality applications

International audienceWe propose a camera tracking method by on-line learning of keypoint arrange- ments in augmented reality applications. As target objects, we deal with intersection maps from GIS and text documents, which are not dealt with by the popular SIFT and SURF descriptors. For keypoint matching by keypoint arrangement, we use locally likely arrange- ment hashing (LLAH), in which the descriptors of the arrangement in a viewpoint are not invariant to wide viewpoints because the arrangement is changeable with respect to viewpoints. In order to solve this problem, we propose online learning of descriptors using new configurations of keypoints at new viewpoints. The proposed method allows keypoint matching to proceed under new viewpoints. We evaluate the performance and robustness of our tracking method using view changes

Desenvolvimento e avaliação de um sistema de realidade aumentada para visualização cartográfica

Orientador : Prof. Dr. Jorge Antonio Silva CentenoTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências da Terra, Programa de Pós-Graduação em Ciências Geodésicas. Defesa: Curitiba, 16/02/2017Inclui referências : f. 174-95Resumo: Nas últimas décadas é notável o aparecimento de sistemas computacionais que favorecem os usuários a executar suas tarefas. Dentre os sistemas que prometem auxiliar os usuários a executar suas tarefas - inclusive as tarefas de leitura de mapa - os baseados em Realidade Aumentada (RA) mostram-se bastante promissores. Estas interfaces computacionais mais naturais podem possibilitar novas formas de interação com a informação e com o ambiente ao redor do usuário. Entretanto, pouco deste tema tem sido explorado, principalmente, no Brasil. Por esse motivo, elaborou-se a presente pesquisa com a intenção de desenvolver e analisar alguns protótipos de Realidade Aumentada para a Cartografia, para interação com mapas e dados geográficos. Neste trabalho abordou-se e utilizou-se de diferentes metodologias para RA, como com e sem marcadores fiduciais especiais, em versão desktop ou para dispositivos móveis. Foram utilizados dados geoespaciais referentes à características físicas, políticas, sociais e demográficas, econômicas e ambientais, integradas sobre diferentes tipos de mapas impressos, de temáticos a topográficos. Explorou-se também a utilização vários formatos de dados, de vetorial a raster, 2D, 3D, animações, etc. É possível destacar que os sistemas de Realidade Aumentada desenvolvidos trazem novas possibilidades de manipulação de dados geográficos, trazendo novas oportunidades de interação com o mapa impresso ou dados geoespaciais digitais. Porém, destaca-se que o desenvolvimento para dispositivos móveis e sem a utilização de marcadores fiduciais externos apresenta-se altamente atrativo, uma vez que este sistema de RA pode ser considerado como uma "lente mágica" ou uma "janela" para o mundo virtual, onde o usuário pode ter acesso a outras informações geoespaciais digitais sobrepostas ao ambiente real através destes dispositivos móveis. Ainda, com a execução de testes com usuários verificou-se que os sistemas de RA desenvolvidos trouxeram significativas melhorias para seus usuários na execução das tarefas, assim como ganhos em quesitos como motivação, confiança, diminuição de demandas físicas e mentais, etc. Com relação à preferencia dos usuários, a grande maioria dos usuários entrevistados preferiu trabalhar com estes sistemas de RA desenvolvidos do que apenas com os mapas impressos. Estudos também sobre se o conhecimento prévio do usuário poderia influenciar na execução das tarefas indicaram que, por mais que os sistemas de RA tenham auxiliado a grande maioria dos usuários, os sistemas de RA possuíram maior aceite e trouxeram maiores contribuições aos usuários não especialistas. Também, verificou-se que, por várias vezes, os usuários tendiam a "brincar" mais com o sistema de RA do que com o mapa impresso, passando mais tempo analisando determinada área ou fenômeno geográfico, demonstrando assim maior interação com os dados e espaço geográfico. Em todos os testes executados foi possível verificar que os usuários se mostravam mais interessados em executar suas tarefas quando apoiados pelos sistemas de RA, por vezes executando as tarefas sorrindo ou fazendo exclamações e comentários positivos sobre o sistema de RA. Desta forma, aplicações de Realidade Aumentada, como a descrita neste trabalho, se tornam importantes ferramentas no auxílio às questões profissionais como planejamento e gestão do espaço geográfico, ou até à área da educação, ensino e aprendizagem, uma vez que a integração dos dados em um ambiente mais interativo pode auxiliar na melhoria do processo de entendimento e compreensão do espaço geográfico por parte dos seus usuários. Palavras-chave: Realidade Aumentada, dados geoespaciais, interatividade, teste com usuários.Abstract: In the last decades it is notable the increase of computational systems that help users to perform their tasks. Among the systems that promise to help users to perform their tasks - including map-reading tasks - those based on Augmented Reality (AR) are quite promising. These natural computational interfaces may allow new forms of interaction with the information and the real world around the users. However, just a little has been explored about it in the world - and especially in Brazil. For this reason, we elaborated this research to development and analyze some prototypes of Augmented Reality for Cartography, for interaction with maps and geographic data, addressing and using different methodologies, such as with or without special fiducial markers, for desktop computers or mobile devices. We have used geospatial data referring to physical, political, social, demographic, economic and environmental characteristics, integrated over different types of printed maps, from thematic to topographic maps. It is possible to highlight that the Augmented Reality systems developed in this work brought new opportunities of interaction with printed maps or digital geospatial data. Moreover, the AR systems brought the possibility of exploration of several formats, as vectors and rasters, 2D, 3D, animations, etc. It was verified that - independently of the methodologies used - with AR systems it was possible to interact with a printed physical map and virtual geographic data simultaneously. However, it is possible to affirm that the AR system developed for mobile devices and using the markerless approach is highly attractive. With this approach the AR system can be considered as a "magic lens" or a "window" to the virtual world, where users could access digital geospatial information superimposed on the real environment through these mobile AR systems. Also, with users' tests, it was verified that the AR systems developed have brought significant improvements to the execution of the tasks, such as gains in motivation, confidence, decrease of physical and mental demands, etc. About the user's preference, a large majority of users interviewed preferred to work with these AR systems than just the printed maps. Also, it has been found that sometimes users tended to "play" more with the AR system than with the printed maps, spending more time analyzing a particular area or geographic phenomenon, demonstrating more interaction with geographic data. Also, it has been verified that users were more interested in performing their tasks when supported by the AR systems - performing their tasks smiling or making exclamations and positive comments about the AR system. By this way, applications of Augmented Reality as a described in this work become an important tool for assistance to professional questions like geographic space planning and management, or to the educational area, since the integration of the geospatial data in an interactive environment can help to improve the process of understanding and comprehension of the geographical space by its users. Keywords: Augmented Reality, geospatial data, interactivity, users' tests