Template-based Monocular 3D Shape Recovery using Laplacian Meshes

We show that by extending the Laplacian formalism, which was first introduced in the Graphics community to regularize 3D meshes, we can turn the monocular 3D shape reconstruction of a deformable surface given correspondences with a reference image into a well-posed problem. Our approach allows us to reduce the dimensionality of the surface reconstruction problem without sacrificing accuracy, thus allowing for real-time implementations

Relocalización deformable con restricciones laplacianas

Sea un mapa de una escena. El problema de la relocalización, también conocido co- mo “robot secuestrado”, consiste en la localización de una cámara respecto del mapa tomando como data una única imagen tomada por la cámara. El objetivo es hacer un sistema de relocalización para un sistema VSLAM (Si- multaneous Location and Mapping with Visual sensor). Nuestro sistema de VSLAM, llamado ORBSDTAM, procesa una secuencia de vı́deo de una escena y obtiene la forma indeformada de la escena. También es resultado del ORBSDTAM una base de datos de keyframes con su correspondiente plantilla en reposo. Los keyframes son un sub- conjunto reducido de de imágenes del vı́deo, elegido con el criterio de cubrir la escena observada, habiendo solapamiento entre los distintos keyframes. Además, para cada keyframe, se dispone de una estimación de la superficie de la escena en su posición de reposo. Nuestro programa toma una imagen de la escena y la base de datos de keyframes de la escena, a partir de ellos estima la posición de la cámara que observó la imagen respecto de la plantilla de uno de los keyframes. Además también estima la deformación que ha sufrido la plantilla cuando ha sido observada por la cámara. Asumimos que el ORBSDTAM nos da cual es el keyframe más similar a la imagen, y también nos da las correspondencias entre el keyframe y la imagen. Se ha concebido y desarrollado un software para estimar la posición entre la cámara y la plantilla a partir de las correspondencias, siguiendo la propuesta de Ngo et al. A partir de las correspondencias y la plantilla en reposo se construye un sistema lineal de ecuaciones que combina el error de medida en las imágenes con un regularizador que penaliza la deformación de la plantilla, finalmente el sistema de ecuaciones se resuel- ve mediante SVD. El sistema ha sido validado experimentalmente con una secuencia de imágenes reales de una plantilla deformable, mostrando es capaz de relocalizar la cámara en un escenario con una deformación significativa para más del 90 % de los frames, con un tiempo de procesamiento por frame inferior a 300 ms

Measuring the accuracy of softball impact simulations

A study has been conducted to review viscoelastic and foam-constitutive models to describe sport ball response to impact with a rigid cylindrical surface. The impact model was developed to simulate a ball-bat collision. Comparisons were made to actual impacts, utilizing displacements recorded and analyzed using high-speed video capture. The resulting images and the ball geometry before impact were used as input to a computer-vision algorithm, which then produced a quantitative description of the deformation during impact. Foam-based material models were observed to match this observed deformation better (within 1 %) than viscoelastic material models (within 5 %). Both viscoelastic and foam material models deviated more from experimental data when describing dissipated energy and stiffness than when describing deformation. When describing impact energy dissipation and ball stiffness, the viscoelastic models deviated from experiment by more than a factor of two, while the foam material models exhibited up to 35 % error. The measured ball deformation, afforded through video analysis, has shown that foam material models are better able to describe ball impacts involving large energy dissipation, but require further refinement before equipment performance and design can be reliably performed

DefSLAM: Tracking and Mapping of Deforming Scenes from Monocular Sequences

Monocular simultaneous localization and mapping (SLAM) algorithms perform robustly when observing rigid scenes; however, they fail when the observed scene deforms, for example, in medical endoscopy applications. In this article, we present DefSLAM, the first monocular SLAM capable of operating in deforming scenes in real time. Our approach intertwines Shape-from-Template (SfT) and Non-Rigid Structure-from-Motion (NRSfM) techniques to deal with the exploratory sequences typical of SLAM. A deformation tracking thread recovers the pose of the camera and the deformation of the observed map, at frame rate, by means of SfT processing a template that models the scene shape-at-rest. A deformation mapping thread runs in parallel with the tracking to update the template, at keyframe rate, by means of an isometric NRSfM processing a batch of full perspective keyframes. In our experiments, DefSLAM processes close-up sequences of deforming scenes, both in a laboratory-controlled experiment and in medical endoscopy sequences, producing accurate 3-D models of the scene with respect to the moving camera

Template-free 3D Reconstruction of Poorly-textured Nonrigid Surfaces

Two main classes of approaches have been studied to perform monocular nonrigid 3D reconstruction: Template-based methods and Non-rigid Structure from Motion techniques. While the first ones have been applied to reconstruct poorly-textured surfaces, they assume the availability of a 3D shape model prior to reconstruction. By contrast, the second ones do not require such a shape template, but, instead, rely on points being tracked throughout a video sequence, and are thus illsuited to handle poorly-textured surfaces. In this paper, we introduce a template-free approach to reconstructing a poorly-textured, deformable surface. To this end, we leverage surface isometry and formulate 3D reconstruction as the joint problem of non-rigid image registration and depth estimation. Our experiments demonstrate that our approach yields much more accurate 3D reconstructions than state-of-the-art techniques

Demostrador VSLAM con partes rígidas y deformables

Se ha implementado un sistema de VSLAM (Simultaneous Location and Mapping with Visual sensor) que procesa secuencias de vídeo que incluyen una escena con elementos tanto rígidos como deformables. El objetivo es un programa para procesar la secuencia de vídeo obteniendo un modelo 3D de la escena y la posición de la cámara respecto del modelo construido, todo ello en tiempo real a frecuencia de vídeo. Para ello se ha construido una escena física para el demostrador que contiene un material textil de gran riqueza visual y deformable bajo la acción de una fuerza. El marco del demostrador es rígido y se encuentra estático en la escena. Para construir el software se ha partido del sistema ORBSLAM, que es un sistema de VSLAM para escenas rígidas, extendiéndolo para que pueda procesar las escenas que contienen el demostrador. La parte no rígida se inicializa mediante una segmentación entre los puntos rígidos y deformables del mapa 3D del demostrador en reposo. Con los puntos identificados como deformables se construye el modelo de deformación, que consiste en una malla regular triangular. Cada frame se procesa secuencialmente, buscando y emparejando los puntos no rígidos del mapa en cada nueva imagen. Si el demostrador sufre deformaciones, aparecerá un error de reproyección en estos emparejamientos. Una optimización no lineal reduce este error modificando la posición de los nodos de la malla, estimando así la deformación ocurrida. El sistema ha sido validado experimentalmente y es capaz de estimar pequeñas deformaciones a frecuencia de vídeo

Reconstrucción 3D de sólidos deformables mediante el uso de redes convolucionales

Este trabajo de fin de master tiene por objetivo la reconstrucción 3D de sólidos deformables mediante la utilización de redes neuronales convolucionales, en este caso con una arquitectura encoder-decoder.Dicha aplicación busca una futura aplicación en realidad aumentada.This master thesis aims to achieve 3D reconstruction of deformable solids through the use of convolutional neural networks, in this case with an encoder-decoder architecture. This work looks for a future application in augmented reality.Máster Universitario en Ingeniería Industrial (M141

Live Texturing of Augmented Reality Characters from Colored Drawings

Coloring books capture the imagination of children and provide them with one of their earliest opportunities for creative expression. However, given the proliferation and popularity of digital devices, real-world activities like coloring can seem unexciting, and children become less engaged in them. Augmented reality holds unique potential to impact this situation by providing a bridge between real-world activities and digital enhancements. In this paper, we present an augmented reality coloring book App in which children color characters in a printed coloring book and inspect their work using a mobile device. The drawing is detected and tracked, and the video stream is augmented with an animated 3-D version of the character that is textured according to the child's coloring. This is possible thanks to several novel technical contributions. We present a texturing process that applies the captured texture from a 2-D colored drawing to both the visible and occluded regions of a 3-D character in real time. We develop a deformable surface tracking method designed for colored drawings that uses a new outlier rejection algorithm for real-time tracking and surface deformation recovery. We present a content creation pipeline to efficiently create the 2-D and 3-D content. And, finally, we validate our work with two user studies that examine the quality of our texturing algorithm and the overall App experience