Dense 3D Facial Reconstruction from a Single Depth Image in Unconstrained Environment

With the increasing demands of applications in virtual reality such as 3D films, virtual Human-Machine Interactions and virtual agents, the analysis of 3D human face analysis is considered to be more and more important as a fundamental step for those virtual reality tasks. Due to information provided by an additional dimension, 3D facial reconstruction enables aforementioned tasks to be achieved with higher accuracy than those based on 2D facial analysis. The denser the 3D facial model is, the more information it could provide. However, most existing dense 3D facial reconstruction methods require complicated processing and high system cost. To this end, this paper presents a novel method that simplifies the process of dense 3D facial reconstruction by employing only one frame of depth data obtained with an off-the-shelf RGB-D sensor. The experiments showed competitive results with real world data

Hacia la determinación de la asimetría facial utilizando nubes de puntos provenientes de imágenes RGB-D

El presente trabajo de investigación tiene como objetivo general determinar la asimetría del rostro humano utilizando nubes de puntos que provienen de imágenes RGB-D. Para lograr este objetivo se implementó una metodología conformada por dos etapas: la primera consistió en generar una nube de puntos facial densa y la segunda, donde se determinó la asimetría facial de la nube de puntos. En la primera etapa se evaluaron dos plataformas para la adquisición de la imagen 3D, que pudieran operar en las dimensiones mínimas establecidas para un consultorio médico general. La primera plataforma estuvo conformada por el sensor Kinect para Xbox 360 © (Kinect ©), una computadora y el software Skanect © v 1.91 y la segunda plataforma por el sensor Sense 3D Cubify © (Sense ©), una computadora y el software Sculpt v 1.0. De las imágenes 3D se extrajo la nube de puntos con la región facial y se incrementó su densidad con interpolación de función de base radial (RBF). Con base en las nubes de puntos faciales resultantes se determinó utilizar la plataforma del sensor Kinect © en la segunda etapa de la metodología. La adquisición de las imágenes 3D se obtuvieron de los rostros de sujetos sanos que no presentaban una asimetría clínica. Para determinar su asimetría facial, se adquirieron las imágenes 3D de los rostros en reposo y con tres asimetrías simuladas. Las tres asimetrías en los rostros de los sujetos fueron simuladas por medio de una deformación que se realizó colocando tres objetos esféricos de diferentes tamaños en la mejilla derecha. Con esto se logró un incremento en las dimensiones de la mejilla del lado derecho del rostro provocando una diferencia con la mejilla del lado izquierdo. En la segunda etapa de la metodología se determinó la asimetría facial de cada una de las nubes de puntos densas del rostro en reposo y con las tres asimetrías. Se uso el plano de simetría obtenido de la superposición de la nube de puntos facial y su reflejo, y del cálculo de las distancias existentes entre ambas nubes. De las distancias resultantes se calculó la distancia media absoluta que corresponde al índice de asimetría facial. Los índices de asimetría facial obtenidos, demuestran de forma cuantitativa las diferencias entre el rostro en reposo y el rostro asimétrico cada sujeto. El índice menor correspondió al rostro en reposo y el índice mayor al del rostro con la tercera asimetría. Considerando estos resultados, se puede concluir que se logró el objetivo buscado.Conacyt - becario naciona