3D Shape Descriptor-Based Facial Landmark Detection: A Machine Learning Approach

Facial landmark detection on 3D human faces has had numerous applications in the literature such as establishing point-to-point correspondence between 3D face models which is itself a key step for a wide range of applications like 3D face detection and authentication, matching, reconstruction, and retrieval, to name a few. Two groups of approaches, namely knowledge-driven and data-driven approaches, have been employed for facial landmarking in the literature. Knowledge-driven techniques are the traditional approaches that have been widely used to locate landmarks on human faces. In these approaches, a user with sucient knowledge and experience usually denes features to be extracted as the landmarks. Data-driven techniques, on the other hand, take advantage of machine learning algorithms to detect prominent features on 3D face models. Besides the key advantages, each category of these techniques has limitations that prevent it from generating the most reliable results. In this work we propose to combine the strengths of the two approaches to detect facial landmarks in a more ecient and precise way. The suggested approach consists of two phases. First, some salient features of the faces are extracted using expert systems. Afterwards, these points are used as the initial control points in the well-known Thin Plate Spline (TPS) technique to deform the input face towards a reference face model. Second, by exploring and utilizing multiple machine learning algorithms another group of landmarks are extracted. The data-driven landmark detection step is performed in a supervised manner providing an information-rich set of training data in which a set of local descriptors are computed and used to train the algorithm. We then, use the detected landmarks for establishing point-to-point correspondence between the 3D human faces mainly using an improved version of Iterative Closest Point (ICP) algorithms. Furthermore, we propose to use the detected landmarks for 3D face matching applications

Efectos de la interacción y la representación visual de mapas inmersivos colaborativos

Una de las principales ventajas de la tecnología de Realidad Virtual (RV) es la capacidad de generar en el usuario la sensación de encontrarse en un entorno virtual interactivo 3D, en el que además puede comunicarse e interactuar con otros usuarios. Esta característica hace que la RV sea una herramienta especialmente prometedora como medio de soporte para la colaboración entre usuarios localizados en distintas ubicaciones geográficas. Sin embargo, se deben considerar algunos desafíos a la hora de abordar el diseño e implementación de herramientas de este tipo. Por una parte, es necesario poner a disposición de los usuarios mecanismos que permitan una interacción fluida o eficiente con las distintas funcionalidades del sistema. Por otra parte, los colaboradores deben disponer de los medios suficientes para comunicarse eficientemente con los otros colaboradores, comprender las acciones que éstos realizan y, en general, lo que sucede en el espacio de trabajo. Este trabajo de investigación tiene como objetivo investigar los efectos de la interacción y la representación visual de mapas inmersivos colaborativos. Para ello se proponen dos estudios de usuario para analizar ambos fenómenos. El primer estudio de usuario realiza un experimento intra-sujetos para comparar el rendimiento y usabilidad de dos estilos de interacción: interacción gestual e interacción usando controles. En la interacción gestual, los participantes usaron sus manos y la orientación de la cabeza para controlar la interfaz de mapa VR. En el caso de interacción usando controles, los usuarios interactuaron con la interfaz utilizando el control Oculus Touch. Treinta y dos participantes realizaron el experimento cuyos resultados sugieren que utilizar controles mejora el rendimiento de la tarea, en términos de tiempo empleado y tasa de error. Adicionalmente, el estudio identificó que los usuarios prefieren utilizar un control para interactuar. Entre las lecciones aprendidas del estudio de usuario sobre estilos de interacción se identificó que el rendimiento y la experiencia de usuario utilizando los estilos de interacción esta condicionado por: la experiencia previa de los usuarios, el esfuerzo físico que deben realizar, la precisión que requiere la interacción y la complejidad que requiere la tarea para interactuar. El segundo estudio de usuario realiza un experimento intra-sujetos para comparar el rendimiento y presencia social de dos formas de representar visualmente un escenario colaborativo virtual con interfaces de mapas en un escenario de intervención de crisis: experiencia compartida y espacio de trabajo compartido. En el caso de la representación visual de experiencia compartida, se intenta reproducir un escenario de colaboración realista incluyendo la mayor cantidad de elementos posible para generar la percepción de que el usuario se encuentra en una sala de crisis. En cambio, en la representación visual de espacio de trabajo compartido, se intenta centrar la escena únicamente en el espacio de trabajo y los elementos que contribuyen a la realización de la tarea colaborativa. En el estudio participaron veinticuatro personas agrupadas en parejas (12 parejas). El estudio consistió en que las parejas realizacen una tarea colaborativa donde cada integrante tenía un rol en una intervención de crisis que use típicamente interfaces de mapas. Los resultados indican que, a pesar de que un escenario de experiencia compartida puede aportar una mejor experiencia personal al usuario en términos de fidelidad, existen evidencias que sugieren que una escenario de espacio de trabajo compartido puede ser una forma más efectiva para representar el escenario y mejorar la colaboración. Las lecciones aprendidas en este estudio de usuario permitió identificar que el rendimiento y la presencia social utilizando las dos representaciones visuales del escenario están condicionadas por: el nivel de fidelidad de la escena, la distribución de elementos del escenario, los canales de comunicación disponibles entre los colaboradores y la percepción del usuario de que no se encuentra solo (o copresencia). Adicionalmente, se realizaron estudios sistemáticos de la literatura de cada fenómeno para identificar potenciales desafíos cuando se implementan los distintos paradigmas estudiados en esta investigación. Estos desafíos y las lecciones aprendidas de cada estudio de usuario permitieron proponer un conjunto de recomendaciones de diseño que sirvan como ayuda al diseño de sistemas similares. Las recomendaciones de diseño propuestas para estilos de interacción son: identificar los perfiles de los usuarios que utilizarán la interfaz, dimensionar la interacción teniendo en cuenta estándares de confort y ergonomía aplicados al ambiente específico de la tarea, identificar el grado de precisión que requiere la tarea, seleccionar los mecanismos, periféricos y técnicas de interacción que se adecuen a la tarea y al perfil de los usuarios. Las recomendaciones de diseño propuestas para representación visual del escenario y conciencia situacional son: identificar los elementos que contribuyan a la tarea y generar conciencia situacional, dimensionar el espacio y la distribución de los elementos en el escenario, identificar los actos comunicacionales en la tarea y que mecanismos de comunicación se pueden utilizar, identificar los apoyos visuales que permitan generar conciencia situacional del espacio de trabajo y copresencia de los colaboradores. Finalmente, el presente documento señala las validaciones y técnicas disponibles en la literatura para validar los criterios de diseño que se utilicen.Programa de Doctorado en Ciencia y Tecnología Informática por la Universidad Carlos III de MadridPresidente: Víctor Amadeo Bañuls Silvera.- Secretario: Andrea Bellucci.- Vocal: José Antonio Piedra Fernánde

Natural Parameterization

The objective of this project has been to develop an approach for imitating physical objects with an underlying stochastic variation. The key assumption is that a set of “natural parameters” can be extracted by a new subdivision algorithm so they reflect what is called the object’s “geometric DNA”. A case study on one hundred wheat grain crosssections (Triticum aestivum) showed that it was possible to extract thirty-six such parameters and to reuse them for Monte Carlo simulation of “new” stochastic phantoms which possessthe same stochastic behavior as the “original” cross-sections