Dual Quaternions as Constraints in 4D-DPM Models for Pose Estimation

This work was partially financed by Plan Nacional de Investigacion y Desarrollo (I+D), Comision Interministerial de Ciencia y Tecnologia (FEDER-CICYT) under the project DPI2013-44227-R.Martínez Bertí, E.; Sánchez Salmerón, AJ.; Ricolfe Viala, C. (2017). Dual Quaternions as Constraints in 4D-DPM Models for Pose Estimation. Sensors. 17 (8)(1913):1-16. https://doi.org/10.3390/s17081913S11617 (8)191

Diseño, desarrollo y evaluación de un sistema de visión para automatizar experimentos healthspan

El trabajo a realizar pretende desarrollar una aplicación automática de visión, la cuál consistirá en capturar imágenes en tiempo real de placas de Petri, realizar un pre-procesamiento de la misma usando un raspberry pi, dicha imagen se enviará por comunicación usando sockets de comunicación a un PC para su posterior procesamiento, localización y de detección de nematodos C. elegans con la finalidad de analizar su comportamiento ante diferentes grupos alimenticos. Durante la fase de diseño de la aplicación se analizará y verificará del experimento con diferentes tipos de luz. La verificación se realizará con un operador de laboratorio, a fin de contrastar la información obtenida del proceso automático de visón y lo observado en microscopio.This work aims to develop an automatic application of vision, which will consist of capturing images of Petri dishes in real time, pre-processing it using a raspberry pi, these images will be sent by communication using communication sockets to a PC for further processing, localization and detection of C. elegans nematodes in order to analyze their behavior in the presence of different food groups. During the design phase of the application, the experiment will be analyzed and verified with different types of light. The verification will be carried out with a laboratory operator, in order to contrast the information obtained from the automatic process and what is observed in a microscope.Layana Castro, PE. (2018). Diseño, desarrollo y evaluación de un sistema de visión para automatizar experimentos healthspan. http://hdl.handle.net/10251/112729Archivo delegadoTFG

SEGUIMIENTO DE PERSONAS APLICANDO RESTRICCIONES CINEMÁTICAS BASADAS EN MODELOS DE CUERPOS RÍGIDOS ARTICULADOS

The present thesis deals with the study of vision techniques for the detection of human pose based on the analysis of a single image, as well as the tracking of these poses along a sequence of images. It is proposed to model the human pose by four kinematic chains that model the four articulated extremities. These kinematic chains and head remain attached to the body. The four kinematic chains are composed by three keypoints. Therefore, the model initially has a total of $14$ parts. In this thesis it is proposed to modify the technique called Deformable Parts Model (DPM), adding the depth channel. Initially, the DPM model was defined over three RGB channel images. While in this thesis it is proposed to work on images of four RGBD channels, so the proposed extension is called 4D-DPM. The experiments performed with 4D-DPM demonstrate an improvement in the accuracy of pose detection with respect to the initial DPM model, at the cost of increasing its computational cost when treating an additional channel. On the other hand, it is defined to reduce the previous computational cost by simplifying the model that defines the human pose. The idea is to reduce the number of variables to be detected with the 4D-DPM model, so that the suppressed variables can be calculated from the detected variables using inverse kinematics models based on dual quaternions. In addition, it is proposed to use a particle filter models to continue improving the accuracy of detection of human poses along a sequence of images. Considering the problem of detection and monitoring of human body pose along a video sequence, this thesis proposes the use of the following method. 1. Camara calibration. RGBD image processing. Subtraction of the image background with the MSER method. 2. 4D-DPM: method used to detect the keypoints (variables of the pose model) within an image. 3. Particle filters: this type of filter is designed to track the keypoints over time and correct the data obtained by the sensor. 4. Inverse kinematic modeling: the control of kinematic chains is performed with the help of dual cuaternions in order to obtain the complete pose model of the human body. The overall contribution of this thesis is the proposal of the previous method that, combining the previous methods, is able to improve the accuracy in the detection and the follow up of the human body pose in a video sequence, also reducing its computational cost . This is possible due to the combination of the 4D-DPM method with the use of inverse kinematics techniques. The original DPM method should detect $14$ point of interest on an RGB image to estimate the human pose. However, the proposed method, where a point of interest for each limb is removed, must detect $10$ point of interest on an RGBD image. Subsequently, the eliminated $4$ point of interest are calculated by using inverse kinematics methods from the calculated $10$ point of interest. To solve the problem of inverse kinematics a dual quaternions methods is proposed for each of the $4$ kinematic chains that model the extremities of the skeleton of the human body. The particle filter is applied over the time sequence of the 10 points of interest of the posture model detected through the 4D-DPM method. To design these particle filters it is proposed to add the following restrictions to weight the particles generated: 1. Restrictions on joint limits. 2. Softness restrictions. 3. Collision detection. 4. Projection of poly-spheresLa presente tesis trata sobre el estudio de técnicas de visión para la detección de la postura del esqueleto del cuerpo humano basada en el análisis de una sola imagen, además del seguimiento de estas posturas a lo largo de una secuencia de imágenes. Se propone modelar la postura del esqueleto cuerpo humano mediante cuatro cadenas cinemáticas que modelan las cuatro extremidades articuladas. Estas cadenas cinemáticas y la cabeza permanecen unidas al cuerpo. Las cuatro cadenas cinemáticas se componen de tres puntos de interés. Por lo tanto, el modelo inicialmente dispone de un total de 14 puntos de interés. En esta tesis se propone modificar la técnica denominada Deformable Parts Model (DPM), añadiendo el canal de profundidad denominado ``Depth''. Inicialmente el modelo DPM se definió sobre imágenes de tres canales RGB. Mientras que en esta tesis se propone trabajar sobre imágenes de cuatro canales RGBD, por ello a la ampliación propuesta se le denomina 4D-DPM. Por otra parte, se propone reducir el coste computacional anterior simplificando el modelo que define la postura del cuerpo humano. La idea es reducir el número de variables a detectar con el modelo 4D-DPM, de tal manera que las variables suprimidas se puedan calcular a partir de las variables detectadas, utilizando modelos de cinemática inversa basados en cuaterniones duales. Los experimentos realizados demuestran que la combinación de estas dos técnicas permite, reduciendo el coste computacional del método original DPM, mejorar la precisión de la detección de postura debido a la información extra del canal de profundidad. Adicionalmente, se propone utilizar modelos de filtros de partículas para continuar mejorando la precisión de la detección de las posturas humanas a lo largo de una secuencia de imágenes. Atendiendo al problema de detección y seguimiento de las postura del esqueleto del cuerpo humano a lo largo de una secuencia de vídeo, esta tesis propone el uso del siguiente método. 1. Calibración de cámaras. Procesamiento de imágenes RGBD. Sustracción del fondo de la imagen con el método MSER. 2. 4D-DPM: método utilizado para detectar los puntos de interés (variables del modelo de postura) dentro de una imagen. 3. Filtros de partículas: se diseña este tipo de filtros para realizar el seguimiento de los puntos de interés a lo largo del tiempo y corregir los datos obtenidos por el sensor. 4. Modelado cinemático inverso: se realiza el control de cadenas cinemáticas con la ayuda de cuaterniones duales con el fin de obtener el modelo completo de la postura del esqueleto del cuerpo humano. La contribución global de esta tesis es la propuesta del método anterior que, combinando los métodos anteriores, es capaz de mejorar la precisión en la detección y el seguimiento de la postura del esqueleto del cuerpo humano en una secuencia de vídeo, reduciendo además su coste computacional. El método original DPM debe detectar 14 puntos de interés sobre una imagen RGB para estimar la postura de un cuerpo humano. Sin embargo, el método propuesto debe detectar 10 puntos de interés sobre una imagen RGBD. Posteriormente, los 4 puntos de interés eliminados se calculan mediante la utilización de métodos de cinemática inversa a partir de los 10 puntos de interés calculados. Para resolver el problema de la cinemática inversa se propone utilizar cuaterniones duales para cada una de las 4 cadenas cinemáticas que modelan las extremidades del esqueleto del cuerpo humano. El filtro de partículas se aplica sobre la secuencia temporal de los 10 puntos de interés del modelo de postura detectados a través del método 4D-DPM. Para diseñar estos filtros de partículas se propone añadir las siguientes restricciones, explicadas en la memoria, para ponderar las partículas generadas: 1. Restricciones en los límites de articulaciones. 2. Restricciones de suavidad. 3. Detección de colisiones. 4. Proyección de las poli-esferas.La present tesi tracta sobre l'estudi de tècniques de visió per a la detecció de la postura de l'esquelet del cos humà basada en l'anàlisi d'una sola imatge, a més del seguiment d'estes postures al llarg d'una seqüència d'imatges. Es proposa modelar la postura de l'esquelet del cos humà per mitjà de quatre cadenes cinemàtiques que modelen les quatre extremitats articulades. Estes cadenes cinemàtiques i el cap romanen unides al cos. Les quatre cadenes cinemàtiques es componen de tres punts d'interés. Per tant, el model inicialment disposa d'un total de $14$ punts d'interés. En esta tesi es proposa modificar la tècnica denominada Deformable Parts Model (DPM) , afegint el canal de profunditat denominat ``Depth''. Inicialment el model DPM es va definir sobre imatges de tres canals RGB. Mentres que en esta tesi es proposa treballar sobre imatges de quatre canals RGBD, per això a l'ampliació proposada se la denomina 4D-DPM. D'altra banda, es proposa reduir el cost computacional anterior simplificant el model que definix la postura del cos humà. La idea és reduir el nombre de variables a detectar amb el model 4D-DPM, de tal manera que les variables suprimides es puguen calcular a partir de les variables detectades, utilitzant models de cinemàtica inversa basats en quaternions duals. Els experiments realitzats demostren que la combinació d'estes dos tècniques permet, reduint el cost computacional del mètode original DPM, millorar la precisió de la detecció de la postura degut a la informació extra del canal de profunditat. Addicionalment, es proposa utilitzar models de filtres de partícules per a continuar millorant la precisió de la detecció de les postures humanes al llarg d'una seqüència d'imatges. Atenent al problema de detecció i seguiment de les postura de l'esquelet del cos humà al llarg d'una seqüència de vídeo, esta tesi proposa l'ús del següent mètode. 1. Calibratge de càmeres. Processament d'imatges RGBD. Sostracció del fons de la imatge amb el mètode MSER. 2. 4D-DPM: mètode utilitzat per a detectar els punts d'interés (variables del model de postura) dins d'una imatge. 3. Filtres de partícules: es dissenya este tipus de filtres per a realitzar el seguiment dels punts d'interés al llarg del temps i corregir les dades obtingudes pel sensor. 4. Modelatge cinemàtic invers: es realitza el control de cadenes cinemàtiques amb l'ajuda de quaternions duals a fi d'obtindre el model complet de l'esquelet del cos humà. La contribució global d'esta tesi és la proposta del mètode anterior que, combinant els mètodes anteriors, és capaç de millorar la precisió en la detecció i el seguiment de la postura de l'esquelet del cos humà en una seqüència de vídeo, reduint a més el seu cost computacional. Açò és possible a causa de la combinació del mètode 4D-DPM amb la utilització de tècniques de cinemàtica inversa. El mètode original DPM ha de detectar 14 punts d'interés sobre una imatge RGB per a estimar la postura d'un cos humà. No obstant això, el mètode proposat ha de detectar 10 punts d'interés sobre una imatge RGBD. Posteriorment, els 4 punts d'interés eliminats es calculen per mitjà de la utilització de mètodes de cinemàtica inversa a partir dels 10 punts d'interés calculats. Per a resoldre el problema de la cinemàtica inversa es proposa utilitzar quaternions duals per a cada una de les 4 cadenes cinemàtiques que modelen les extremitats de l'esquelet del cos humà. El filtre de partícules s'aplica sobre la seqüència temporal dels 10 punts d'interés del model de postura detectats a través del mètode 4D-DPM. Per a dissenyar estos filtres de partícules es proposa afegir les següents restriccions per a ponderar les partícules generades: 1. Restriccions en els límits d'articulacions. 2. Restriccions de suavitat. 3. Detecció de col·lisions. 4. Projecció de les poli-esferes.Martínez Bertí, E. (2017). SEGUIMIENTO DE PERSONAS APLICANDO RESTRICCIONES CINEMÁTICAS BASADAS EN MODELOS DE CUERPOS RÍGIDOS ARTICULADOS [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/86159TESI

Diseño, desarrollo y evaluación de un sistema de clasificación de objetos en imágenes que permita la monitorización de C. elegans mediante redes neuronales convolucionales

[ES] En este proyecto se ha desarrollado un algoritmo que facilita las tareas de monitorización de nematodos Caenorhabditis elegans (C. elegans), con el objetivo de automatizar las tareas de investigación. En concreto, se trata de un clasificador de imágenes que permite detectar si el gusano está vivo o muerto. En primer lugar, se ha realizado un estudio de alternativas revisando proyectos similares y comparando las técnicas tradicionales de visión por computador y los algoritmos de Aprendizaje Profundo (Deep Learning). Tras analizar sus ventajas y desventajas, se ha optado por hacer uso de redes neuronales artificiales. Para poder entrenar redes neuronales, es necesario disponer de una gran cantidad de imágenes etiquetadas, por lo que se ha procedido a etiquetar la base de datos disponible. Seguidamente, se ha planteado el uso de dos arquitecturas de redes neuronales: las redes neuronales convolucionales y las redes neuronales recurrentes. Para cada tipo de red se necesita un tipo de entrada, por lo que se han propuesto varios métodos para introducir la información. Una vez generado el dataset completo, se ha divido en grupos de entrenamiento y validación. A continuación, se han implementado las redes neuronales haciendo uso del software de Deep Learning Pytorch y se han desarrollado diferentes pruebas para determinar la arquitectura más apropiada para resolver el problema y optimizar los resultados. Como conclusión, se ha comprobado que la combinación de redes neuronales convolucionales y recurrentes obtiene los mejores porcentajes de precisión al clasificar las imágenes de C. elegans.[EN] In this project an algorithm has been developed that facilitates the monitoring tasks of nematodes Caenorhabditis elegans (C. elegans), with the aim of automating research tasks. Specifically, it is an image classifier that allows to detect if the worm is alive or dead. First of all, a study of alternatives has been carried out by reviewing similar projects and comparing traditional computer vision techniques and Deep Learning algorithms. After analyzing their advantages and disadvantages, it has been decided to make use of artificial neural networks. In order to train neural networks, it is necessary to have a large number of tagged images, so we have proceeded to tag the database available. Next, the use of two neural network architectures has been considered: convolutional neural networks and recurrent neural networks. For each type of network an input type is needed, so several methods have been proposed to introduce the information. Once the complete dataset has been generated, it has been divided into training and validation groups. Next, neural networks have been implemented using the Deep Learning Pytorch software and different tests have been developed to determine the most appropriate architecture to solve the problem and optimize the results. As a conclusion, it has been proved that the combination of convolutional and recurrent neural networks obtains the best percentages of precision when classifying the images of C. elegans.García Garví, A. (2019). Diseño, desarrollo y evaluación de un sistema de clasificación de objetos en imágenes que permita la monitorización de C. elegans mediante redes neuronales convolucionales. Universitat Politècnica de València. http://hdl.handle.net/10251/12630

Diseño, implementación y evaluación de técnicas de clasificación de naranjas naveles mediante técnicas de visión por computador

[ES] El objetivo de este trabajo consiste en el diseño, implementación y evaluación de diferentes técnicas de clasificación de imágenes basadas en visión artificial con la finalidad de poder analizar la posible automatización del proceso de control de calidad de naranjas naveles en línea, durante el proceso de encajado en un almacén. Se parte de un conjunto de datos etiquetados suministrado por el instituto de automática e informática industrial (ai2). Se trata de un dataset adquirido en un almacén en el que se dispone de un sistema de visión artificial que captura 5 imágenes por naranja navel durante el paso por railes que conducen a las naranjas a su encajado final. Cada secuencia de imágenes está etiquetada por su categoría. Para el desarrollo del trabajo, se diseñarán técnicas de clasificación, por ejemplo: clasificador bayesiano, KNN, redes neuronales, etc. Estos métodos de clasificación se implementarán con lenguaje de programación Python y sus librerías Numpy, OpenCV, Pytorch, etc. Para finalizar, se evaluarán los resultados obtenidos utilizando criterios como la tasa de acierto y coste computacional.[EN] The objective of this project is the design, implementation and evaluation of different image classification techniques based on artificial vision in order to analyse the possible automation of the quality control process of navel oranges during the packing process in a storage. The starting point is a labelled dataset supplied by the institute of automatics and industrial informatics (ai2). It is a dataset acquired in a storage with an artificial vision system that captures 5 images per navel orange during the passage along the rails that lead the oranges to their final packing. Each sequence of images is labelled by category. For the development of the work, classification techniques will be designed, e.g., Bayesian classifier, KNN, neural networks, etc. these classification methods will be implemented with Python programming language and its libraries: Numpy, OpenCV, Pytorch, etc. Finally, the results obtained will be evaluated using criteria such as hit rate and computational cost.Moya Marín, S. (2021). Diseño, implementación y evaluación de técnicas de clasificación de naranjas naveles mediante técnicas de visión por computador. Universitat Politècnica de València. http://hdl.handle.net/10251/174169TFG

Diseño, desarrollo y evaluación de algoritmos basados en aprendizaje profundo para automatización de experimentos Lifespan con C. elegans

[ES] En los últimos años, los nematodos C. elegans cultivados en placas de Petri se han utilizado en muchas investigaciones relacionadas con el envejecimiento. El desarrollo de nuevas herramientas para automatizar los experimentos de lifespan permite realizar más ensayos en menos tiempo y evitar errores humanos, obteniendo resultados más precisos. El objetivo de este TFM consiste en diseñar y desarrollar métodos para abordar este problema utilizando técnicas de aprendizaje profundo. Posteriormente, se evaluarán los resultados comparando los resultados con los obtenidos empleando técnicas tradicionales de visión por computador. Inicialmente, el trabajo se centrará en la creación y edición de forma supervisada de un conjunto de imágenes bien etiquetadas. Posteriormente se diseñarán distintas arquitecturas de redes neuronales y se optimizará cada una de ellas sobre el espacio de hiperparámetros utilizando Python y Pytorch. Finalmente, se evaluarán las distintas arquitecturas propuestas, utilizando como criterios de optimización tanto las tasas de aciertos como los costes temporales de computación.[EN] In recent years, C. elegans nematodes grown in Petri dishes have been used in many investigations related to aging. The development of new tools to automate lifespan experiments allows more tests to be carried out in less time and to avoid human error, obtaining more accurate results. The objective of this TFM is to design and develop methods to address this problem using deep learning techniques. Subsequently, the results will be evaluated by comparing the results with those obtained using traditional computer vision techniques. Initially, work will focus on supervised creation and editing of a set of well-labeled images. Subsequently, different neural network architectures will be designed and each one will be optimized on the hyperparameter space using Python and Pytorch. Finally, the different proposed architectures will be evaluated, using both the accuracies and the temporary computing costs as optimization criteria.[CA] En els últims anys, els nematodes C. elegans conreats en plaques de Petri s'han utilitzat en moltes recerques relacionades amb l'envelliment. El desenvolupament de noves eines per a automatitzar els experiments de lifespan permet realitzar més assajos en menys temps i evitar errors humans, obtenint resultats més precisos. L'objectiu d'aquest TFM consisteix a dissenyar i desenvolupar mètodes per a abordar aquest problema utilitzant tècniques d'aprenentatge profund. Posteriorment, s'avaluaran els resultats comparant els resultats amb els obtinguts emprant tècniques tradicionals de visió per computador. Inicialment, el treball se centrarà en la creació i edició de forma supervisada d'un conjunt d'imatges ben etiquetades. Posteriorment es dissenyaran diferents arquitectures de xarxes neuronals i s'optimitzarà cadascuna d'elles sobre l'espai de hiperparámetros utilitzant Python i Pytorch. Finalment, s'avaluaran les diferents arquitectures proposades, utilitzant com a criteris d'optimització tant les taxes d'encerts com els costos temporals de computació.García Garví, A. (2020). Diseño, desarrollo y evaluación de algoritmos basados en aprendizaje profundo para automatización de experimentos Lifespan con C. elegans. http://hdl.handle.net/10251/151938TFG

Optimized 4D Dpm For Pose Estimation On Rgbd Channels Using Polisphere Models

The Deformable Parts Model (DPM) is a standard method to perform human pose estimation on RGB images, 3 channels. Although there has been much work to improve such method, little work has been done on utilizing DPM on other types of imagery such as RGBD data. In this paper, we describe a formulation of the DPM model that makes use of depth information channels in order to improve joint detection and pose estimation using 4 channels. In order to offset the time complexity and overhead added to the model due to extra channels to process, we propose an optimization for the proposed algorithm based on solving direct and inverse kinematic equations, that form we can reduce the interested points reducing, at the same time, the time complexity. Our results show a significant improvement on pose estimation over the standard DPM model on our own RGBD dataset and on the public CAD60 dataset