3D Human Body Model Acquisition from Multiple Views

We present a novel motion-based approach for the part determination and shape estimation of a human’s body parts. The novelty of the technique is that neither a prior model of the human body is employed nor prior body part segmentation is assumed. We present a Human Body Part Identification Strategy (HBPIS) that recovers all the body parts of a moving human based on the spatiotemporal analysis of its deforming silhouette. We formalize the process of simultaneous part determination, and 2D shape estimation by employing the Supervisory Control Theory of Discrete Event Systems. In addition, in order to acquire the 3D shape of the body parts, we present a new algorithm which selectively integrates the (segmented by the HBPIS) apparent contours, from three mutually orthogonal views. The effectiveness of the approach is demonstrated through a series of experiments, where a subject performs a set of movements according to a protocol that reveals the structure of the human body

Análise de Movimento Não Rígido em Visão por Computador

Neste artigo são apresentadas várias metodologias actualmente existentes, no domínio da Visão por Computador, para a análise de movimento não rígido e são indicados diversos exemplos de aplicações. Assim o movimento não rígido é classificado e, para cada classe resultante, são indicadas as restrições e as condições inerentes e verificados alguns trabalhos realizados no seu âmbito. Como as questões de análise de movimento e modelização da forma se tornam inseparáveis quando se considera o movimento do tipo não rígido, a modelização sugere uma classificação possível da forma não rígida e do movimento. Assim são também apresentados modelos de forma para objectos deformáveis e indicados vários exemplos de aplicações. Com este estudo, de certo modo aprofundado, das várias metodologias, e suas aplicações, existentes no domínio da análise de movimento não rígido, espera-se contribuir para o seu desenvolvimento, dada a actual carência de boas revisões do estado da arte neste domínio.In this article several methodologies actually existent, in the Computer Vision domain, for non-rigid movement analysis are presented and several examples of applications are indicated. Thus the non-rigid movement is classified and, for each resulting class, the restrictions and the inherent conditions are presented and some works accomplished in its ambit are verified. As the questions of movement and shape analysis becomes non-separable when its considered the movement of the non-rigid type, the shape models also suggests a possible classification of the non-rigid shape and of the movement. Thus shape models for deformable objects will be presented and some examples of applications indicated. With this study, in certain way deep, of several methodologies, and its applications, existent in the domain of the non-rigid movement analysis, the authors hope to contribute for its development, given the actual lack of good state of the art revisions in this domain

Introdução à Análise de Movimento usando Visão Computacional

Pretende-se com este trabalho fazer uma introdução ao que tem vindo a ser realizado no domínio do seguimento e análise de movimento recorrendo a visão computacional.Assim no primeiro capítulo deste relatório faremos referência aos vários tipos de movimento e analisaremos as fases que compõem um sistema comum de captura e análise de movimento, descrevendo sucintamente alguns trabalhos realizados nesta área.Seguidamente, no segundo capítulo, faremos uma apresentação mais detalhada da área do seguimento e análise de movimento humano de corpo inteiro; nomeadamente, no reconhecimento da pose e do reconhecimento do andar e de gestos.Finalmente, no terceiro e último capítulo, daremos ênfase à análise de imagem médica e exemplificaremos, sumariamente, algumas das suas aplicações.With this work we intend to introduce what has been done in the domain of tracking and motion analysis by using computational vision.Therefore in the first chapter of this report we will refer the various types of motion, and analyse the steps that compose a general system of movement capture and analysis, by succinctly describing some works done in this field.Then, in the second chapter we will do a more detailed study about the area of human entire body tracking and motion analysis; namely, in pose recognition and in the recognition of gait and gestures.Finally, in the third and last chapter, emphasis will be given to the medical images analysis and we will summarily exemplify some of its applications

Análise de Movimento Não Rígido em Visão por Computador

Neste artigo são apresentadas várias metodologias actualmente existentes, no domínio da Visão por Computador, para a análise de movimento não rígido e são indicados diversos exemplos de aplicações. Assim o movimento não rígido é classificado e, para cada classe resultante, são indicadas as restrições e as condições inerentes e verificados alguns trabalhos realizados no seu âmbito. Como as questões de análise de movimento e modelização da forma se tornam inseparáveis quando se considera o movimento do tipo não rígido, a modelização sugere uma classificação possível da forma não rígida e do movimento. Assim são também apresentados modelos de forma para objectos deformáveis e indicados vários exemplos de aplicações. Com este estudo, de certo modo aprofundado, das várias metodologias, e suas aplicações, existentes no domínio da análise de movimento não rígido, espera-se contribuir para o seu desenvolvimento, dada a actual carência de boas revisões do estado da arte neste domínio

Human Pose Estimation from Monocular Images : a Comprehensive Survey

Human pose estimation refers to the estimation of the location of body parts and how they are connected in an image. Human pose estimation from monocular images has wide applications (e.g., image indexing). Several surveys on human pose estimation can be found in the literature, but they focus on a certain category; for example, model-based approaches or human motion analysis, etc. As far as we know, an overall review of this problem domain has yet to be provided. Furthermore, recent advancements based on deep learning have brought novel algorithms for this problem. In this paper, a comprehensive survey of human pose estimation from monocular images is carried out including milestone works and recent advancements. Based on one standard pipeline for the solution of computer vision problems, this survey splits the problema into several modules: feature extraction and description, human body models, and modelin methods. Problem modeling methods are approached based on two means of categorization in this survey. One way to categorize includes top-down and bottom-up methods, and another way includes generative and discriminative methods. Considering the fact that one direct application of human pose estimation is to provide initialization for automatic video surveillance, there are additional sections for motion-related methods in all modules: motion features, motion models, and motion-based methods. Finally, the paper also collects 26 publicly available data sets for validation and provides error measurement methods that are frequently used

Tracking human motion with multiple cameras using articulated ICP with hard constraints

Questa tesi propone un nuovo algoritmo basato su ICP per il tracking di un modello scheletrico articolato di un corpo umano. L\u2019algoritmo proposto prende in input immagini calibrate di un soggetto, calcola la ricostruzione volumetrica e la linea mediale del corpo e quindi posiziona in modo adeguato il modello, composto di segmenti, in ogni frame usando una versione di ICP modificata (versione che usa una strategia di attraversamento alberi gerarchica che mantiene connessi tutti i segmenti del modello nei giunti relativi). L\u2019approccio proposto usa limiti cinematica per i giunti e un filtro di Kalman esteso per fare il tracking del modello. Il primo contributo originale di questa tesi \ue8 l\u2019algoritmo per trovare i punti sullo scheletro di un volume tridimensionale. L\u2019algoritmo, usando una tecnica di slicing trova l\u2019asse mediale di un volume 3D in modo veloce utilizzando il processore della scheda grafica e le texture units della scheda stessa. Questo algoritmo produce ottimi risultati per quanto riguarda la qualit\ue0 e le prestazioni se comparato con altri algoritmi in letteratura. Un altro contributo originale \ue8 l\u2019introduzione di una nuova strategia di tracking basata su un approccio gerarchico dell\u2019algoritmo ICP, utilizzato per trovare le congruenze tra un modello di corpo umano composto da soli segmenti e un insieme di punti 3D. L\u2019algoritmo usa una versione di ICP dove tutti i punti 3D sono pesati in funzione del segmento del corpo preso in considerazione dall\u2019algoritmo in quel momento. L\u2019applicazione di queste tecniche dimostra la bont\ue0 del metodo e le prestazioni ottenute in termini di qualit\ue0 della stima della posa sono comparabili con altri lavori in letteratura. I risultati presentati nella tesi dimostrano la fattibilit\ue0 dell\u2019approccio generale, che si intende utilizzare in un sistema completo per il tracking di corpi umani senza l\u2019uso di marcatori. In futuro il lavoro pu\uf2 essere esteso ottimizzando l\u2019implementazione e la codifica in modo da poter ottenere prestazioni real-time.This thesis proposed a new ICP-based algorithm for tracking articulated skeletal model of a human body. The proposed algorithm takes as input multiple calibrated views of the subject, computes a volumetric reconstruction and the centerlines of the body and fits the skeletal body model in each frame using a hierarchic tree traversal version of the ICP algorithm that preserves the connection of the segments at the joints. The proposed approach uses the kinematic constraints and an Extended Kalman Filter to track the body pose. The first contribution is a new algorithm to find the skeletal points of a 3D volume. The algorithm using a slicing technique find the medial axis of a volume in a fast way using the graphic card processor and the texture units. This algorithm produce good results in quality and performance compared to other works in literature. Another contribution is the introduction of a new tracking strategy based on a hierarchical application of the ICP standard algorithm to find the match between a stick body model and a set of 3D points. The algorithm use a traversing version of ICP where also all the 3D points are weighted in such a way every limbs of the model can best fit on the right portion of the body. The application of these techniques shown the feasibility of the method and the performances obtained in terms of quality of estimate pose are comparable with other works in literature. The results presented here demonstrate the feasibility of the approach, which is is intended to be used in complete system for vision-based markerless human body tracking. Future work will aimed at optimizing the implementation, in order to achieve real-time performances