Utilizando visão computacional para reconstrução probabilística 3D e rastreamento de movimento

This paper presents an approach to the 3D visual tracking problem into multi-camera environments. This proposal executes the markerless visual tracking observing the environment through a model based in a volumetric reconstruction technique, called 3D Probabilistic Occupancy Grid, which is still seldom used for this purpose. The target is tracked by the use of Expectation-Maximization algorithm with an object representation model constructed with Gaussians blobs representing the object body parts.Este artigo apresenta um método não intrusivo para rastreamento de movimento 3D em ambientes monitorados por múltiplas câmeras. Primeiramente, se obtém uma reconstrução volumétrica 3D, através da técnica de Grid de Ocupação Probabilístico, tal técnica ainda foi pouco explorada no contexto de rastreamento de movimento. Então, utiliza-se o algoritmo Expectation-Maximization em conjunto com um modelo de representação do corpo do objeto de interesse baseado em blobs Gaussianas, para identificar e rastrear o movimento das partes do corpo do objeto de interesse

Scene Analysis Using Scale Invariant Feature Extraction and Probabilistic Modeling

Conventional pattern recognition systems have two components: feature analysis and pattern classification. For any object in an image, features could be considered as the major characteristic of the object either for object recognition or object tracking purpose. Features extracted from a training image, can be used to identify the object when attempting to locate the object in a test image containing many other objects. To perform reliable scene analysis, it is important that the features extracted from the training image are detectable even under changes in image scale, noise and illumination. Scale invariant feature has wide applications such as image classification, object recognition and object tracking in the image processing area. In this thesis, color feature and SIFT (scale invariant feature transform) are considered to be scale invariant feature. The classification, recognition and tracking result were evaluated with novel evaluation criterion and compared with some existing methods. I also studied different types of scale invariant feature for the purpose of solving scene analysis problems. I propose probabilistic models as the foundation of analysis scene scenario of images. In order to differential the content of image, I develop novel algorithms for the adaptive combination for multiple features extracted from images. I demonstrate the performance of the developed algorithm on several scene analysis tasks, including object tracking, video stabilization, medical video segmentation and scene classification

Vidéosurveillance intelligente pour la détection de chutes chez les personnes âgées

Les pays industrialisés comme le Canada doivent faire face au vieillissement de leur population. En particulier, la majorité des personnes âgées, vivant à domicile et souvent seules, font face à des situations à risques telles que des chutes. Dans ce contexte, la vidéosurveillance est une solution innovante qui peut leur permettre de vivre normalement dans un environnement sécurisé. L’idée serait de placer un réseau de caméras dans l’appartement de la personne pour détecter automatiquement une chute. En cas de problème, un message pourrait être envoyé suivant l’urgence aux secours ou à la famille via une connexion internet sécurisée. Pour un système bas coût, nous avons limité le nombre de caméras à une seule par pièce ce qui nous a poussé à explorer les méthodes monoculaires de détection de chutes. Nous avons d’abord exploré le problème d’un point de vue 2D (image) en nous intéressant aux changements importants de la silhouette de la personne lors d’une chute. Les données d’activités normales d’une personne âgée ont été modélisées par un mélange de gaussiennes nous permettant de détecter tout événement anormal. Notre méthode a été validée à l’aide d’une vidéothèque de chutes simulées et d’activités normales réalistes. Cependant, une information 3D telle que la localisation de la personne par rapport à son environnement peut être très intéressante pour un système d’analyse de comportement. Bien qu’il soit préférable d’utiliser un système multi-caméras pour obtenir une information 3D, nous avons prouvé qu’avec une seule caméra calibrée, il était possible de localiser une personne dans son environnement grâce à sa tête. Concrêtement, la tête de la personne, modélisée par une ellipsoide, est suivie dans la séquence d’images à l’aide d’un filtre à particules. La précision de la localisation 3D de la tête a été évaluée avec une bibliothèque de séquence vidéos contenant les vraies localisations 3D obtenues par un système de capture de mouvement (Motion Capture). Un exemple d’application utilisant la trajectoire 3D de la tête est proposée dans le cadre de la détection de chutes. En conclusion, un système de vidéosurveillance pour la détection de chutes avec une seule caméra par pièce est parfaitement envisageable. Pour réduire au maximum les risques de fausses alarmes, une méthode hybride combinant des informations 2D et 3D pourrait être envisagée.Developed countries like Canada have to adapt to a growing population of seniors. A majority of seniors reside in private homes and most of them live alone, which can be dangerous in case of a fall, particularly if the person cannot call for help. Video surveillance is a new and promising solution for healthcare systems to ensure the safety of elderly people at home. Concretely, a camera network would be placed in the apartment of the person in order to automatically detect a fall. When a fall is detected, a message would be sent to the emergency center or to the family through a secure Internet connection. For a low cost system, we must limit the number of cameras to only one per room, which leads us to explore monocular methods for fall detection. We first studied 2D information (images) by analyzing the shape deformation during a fall. Normal activities of an elderly person were used to train a Gaussian Mixture Model (GMM) to detect any abnormal event. Our method was tested with a realistic video data set of simulated falls and normal activities. However, 3D information like the spatial localization of a person in a room can be very useful for action recognition. Although a multi-camera system is usually preferable to acquire 3D information, we have demonstrated that, with only one calibrated camera, it is possible to localize a person in his/her environment using the person’s head. Concretely, the head, modeled by a 3D ellipsoid, was tracked in the video sequence using particle filters. The precision of the 3D head localization was evaluated with a video data set containing the real 3D head localizations obtained with a Motion Capture system. An application example using the 3D head trajectory for fall detection is also proposed. In conclusion, we have confirmed that a video surveillance system for fall detection with only one camera per room is feasible. To reduce the risk of false alarms, a hybrid method combining 2D and 3D information could be considered

Multimodale Bestimmung des visuellen Aufmerksamkeitsfokus von Personen am Beispiel aufmerksamer Umgebungen

Um intuitive Mensch-Maschine-Schnittstellen zu entwerfen, ist es notwendig zu erkennen worauf der Mensch in seinem Handeln Bezug nimmt. Kameras in unmittelbarer Nähe erlauben zwar das direkte Beobachten der Blickrichtung, schränken den Menschen in seinem Handlungsradius allerdings ein. In dieser Arbeit wird deshalb ein System entworfen, das mit Aufnahmen aus unterschiedlichen Blickwinkeln zunächst die Kopfdrehung und hiervon auf die visuelle Aufmerksamkeitszuwendung von Menschen schließt

Seguimiento de múltiples objetos en entornos interiores muy poblados basado en la combinación de métodos probabilísticos y determinísticos

La presente tesis se encuentra enmarcada dentro del área de la robótica personal y de servicios. Es éste un área de investigación que ha tomado gran relevancia en las últimas dos décadas gracias a los continuos avances de la tecnología y su inserción en la vida diaria de la sociedad moderna. Dentro de este contexto, en la tesis se propone un nuevo algoritmo para el seguimiento de múltiples objetos ("multiple target tracking", MTT abreviadamente), concebido para su uso en entornos interiores complejos. El proceso de MTT diseñado, proporciona información completa sobre los diferentes objetos detectados en cada momento en el entorno del robot, indicando el número, posición, velocidad, camino recorrido e identidad de los mismos. Esta información es obtenida por el algoritmo de seguimiento a partir de los datos recogidos por el sistema de observación de entrada al sistema. La solución propuesta cumple todas las especificaciones establecidas por el comportamiento deseado para el seguidor: ha de tener en cuenta la incertidumbre de los modelos de estado y medida de los objetos bajo seguimiento; ha de ser flexible al uso de distintos tipos de sensores ha de poder adaptarse al tipo de información de entrada al algoritmo que proporcione el sistema (visión, ultrasonidos, infrarrojo, radio frecuencia, etc.) que conformen el sistema de observación empleado; debe ser capaz de seguir los diferentes tipos de objetos que el robot pueda encontrar en su movimiento por el entorno, independientemente de la dinámica o la forma de estos objetos; finalmente, tiene que alcanzar el nivel de robustez y fiabilidad que requiere la aplicación de robótica personal en la que se enmarca, en la cual la seguridad del propio robot y de los objetos seguidos (generalmente personas u otros robots) es una especificación básica. Para poder cumplir todas las especificaciones necesarias, el algoritmo de seguimiento diseñado en esta tesis adopta como mejor solución la combinación de métodos probabilísticos y determinísticos. De este modo, se propone un filtro de partículas como núcleo de estimación del algoritmo de seguimiento, al cual se le incorporan dos procesos de clasificación que actúan, respectivamente, como algoritmo de asociación y filtro de salida. Esta combinación da lugar al "Filtro de Partículas Extendido con Proceso de Clasificación" ("Extended Particle Filter with Clustering Process", XPFCP), nombre con el que se identifica el algoritmo propuesto por la autora para el seguimiento de múltiples objetos en entornos interiores muy poblados. El filtro de partículas permite modelar múltiples estados en una única distribución multimodal; su flexibilidad lo hace idóneo para su aplicación con distintos tipos de modelos de estado y observación. Tales características convierten a esta versión del filtro de Bayes en la más adecuada para realizar el seguimiento de múltiples objetos, con la prestación adicional de poder realizar tal tarea de seguimiento con un coste computacional prácticamente constante. La idea de usar el filtro de partículas como estimador multimodal en aplicaciones de seguimiento ya ha sido propuesta en varios trabajos previos de investigación, pero la falta de robustez del sistema así obtenido ha llevado en todos los casos a descartar estas soluciones. Esta tesis propone y demuestra que la incorporación de una parte determinística en el algoritmo de seguimiento basado en filtro de partículas añade la robustez que el estimador multimodal requiere. En el presente documento, se incluye una profunda revisión (sobre algoritmos y resultados) de los trabajos llevados a cabo por la comunidad científica en esta misma línea de investigación. Además, se muestra también un estudio exhaustivo del comportamiento del sistema de seguimiento propuesto en situaciones complejas en términos de robustez, fiabilidad, eficiencia y tiempo de ejecución. Finalmente, se realiza la comparación de la solución diseñada por la autora con dos de los algoritmos más conocidos y usados por la comunidad científica en tareas de seguimiento similares: el "Filtro de Asociación Conjunta de Datos" o "Joint Probabilistic Data Association Filter", en su versión continua (JPDAF) y muestreada (SJPDAF). Estas comparativas permiten contrastar y validar la contribución de la presente tesis en esta área de investigación