Localização automática de objectos em sequências de imagens

Dissertação de mestrado em Informática.A detecção e seguimento de objectos tem uma grande variedade de aplicações em visão por computador. Embora tenha sido alvo de anos de investigação, continua a ser um tópico em aberto. Continua a ser ainda hoje um grande desafio a obtenção de uma abordagem que inclua simultaneamente flexibilidade e precisão, principalmente quando se trata de ambiente aberto. O objectivo desta dissertação é o desenvolvimento de uma metodologia que permita a localização de objectos genéricos e uma outra de localização de objectos conhecidos (sinais de trânsito), em sequências de imagens em ambiente aberto, sendo, nesta última, efectuado também o seu reconhecimento. No caso da primeira metodologia o objectivo proposto é concretizado com a indicação do objecto de interesse, através da sua selecção, numa primeira imagem, sendo o seu seguimento efectuado, numa primeira fase, recorrendo a uma aproximação grosseira à posição do objecto, utilizando informação de cor (característica interna), seguida de uma aproximação refinada, utilizando informação de forma (característica externa). No caso da segunda metodologia, a localização (detecção e seguimento) do objecto é realizada com base na informação de cor, através da segmentação de cor (azul e vermelha) no espaço cor HSI, e na forma, através das assinaturas de contorno. Finalmente é utilizada uma base de dados constituída pelas imagens dos objectos que se pretende reconhecer para identificar o objecto. Para determinar a viabilidade das metodologias propostas, foram efectuados vários testes dos quais se obtiveram, para a metodologia de localização de um objecto genérico, resultados aceitáveis, tendo em conta, por um lado, a não utilização de informação específica sobre o objecto, e por outro lado a complexidade contida nas sequências de imagens testadas, obtidas de ambiente aberto. A segunda metodologia, que corresponde à localização automática de objectos, obteve bons resultados, apesar dos testes terem sido direccionados para a sinalização rodoviária e restringida à localização de quatro formas e duas cores em concreto. A metodologia foi submetida, tal como no caso anterior, a cenas em ambiente aberto, mais concretamente 172 imagens, das quais se observaram 238 sinais de trânsito em condições de serem localizados, e dos quais resultaram 90,3% detectados correctamente por cor e forma e destes 82,8% foram reconhecidos correctamente, apesar do algoritmo utilizado nesta fase de reconhecimento ter sido aplicado apenas como abordagem inicial. Os resultados obtidos das metodologias desenvolvidas são encorajadores e um forte incentivo para continuar a apostar no seu melhoramento.Object detection and tracking has a wide range of applications in computer vision. Although it as been studied for many years, it remains an open research problem. A flexible and accurate approach is still a great challenge today, specially in outdoor environments. The objective of this thesis is the development of a methodology able to track generic objects and another able to localize known objects (traffic signs) and their recognition, in outdoor environment image sequences. The proposed objective concerning the first methodology is achieved by selecting the object of interest in a first frame, and the tracking performed, in a first step, by a coarse approach to the object position, using color information (internal feature), followed by a refined approach, using shape information (external feature). In the second methodology, the object localization (detection and tracking) is based on color information, through color segmentation (blue and red) in HSI color space, and shape, through contour signatures. Object identification is performed using a database filled with the objects images to recognize. Several tests were performed to determine the proposed methodologies effectiveness, obtaining acceptable results in the generic object localization methodology, taking into account, on one hand, the non utilization of any specific information about the object, and the other hand, the tested outdoor environment image sequences complexity. The second methodology, corresponding to the automatic object localization, obtained good results, although the tests were directed to traffic signs and restricted to four shapes and two colors. The methodology was submitted, as in the previous case, to outdoor environment scenes, more specifically 172 images, from which 238 localizable traffic signs were spotted. In this test 90.3% color and shape were correctly detected and from these 82.8% were correctly recognized, although the algorithm used in this recognition phase is only an initial approach. The developed methodologies results are encouraging and a strong incentive for future improvements

Low and Variable Frame Rate Face Tracking Using an IP PTZ Camera

RÉSUMÉ En vision par ordinateur, le suivi d'objets avec des caméras PTZ a des applications dans divers domaines, tels que la surveillance vidéo, la surveillance du trafic, la surveillance de personnes et la reconnaissance de visage. Toutefois, un suivi plus précis, efficace, et fiable est requis pour une utilisation courante dans ces domaines. Dans cette thèse, le suivi est appliqué au haut du corps d'un humain, en incluant son visage. Le suivi du visage permet de déterminer son emplacement pour chaque trame d'une vidéo. Il peut être utilisé pour obtenir des images du visage d'un humain dans des poses différentes. Dans ce travail, nous proposons de suivre le visage d'un humain à l’aide d'une caméra IP PTZ (caméra réseau orientable). Une caméra IP PTZ répond à une commande via son serveur Web intégré et permet un accès distribué à partir d'Internet. Le suivi avec ce type de caméra inclut un bon nombre de défis, tels que des temps de réponse irrégulier aux commandes de contrôle, des taux de trame faibles et irréguliers, de grand mouvements de la cible entre deux trames, des occlusions, des modifications au champ de vue, des changements d'échelle, etc. Dans notre travail, nous souhaitons solutionner les problèmes des grands mouvements de la cible entre deux trames consécutives, du faible taux de trame, des modifications de l'arrière-plan, et du suivi avec divers changements d'échelle. En outre, l'algorithme de suivi doit prévoir les temps de réponse irréguliers de la caméra. Notre solution se compose d’une phase d’initialisation pour modéliser la cible (haut du corps), d’une adaptation du filtre de particules qui utilise le flux optique pour générer des échantillons à chaque trame (APF-OFS), et du contrôle de la caméra. Chaque composante exige des stratégies différentes. Lors de l'initialisation, on suppose que la caméra est statique. Ainsi, la détection du mouvement par soustraction d’arrière-plan est utilisée pour détecter l'emplacement initial de la personne. Ensuite, pour supprimer les faux positifs, un classificateur Bayesien est appliqué sur la région détectée afin de localiser les régions avec de la peau. Ensuite, une détection du visage basée sur la méthode de Viola et Jones est effectuée sur les régions de la peau. Si un visage est détecté, le suivi est lancé sur le haut du corps de la personne.----------ABSTRACT Object tracking with PTZ cameras has various applications in different computer vision topics such as video surveillance, traffic monitoring, people monitoring and face recognition. Accurate, efficient, and reliable tracking is required for this task. Here, object tracking is applied to human upper body tracking and face tracking. Face tracking determines the location of the human face for each input image of a video. It can be used to get images of the face of a human target under different poses. We propose to track the human face by means of an Internet Protocol (IP) Pan-Tilt-Zoom (PTZ) camera (i.e. a network-based camera that pans, tilts and zooms). An IP PTZ camera responds to command via its integrated web server. It allows a distributed access from Internet (access from everywhere, but with non-defined delay). Tracking with such camera includes many challenges such as irregular response times to camera control commands, low and irregular frame rate, large motions of the target between two frames, target occlusion, changing field of view (FOV), various scale changes, etc. In our work, we want to cope with the problem of large inter-frame motion of targets, low usable frame rate, background changes, and tracking with various scale changes. In addition, the tracking algorithm should handle the camera response time and zooming. Our solution consists of a system initialization phase which is the processing before camera motion and a tracker based on an Adaptive Particle Filter using Optical Flow based Sampling (APF-OFS) tracker, and camera control that are the processing after the motion of the camera. Each part requires different strategies. For initialization, when the camera is stationary, motion detection for a static camera is used to detect the initial location of the person face entering an area. For motion detection in the FOV of the camera, a background subtraction method is applied. Then to remove false positives, Bayesian skin classifier is applied on the detected motion region to discriminate skin regions from non skin regions. Face detection based on Viola and Jones face detector can be performed on the detected skin regions independently of their face size and position within the image