Mestrado em Engenharia Electrónica e TelecomunicaçõesEste trabalho apresenta uma abordagem ao problema da deteção e seguimento
de humanos, usando uma câmara RGB-D. Existem soluções propostas
para este tipo de problema, no entanto, algumas são baseadas em
técnicas de extração de fundo ou outras e, como tal, necessitam que a
câmara se encontre numa posição estacionária. Com o sistema proposto,
a deteção e seguimento podem ser desempenhadas enquanto a câmara se
move, em tempo real.
O objetivo deste projeto é a implementação de um sistema de deteção
e seguimento de pessoas para o robô de serviço CAMBADA@Home, permitindo
assim o desenvolvimento de futuras aplicações na área da interação
humano-robô.
O sistema aqui descrito permite realizar deteção, classificação e monitorização de múltiplas pessoas. Na primeira etapa, regiões de interesse (ROIs)
são segmentadas através da análise do histograma da imagem de profundidade
seguido da utilização de um algoritmo de preenchimento. Na etapa
seguinte, cada região é classificada como humana ou não-humana através
de uma técnica de correspondência de modelos, baseada no algoritmo de
descida de gradiantes RPROP, com suporte para múltiplos modelos. A terceira
e última etapa permite a monitorização de várias pessoas, através de
um método de atribuição de identificadores únicos baseado em comparação
de histogramas, assim como estimação de pose e localização.
Os resultados obtidos em ambiente não controlado são encorajadores, com
altas taxas de deteção, e, em geral, os algoritmos de estimação de pose
e localização são executados como esperado. Para além disto, o projeto
CAMBADA@Home foi premiado com o primeiro lugar no Desafio Free Bots,
que teve lugar durante o campeonato nacional de robótica, Robótica 2013,
onde o robô provou ser capaz de executar rondas autónomas num ambiente
desconhecido enquanto detetava e monitorizava pessoas com as quais se
cruzava.This work presents an approach to the people detection and tracking problem,
using an RGB-D camera. While there are already solutions for this
problem, some are based on background extraction techniques or other,
which require the camera to be in a stationary position. With the proposed
method, detection and tracking can be performed while the camera is moving,
in real time.
The aim of this project is the implementation of a people detection and
tracking system for the CAMBADA@Home service robot, enabling the development
of further human-robot interaction applications.
The system here described enables object detection, classi cation and multiple
person tracking. In the rst stage, regions of interest (ROIs) are
segmented through the analysis of the depth image histogram and using a
ood ll algorithm. On the next stage, each region is classi ed as human
or not-human using a template matching technique, based on the RPROP
gradient descent algorithm, with support for multiple templates. The third
and last stage enables the tracking for multiple persons, using a unique
identi cation assignment method based on histogram comparison, as well
as pose and location estimation.
The results obtained in unconstrained environments are encouraging, with
high detection rates, and, in general, the algorithms for pose and location
estimation perform as expected. Furthermore the CAMBADA@Home
project has been awarded with the rst place in the Free Bots Challenge,
which took place on the Rob otica 2013 robotics national championship,
where the robot was proven to be capable of performing autonomous tours
in an unknown environment while at the same time detecting and tracking
people it came across