66 research outputs found
Artificial Vision in the Nao Humanoid Robot
Projecte Final de Màster UPC realitzat en col.laboració amb l'Universitat Rovira i Virgili. Departament d'Enginyeria Informàtica i MatemàtiquesRobocup is an international robotic soccer competition held yearly to promote
innovative research and application in robotic intelligence. Nao humanoid robot
is the new RoboCup Standard Platform robot. This platform is the new Nao
robot designed and manufactured by the french company Aldebaran Robotics.
The new robot is an advanced platform for developing new computer vision and
robotics methods. This Master Thesis is oriented to the study of some fundamental
issues for the artificial vision in the Nao humanoid robots. In particular,
color representation models, real-time segmentation techniques, object detection
and visual sonar approaches are the computer vision techniques applied to Nao
robot in this Master Thesis. Also, Nao’s camera model, mathematical robot
kinematic and stereo-vision techniques are studied and developed. This thesis
also studies the integration between kinematic model and robot perception
model to perform RoboCup soccer games and RoboCup technical challenges.
This work is focused in the RoboCup environment but all computer vision and
robotics algorithms can be easily extended to another robotics fields
Distributed active traction control system applied to the RoboCup middle size league
This work addresses the problem of traction control in mobile wheeled
robots in the particular case of the RoboCup Middle Size League (MSL).
The slip control problem is formulated using simple friction
models for ISePorto Team robots with a differential wheel
configuration. Traction was also characterized experimentally in
the MSL scenario for relevant game events.
This work proposes a hierarchical traction control architecture which relies
in local slip detection and control at each wheel, with
relevant information being relayed to a higher level responsible for
global robot motion control.
A dedicated one axis control embedded hardware subsystem allowing complex
local control, high frequency current sensing and odometric
information procession was developed. This local axis control
board is integrated in a distributed system using CAN bus
communications.
The slipping observer was implemented in the axis control hardware
nodes integrated in the ISePorto robots and was used to control and detect loss of
for traction. %and to detect the ball in the kicking device.
An external vision system was used to perform a qualitative analysis of the
slip detection and observer performance results are presented
Desenvolvimento de um sistema de visão para robôs humanoides
Mestrado em Engenharia Electrónica e Telecomunicaçõe
Jogadas estudadas dinâmicas para a equipa CAMBADA
Mestrado em Engenharia Eletrónica e TelecomunicaçõesRobotics is an emergent branch of engineering that involves the conception,
manufacture, and control of robots. It is a multidisciplinary field that
combines electronics, design, computer science, artificial intelligence, mechanics
and nanotechnology. Its evolution results in machines that are able
to perform tasks with some level of complexity. Multi-agent systems is a
researching topic within robotics, thus they allow the solving of higher complexity
problems, through the execution of simple routines.
Robotic soccer allows the study and development of robotics and multiagent
systems, as the agents have to work together as a team, having in
consideration most problems found in our quotidian, as for example adaptation
to a highly dynamic environment as it is the one of a soccer game.
CAMBADA is the robotic soccer team belonging to the group of research
IRIS from IEETA, composed by teachers, researchers and students of the
University of Aveiro, which annually has as main objective the participation
in the RoboCup, in the Middle Size League.
The purpose of this work is to improve the coordination in set pieces situations.
This thesis introduces a new behavior and the adaptation of the
already existing ones in the offensive situation, as well as the proposal of a
new positioning method in defensive situations.
The developed work was incorporated within the competition software of
the robots. Which allows the presentation, in this dissertation, of the experimental
results obtained, through simulation software as well as through
the physical robots on the laboratory.A robótica é um ramo emergente da engenharia que envolve a concepção,
fabrico e controlo de robôs. É uma área multidisciplinar que conjuga conhecimentos
de mecânica, design, electrónica e computação, inteligência artificial e nanotecnologia. A sua evolução resulta em máquinas capazes de
realizar tarefas com alguma complexidade. Sistemas multi-agente, são um
dos temas de pesquisa dentro da robótica, pois permitem a realização de
tarefas de maior complexidade, através da execução de rotinas simples.
O futebol robótico permite o estudo e desenvolvimento de robótica e de sistemas
multi-agente, uma vez que os agentes tem de trabalhar em equipa,
tendo em consideração grande parte dos problemas que encontramos no
nosso quotidiano, como por exemplo a adaptação a um ambiente extremamente
dinâmico como o de um jogo de futebol. CAMBADA _e a equipa
de futebol robótico pertencente ao grupo de investigação IRIS, do IEETA,
constituída por docentes, investigadores e alunos da Universidade de Aveiro,
que anualmente tem como principal objetivo a participação no RoboCup na
Middle Size League.
Este trabalho tem como principal objectivo melhorar a coordenação da
equipa em situações de bola parada. Esta tese introduz um novo comportamento
e a adaptação dos já existentes para situações ofensivas, assim
como propõe um novo método de posicionamento a ser usado em situações
defensivas.
O trabalho desenvolvido foi incorporado no software de competição dos
robôs, o que permite nesta dissertação apresentar resultados experimentais
obtidos através de simulação e de testes efetuados nos robôs em laboratório
Hand gesture recognition system based in computer vision and machine learning: Applications on human-machine interaction
Tese de Doutoramento em Engenharia de Eletrónica e de ComputadoresSendo uma forma natural de interação homem-máquina, o reconhecimento de gestos
implica uma forte componente de investigação em áreas como a visão por
computador e a aprendizagem computacional. O reconhecimento gestual é uma área
com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e
mais simples de comunicar com sistemas baseados em computador, sem a
necessidade de utilização de dispositivos extras. Assim, o objectivo principal da
investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina
é o da criação de sistemas, que possam identificar gestos específicos e usálos
para transmitir informações ou para controlar dispositivos. Para isso as interfaces
baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de
forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em
tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão
são capazes de trabalhar com soluções específicas, construídos para resolver um
determinado problema e configurados para trabalhar de uma forma particular. Este
projeto de investigação estudou e implementou soluções, suficientemente genéricas,
com o recurso a algoritmos de aprendizagem computacional, permitindo a sua
aplicação num conjunto alargado de sistemas de interface homem-máquina, para
reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning
Module Architecture (GeLMA), permite de forma simples definir um conjunto de
comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser
facilmente integrado e configurado para ser utilizado numa série de aplicações. É um
sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído
unicamente com bibliotecas de código. As experiências realizadas permitiram
mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento
de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de
gestos dinâmicos. Para validar a solução proposta, foram implementados dois
sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um
árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um
sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee
Command Language Interface System (ReCLIS). O sistema identifica os comandos
baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro,
sendo este posteriormente enviado para um interface de computador que transmite a
respectiva informação para os robôs. O segundo é um sistema em tempo real capaz
de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências
demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de
forma fiável. Embora a solução implementada apenas tenha sido treinada para
reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto
do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de
interação baseados em visão pode ser a mesma para todas as aplicações e, deste
modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser
suficientemente genérica e uma base sólida para o desenvolvimento de sistemas
baseados em reconhecimento gestual que podem ser facilmente integrados com
qualquer aplicação de interface homem-máquina. A linguagem formal de definição
da interface pode ser redefinida e o sistema pode ser facilmente configurado e
treinado com um conjunto de gestos diferentes de forma a serem integrados na
solução final.Hand gesture recognition is a natural way of human computer interaction and an area
of very active research in computer vision and machine learning. This is an area with
many different possible applications, giving users a simpler and more natural way to
communicate with robots/systems interfaces, without the need for extra devices. So,
the primary goal of gesture recognition research applied to Human-Computer
Interaction (HCI) is to create systems, which can identify specific human gestures
and use them to convey information or controlling devices. For that, vision-based
hand gesture interfaces require fast and extremely robust hand detection, and gesture
recognition in real time.
Nowadays, vision-based gesture recognition systems are able to work with specific
solutions, built to solve one particular problem and configured to work in a particular
manner. This research project studied and implemented solutions, generic enough,
with the help of machine learning algorithms, allowing its application in a wide
range of human-computer interfaces, for real-time gesture recognition.
The proposed solution, Gesture Learning Module Architecture (GeLMA), allows the
definition in a simple way of a set of commands that can be based on static and
dynamic gestures and that can be easily integrated and configured to be used in a
number of applications. It is easy to train and use, and since it is mainly built with
open source libraries it is also an inexpensive solution. Experiments carried out
showed that the system achieved an accuracy of 99.2% in terms of hand posture
recognition and an average accuracy of 93,72% in terms of dynamic gesture
recognition. To validate the proposed framework, two systems were implemented.
The first one is an online system able to help a robotic soccer game referee judge a
game in real time. The proposed solution combines a vision-based hand gesture
recognition system with a formal language definition, the Referee CommLang, into
what is called the Referee Command Language Interface System (ReCLIS). The
system builds a command based on system-interpreted static and dynamic referee
gestures, and is able to send it to a computer interface which can then transmit the
proper commands to the robots. The second one is an online system able to interpret
the Portuguese Sign Language. The experiments showed that the system was able to reliably recognize the vowels in real-time. Although the implemented solution was
only trained to recognize the five vowels, it is easily extended to recognize the rest of
the alphabet. These experiments also showed that the core of vision-based interaction
systems can be the same for all applications and thus facilitate its implementation.
The proposed framework has the advantage of being generic enough and a solid
foundation for the development of hand gesture recognition systems that can be
integrated in any human-computer interface application. The interface language can
be redefined and the system can be easily configured to train different sets of
gestures that can be easily integrated into the final solution
- …