Deteksi Objek Untuk Robot Bergerak Menggunakan Kamera Omnidirectional Berbasis Fitur Warna

Kamera merupakan sebuah sensor yang digunakan oleh robot untuk mengetahui keadaan di lingkungan sekitarnya. Dengan menggunakan kamera, berbagai persepsi dapat diambil sesuai dengan kebutuhan. Salah satu penggunaannya, robot dapat mendeteksi objek-objek tertentu pada lingkungan sekitarnya, termasuk sebuah bola di lapangan sepak bola. Jurnal ini menjelaskan mengenai proses pendeteksian bola menggunakan kamera omnidirectional 360o berdasarkan fitur warna menggunakan teknik filtering. Dari pendeteksian ini, akan didapatkan informasi jarak dan sudut bola terhadap robot. Nantinya robot akan mendekati bola dengan cara memutar badan robot sehingga lurus dengan letak dan maju sampai menyentuh bola. Performa robot dalam melakukan navigasi mendekati objek sebesar 90%

An Autonomous Omnidirectional Robot

RoboCup is an international research and education initiative, which aims to foster artificial intelligence and robotics research by using competitive soccer as a standard problem. This paper presents a detailed engineering design process and the outcome for an omni-directional mobile robot platform for the Robocup Middle Size League competition. A prototype that can move omnidirectionally with kicking capability was designed, built, and tested by a group of senior students. The design included a mechanical base, pneumatic kicking mechanism, a DSP microcontroller-based control system, various sensor interfacing units, and the analysis of omnidirectional motions. The testing results showed that the system was able to move omnidirectionally with a speed of ∼2 m/s and able to kick a size 5 FIFA soccer ball for a distance of at least 5 meters

Desenvolvimento de um sistema de medida inercial para a equipa Cambada

Mestrado em Engenharia Electrónica e TelecomunicaçõesCom o objectivo de acrescentar uma fonte de informação sensorial complementar aos robôs da equipa de futebol CAMBADA, o trabalho descrito na presente dissertação visou o desenvimento de um sistema de medida inercial (SMI) baseado num microcontrolador com um acelerómetro de três eixos e um giroscópio de um eixo. A informação recolhida pelo SMI destina-se a ser analisada em conjunto com os dados sensoriais colhidos a partir de outros módulos presentes nos robôs, permitindo, através de algoritmos de fusão sensorial, estimar a translação e rotação dos robôs com objectivo de obter com uma maior precisão uma avaliação do seu comportamento dinâmico em campo bem como optimizar a avaliação do seu posicionamento e postura e melhorar os algoritmos de controlo. Esta dissertação começa por apresentar um levantamento do estado da arte bem como um resumo dos principais aspectos tecnológicos deste tipo de dispositivos sensoriais com realce para as suas aplicações e principais limitações. A dissertação inclui ainda os aspectos relacionados com o projecto e instanciação de um módulo SMI, bem como a apresentação e análise crítica dos resultados obtidos a partir de um conjunto de testes laboratoriais. Por fim apresenta-se uma breve conclusão crítica sobre o comportamento e a performance do módulo desenvolvido bem como a indicação de eventual trabalho futuro.With the objective of adding an extra source of sensorial information complementing the robotic football team CAMBADA, this work focused on the development of an inertial measurment unit (IMU), based on a microcontroller, a three axis accelerometer and a one axis gyroscope. With the information gathered by the IMU, together with other sensorial data modules present in the robots, it is possible to use sensor fusion algoritms to estimate the robots translations and rotations, ful- lling the objective of obtaining an accurate evaluation of its tracking, posture and improving its control algoritms. This thesis begins by presenting a look into the state of the art as well as a brief look into the major tecnological aspects of this kind of sensorial devices highlighting the most important applications and their limitations. This work also includes the aspects regarding the project and the implementation of the developed IMU module, as well as a presentation and a critical analysis of the obtained results from a series of laboratorial tests. Finally a brief critical analysis regarding the behavior and performance of the developed module is discused, as well as the eventual future work

Object detection in robotics using morphological information

Mestrado em Engenharia Electrónica e TelecomunicaçõesUma das componentes mais importantes em sistemas de processamento de imagem é a detecção de objectos de interesse. Contudo, a detecção de objectos é um desafio. Dada uma imagem arbitrária e assumindo que se está interessado em localizar um determinado objecto, o grande objectivo da detecção de objectos passa por determinar se existe ou não qualquer objecto de interesse. Esta tese encontra-se inserida no domínio do RoboCup e foca o desenvolvimento de algoritmos para a detecção de bolas oficiais da FIFA, um objecto importante no futebol robótico. Para atingir o objectivo principal, foram desenvolvidos três algoritmos para detectar bolas de futebol com cores arbitrárias, usando informação morfológica obtida através do detector de cortornos Canny e da tranformada de Hough. Em primeiro lugar, foi desenvolvida uma abordagem onde se implementou um algoritmo específico usando a transformada de Hough circular. Em segundo lugar, foi implementado um algoritmo que utiliza uma função da biblioteca OpenCV dedicada à procura de círculos em imagens. Finalmente, os dois primeiros algoritmos foram agrupados para criar uma nova abordagem, na qual ambos os algoritmos são usados. São apresentados resultados experimentais que mostram que os algoritmos desenvolvidos são precisos, sendo capazes de realizar a detecção da bola de forma confiável em situações de tempo-real. ABSTRACT: One of the most important steps in image processing systems is the detection of objects of interest. However, object detection is a challenging task. Given an arbitrary image and assuming that we are interested in locating a particular object, the goal of object detection is to determine whether or not there is any object of interest. This thesis is inserted in the RoboCup domain and is focused on the development of algorithms for the detection of arbitrary FIFA balls, an important object for soccer robots. To achieve the main objective, we developed three algorithms to detect arbitrary soccer balls using morphological information given by the Canny edge detector and the Hough Transform. First, it was developed an approach where we implemented a specific algorithm using the circular Hough Transform, applied after the segmentation of the acquired image. Secondly, it was implemented an algorithm that uses a function of the OpenCV library dedicated to the search of circles in images. Finally, the two first algorithms were joined to create a new approach in which both of the algorithms are used. Experimental results are presented, showing that the developed algorithms are accurate, being capable of reliable ball detection in real-time situations

Planeamento cooperativo de tarefas e trajectórias em múltiplos robôs

Tese de doutoramento. Engenharia Electrotécnica e de Computadores. Universidade do Porto. Faculdade de Engenharia. 201

Coprocessador baseado em FPGA para a visão de um robô futebolista

Mestrado em Engenharia de Computadores e TelemáticaA área da robótica encontra-se em constante evolução, assumindo, nos dias de hoje, uma elevada importância nas mais diversas áreas. Uma grande parte das soluções desenvolvidas neste campo tem como requisito o reconhecimento visual do meio envolvente, possibilitando ao sistema robótico reconhecer determinados objetos ou formas, e/ou tomar decisões e reagir perante determinadas situações. Por outro lado, a visão computacional assume-se como uma ciência de ampla aplicação, o que implica a necessidade de optar pelo sistema de visão mais adequado a cada realidade. A competição RoboCup surge como uma iniciativa internacional com o objetivo principal de promover a investigação e desenvolvimento da inteligência artificial, robótica e demais áreas relacionadas. Embora existam outras, as principais competições presentes nesta iniciativa envolvem a organização de encontros anuais, onde equipas de robótica de todo o mundo jogam futebol entre si. Estas competições encontram-se agrupadas em determinadas categorias, sendo que a mais relevante no âmbito deste projeto é a liga de robôs médios (RoboCup MSL), onde a equipa CAMBADA representa a Universidade de Aveiro. Neste tipo de competição, o sistema de visão assume uma importância vital, uma vez que a perceção da bola, das linhas brancas e obstáculos, bem como o seu consequente processamento, de forma rápida e eficiente, são uma mais-valia para a tomada de decisão de um robô, face a uma determinada situação. No entanto, os algoritmos associados ao processamento de imagem são tipicamente muito exigentes, quer em termos de recursos, quer em termos de processamento, podendo o tempo necessário ao seu processamento comprometer uma resposta eficaz e, por conseguinte, todo o sistema. Esta dissertação resulta da necessidade de melhorar continuamente a prestação desta equipa nas competições em que participa, através do desenvolvimento e implementação de um coprocessador baseado em FPGA, o que se apresenta como uma mais-valia, dado permitir a redução do peso computacional da visão por computador da CAMBADA. Este coprocessador será responsável pela execução de uma parte dos algoritmos de visão, nomeadamente, segmentação de cor, compressão de imagem e deteção de bolhas de cor, baseando-se em diversos núcleos de processamento, quer genéricos, quer especializados, explorando, desta forma, o paralelismo normalmente disponível neste tipo de algoritmos. Este sistema possui ainda capacidade de adquirir de forma autónoma as imagens, processando-as individualmente e disponibilizando os resultados ao computador principal. O presente projeto pretende demonstrar a aplicabilidade e a supremacia da implementação de tarefas computacionalmente intensivas em hardware reconfigurável.The eld of robotics is evolving, assuming, nowadays, a high importance in several areas. A large part of the solutions developed in this eld have as a requirement, the visual recognition of the surrounding environment, allowing the robotic system to recognize certain objects or shapes, and/or make decisions and react to certain situations. Moreover, computer vision is assumed as a science of wide application, which implies the need to choose the most appropriate vision system to each situation. The RoboCup competition emerges as an international initiative with the main objective to promote research and development of arti cial intelligence, robotics and other related areas. Although there are other competitions, major competitions present in this initiative involve the organization of annual meetings, where robotics teams from around the world play soccer between them. These competitions are grouped into certain categories, where the most relevant in the context of this project is the Middle Size League of robots (RoboCup MSL), where CAMBADA team represents the University of Aveiro. In this type of competition, the vision system is of vital importance, since the perception of the ball, the white lines or obstacles, as well as their subsequent processing quickly and e ciently, are an added value for decision making of a robot to a speci c situation. However, the algorithms associated with the image processing are typically very demanding, both in terms of resources, as in terms of processing, which enables the overall processing time can compromise an e ective answer and therefore, the whole system. This work stems from the need to continuously improve the performance of this team in the competitions in which it participates, through the development and implementation of an FPGA-based coprocessor, which is presented as an advantage, since it allows a weight reduction of vision computation in each computer of CAMBADA. This coprocessor is responsible for executing a portion of vision algorithms, namely, color segmentation, image compression and detection of color bubbles, based on various processing cores, either generic or specialized, thus exploiting the parallelism usually available in this type of algorithms. This system also has the ability to autonomously acquire the images, processing them individually and providing the results to the main computer. This project aims to demonstrate the applicability and supremacy of the implementation of computationally intensive tasks on recon gurable hardware

Automated identification and behaviour classification for modelling social dynamics in group-housed mice

Mice are often used in biology as exploratory models of human conditions, due to their similar genetics and physiology. Unfortunately, research on behaviour has traditionally been limited to studying individuals in isolated environments and over short periods of time. This can miss critical time-effects, and, since mice are social creatures, bias results. This work addresses this gap in research by developing tools to analyse the individual behaviour of group-housed mice in the home-cage over several days and with minimal disruption. Using data provided by the Mary Lyon Centre at MRC Harwell we designed an end-to-end system that (a) tracks and identifies mice in a cage, (b) infers their behaviour, and subsequently (c) models the group dynamics as functions of individual activities. In support of the above, we also curated and made available a large dataset of mouse localisation and behaviour classifications (IMADGE), as well as two smaller annotated datasets for training/evaluating the identification (TIDe) and behaviour inference (ABODe) systems. This research constitutes the first of its kind in terms of the scale and challenges addressed. The data source (side-view single-channel video with clutter and no identification markers for mice) presents challenging conditions for analysis, but has the potential to give richer information while using industry standard housing. A Tracking and Identification module was developed to automatically detect, track and identify the (visually similar) mice in the cluttered home-cage using only single-channel IR video and coarse position from RFID readings. Existing detectors and trackers were combined with a novel Integer Linear Programming formulation to assign anonymous tracks to mouse identities. This utilised a probabilistic weight model of affinity between detections and RFID pickups. The next task necessitated the implementation of the Activity Labelling module that classifies the behaviour of each mouse, handling occlusion to avoid giving unreliable classifications when the mice cannot be observed. Two key aspects of this were (a) careful feature-selection, and (b) judicious balancing of the errors of the system in line with the repercussions for our setup. Given these sequences of individual behaviours, we analysed the interaction dynamics between mice in the same cage by collapsing the group behaviour into a sequence of interpretable latent regimes using both static and temporal (Markov) models. Using a permutation matrix, we were able to automatically assign mice to roles in the HMM, fit a global model to a group of cages and analyse abnormalities in data from a different demographic