Diseño de una mini-cámara motorizada para el seguimiento de objetos

Comunicación presentada en las XXIX Jornadas de Automática, Tarragona, 3-5 Septiembre 2008.En este artículo se presenta un mini-sistema de visión basado en una cámara CMOS inalámbrica motorizada que permite realizar el seguimiento de objetivos móviles. Este sistema emplea características de color e histogramas para detectar el objeto presente en la imagen con un bajo coste computacional. La novedad de este trabajo reside en la flexibilidad del sistema diseñado para ser incorporado en aplicaciones que empleen mini-robots donde se requieren especificaciones de bajo peso y pequeñas dimensiones, sin mermar la libertad de movimientos de los robots en sistemas de sensorizado.Este trabajo ha sido financiado por el Ministerio de Educación y Ciencia (MEC) mediante la beca FPU AP2005-1458 y el proyecto DPI2005-06222

Control visual para el brazo Robotnik

Los objetivos de este PFC son: 1-Desarrollo e implementación de un algoritmo que permita al brazo posicionarse respecto al objeto en el espacio de trabajo. Este es el principal objetivo del proyecto. El algoritmo, desarrollado en C++, debe conseguir controlar el movimiento del brazo robótico para que sea capaz de seguir un blanco. 2-Creación de una interfaz gráfica para la supervisión de los parámetros característicos del robot y del sistema de control en tiempo real.Escuela Técnica Superior de Ingeniería IndustrialUniversdiad Politécnica de Cartagen

Estudi de l’algorítmica en el seguiment d’objectes mòbils amb càmera activa

La capacitat d’identificar i seguir de forma ràpida, precisa i autònoma un objecte en temps real a partir de fotogrames capturats amb una càmera activa ha estat una àrea atractiva de recerca en els últims anys. Però no ha estat fins aquestes dues darreres dècades que, gràcies als avanços tecnològics quant a potència computacional i fàcil accés a hardware òptic comercial, aquesta capacitat s’ha convertit en una possibilitat real. Una plètora d’estratègies i mètodes amb enfocaments molt diferents per identificar i seguir objectes d’interès es poden trobar a la literatura. En aquest projecte de fi de grau, de bon començament, amb el propòsit de fer el seguiment d’un objecte mòbil amb un sistema de visió activa, es presenten els conceptes bàsics sobre els quals s’emmarcarà el treball; i, a continuació, s’examinen en detall alguns dels algoritmes que per la seva eficiència computacional han jugat un paper més rellevant en aquests tipus d’aplicacions de seguiment en temps real. Concretament s’estudien els detectors de moviment centrats en el modelatge de fons i el flux òptic; i l’algoritme de seguiment d’objectes CAMShift. En addició, s’analitzen com aquests se les enginyen en situacions de càmera mòbil i les contramesures basades en la compensació del moviment del fons que poden promulgar-se per adaptar-los en aquestes noves condicions. Altrament, amb la finalitat d’integrar els algoritmes de visió analitzats en un sistema de seguiment de visió per computador amb càmera activa, s’ha dut a terme una cerca de les diferents lleis de control basades en imatge i s’ha indagat sobre si la incorporació d’un filtre de Kalman produeix millores en l’estimació de la posició de l’objecte seguit. És més, s’ha detallat el desenvolupament d’un sistema de visió activa conformat per la combinació d’una càmera USB i una unitat pan/tilt que, juntament amb codi personalitzat, ha permès automatitzar la tasca d’apuntar i seguir de forma contínua el moviment d’un objecte. Finalment, s’ha construït un prototipus funcional demostrador que ha permès verificar el comportament del sistema via resultats experimental

Suivi Multi-Locuteurs avec des Informations Audio-Visuelles pour la Perception des Robots

Robot perception plays a crucial role in human-robot interaction (HRI). Perception system provides the robot information of the surroundings and enables the robot to give feedbacks. In a conversational scenario, a group of people may chat in front of the robot and move freely. In such situations, robots are expected to understand where are the people, who are speaking, or what are they talking about. This thesis concentrates on answering the first two questions, namely speaker tracking and diarization. We use different modalities of the robot’s perception system to achieve the goal. Like seeing and hearing for a human-being, audio and visual information are the critical cues for a robot in a conversational scenario. The advancement of computer vision and audio processing of the last decade has revolutionized the robot perception abilities. In this thesis, we have the following contributions: we first develop a variational Bayesian framework for tracking multiple objects. The variational Bayesian framework gives closed-form tractable problem solutions, which makes the tracking process efficient. The framework is first applied to visual multiple-person tracking. Birth and death process are built jointly with the framework to deal with the varying number of the people in the scene. Furthermore, we exploit the complementarity of vision and robot motorinformation. On the one hand, the robot’s active motion can be integrated into the visual tracking system to stabilize the tracking. On the other hand, visual information can be used to perform motor servoing. Moreover, audio and visual information are then combined in the variational framework, to estimate the smooth trajectories of speaking people, and to infer the acoustic status of a person- speaking or silent. In addition, we employ the model to acoustic-only speaker localization and tracking. Online dereverberation techniques are first applied then followed by the tracking system. Finally, a variant of the acoustic speaker tracking model based on von-Mises distribution is proposed, which is specifically adapted to directional data. All the proposed methods are validated on datasets according to applications.La perception des robots joue un rôle crucial dans l’interaction homme-robot (HRI). Le système de perception fournit les informations au robot sur l’environnement, ce qui permet au robot de réagir en consequence. Dans un scénario de conversation, un groupe de personnes peut discuter devant le robot et se déplacer librement. Dans de telles situations, les robots sont censés comprendre où sont les gens, ceux qui parlent et de quoi ils parlent. Cette thèse se concentre sur les deux premières questions, à savoir le suivi et la diarisation des locuteurs. Nous utilisons différentes modalités du système de perception du robot pour remplir cet objectif. Comme pour l’humain, l’ouie et la vue sont essentielles pour un robot dans un scénario de conversation. Les progrès de la vision par ordinateur et du traitement audio de la dernière décennie ont révolutionné les capacités de perception des robots. Dans cette thèse, nous développons les contributions suivantes : nous développons d’abord un cadre variationnel bayésien pour suivre plusieurs objets. Le cadre bayésien variationnel fournit des solutions explicites, rendant le processus de suivi très efficace. Cette approche est d’abord appliqué au suivi visuel de plusieurs personnes. Les processus de créations et de destructions sont en adéquation avecle modèle probabiliste proposé pour traiter un nombre variable de personnes. De plus, nous exploitons la complémentarité de la vision et des informations du moteur du robot : d’une part, le mouvement actif du robot peut être intégré au système de suivi visuel pour le stabiliser ; d’autre part, les informations visuelles peuvent être utilisées pour effectuer l’asservissement du moteur. Par la suite, les informations audio et visuelles sont combinées dans le modèle variationnel, pour lisser les trajectoires et déduire le statut acoustique d’une personne : parlant ou silencieux. Pour experimenter un scenario où l’informationvisuelle est absente, nous essayons le modèle pour la localisation et le suivi des locuteurs basé sur l’information acoustique uniquement. Les techniques de déréverbération sont d’abord appliquées, dont le résultat est fourni au système de suivi. Enfin, une variante du modèle de suivi des locuteurs basée sur la distribution de von-Mises est proposée, celle-ci étant plus adaptée aux données directionnelles. Toutes les méthodes proposées sont validées sur des bases de données specifiques à chaque application