Stereoscopic Vision in Unmanned Aerial Vehicle Search and Rescue

Search and rescue operations are challenging due to the hazards imposed on the rescue teams. Team ARM IT has developed a virtual reality interface that controls a mounted camera payload on an unmanned aerial vehicle (UAV) through a head mounted display. This allows rescuers to manipulate a UAV to assist search and rescue missions safely and effectively through telepresence and enhanced situational awareness. The team tested these hypotheses by prototyping, testing, and refining individual components of the system through the use of flight simulation software and on-site volunteer testing. By providing a realistic sense of the UAV environment enhanced with relevant information, Team ARM IT’s project reduces the danger to the rescuers and provide cognitively natural situational awareness

HUMAN CONTROL OF COOPERATING ROBOTS

Advances in robotic technologies and artificial intelligence are allowing robots to emerge fromresearch laboratories into our lives. Experiences with field applications show that we haveunderestimated the importance of human-robot interaction (HRI) and that new problems arise inHRI as robotic technologies expand. This thesis classifies HRI along four dimensions - human,robot, task, and world and illustrates that previous HRI classifications can be successfullyinterpreted as either about one of these elements or about the relationship between two or moreof these elements. Current HRI studies of single-operator single-robot (SOSR) control andsingle-operator multiple-robots (SOMR) control are reviewed using this approach.Human control of multiple robots has been suggested as a way to improve effectiveness inrobot control. Unlike previous studies that investigated human interaction either in low-fidelitysimulations or based on simple tasks, this thesis investigates human interaction with cooperatingrobot teams within a realistically complex environment. USARSim, a high-fidelity game-enginebasedrobot simulator, and MrCS, a distributed multirobot control system, were developed forthis purpose. In the pilot experiment, we studied the impact of autonomy level. Mixed initiativecontrol yielded performance superior to fully autonomous and manual control.To avoid limitation to particular application fields, the present thesis focuses on commonHRI evaluations that enable us to analyze HRI effectiveness and guide HRI design independentlyof the robotic system or application domain. We introduce the interaction episode (IEP), whichwas inspired by our pilot human-multirobot control experiment, to extend the Neglect ToleranceHUMAN CONTROL OF COOPERATING ROBOTSJijun Wang, Ph.D.University of Pittsburgh, 2007vmodel to support general multiple robots control for complex tasks. Cooperation Effort (CE),Cooperation Demand (CD), and Team Attention Demand (TAD) are defined to measure thecooperation in SOMR control. Two validation experiments were conducted to validate the CDmeasurement under tight and weak cooperation conditions in a high-fidelity virtual environment.The results show that CD, as a generic HRI metric, is able to account for the various factors thataffect HRI and can be used in HRI evaluation and analysis

Interface-opérateur à réalité et perspective mixtes de téléopération de robot mobile pour une application de téléassistance

Le vieillissement de la population occasionne une surcharge sur le réseau de la santé, d'où l'intérêt de maintenir à domicile des personnes à risque. Une solution intéressante à ce probléme consiste à utiliser des technologies de communication et d'interaction à distance pour offrir des télésoins ou de la télésurveillance et [sic] à ces personnes. Notre travail porte plus spécifiquement sur l'utilisation d'un robot mobile téléopéré et équipé d'un équipement de vidéoconférence. La mobilité du robot procure l'avantage de pouvoir évaluer et suivre une personne dans un domicile ou de se positionner de façon appropriée à accomplir [sic]. L'interface-opérateur constitue le coeur d'un système robotique téléopéré afin d'en assurer une utilisation efficace et sécuritaire, deux critères directement affectés par l'expérience des opérateurs du système. Dans les contextes de la télésurveillance ou de télésoins, il faut en fait prendre comme hypothèse que le système sera utilisé par des opérateurs non-spécialistes en robotique (e.g., cliniciens, aidants naturels). De récentes études en conception d'interface-opérateur ont démontré sommairement que l'intégration de techniques de réalité virtuelle à des images vidéo obtenues d'une caméra montée sur un robot mobile permet d'améliorer les performances de téléopération. Par notre étude, nous désirons pousser plus loin ces pistes de solution en étudiant l'apport de deux configurations d'interface exploitant la réalité virtuelle par rapport à une interface conventionnelle montrant principalement une vue vidéo de l'environnement distant. La première configuration superpose la vue vidéo sur un modèle en trois dimensions (3D) de l'environnement, élargissant l'angle de vue sur l'environnement distant. La seconde utilise en projection un modèle 3D de l'environnement présentant le robot et la vue vidéo selon une perspective exocentrique. Pour ce faire, nous avons établi une méthodologie expérimentale rigoureuse caractérisant les performances d'un groupe de 37 opérateurs novices par rapport à un expert et par rapport à eux-mêmes, éliminant du coup les influences provenant des capacités du système robotique et de l'environnement. Quatre métriques sont utilisées pour caractériser les performances des opérateurs selon les trois configurations d'interface, menant ainsi à la plus importante étude réalisée jusqu'à maintenant dans ce domaine. Les résultats montrent que les interfaces-opérateur avec réalité virtuelle améliorent de façon significative les performances des opérateurs novices. Plus spécifiquement, c'est la configuration selon une perspective exocentrique qui semble être la plus appropriée, spécialement chez les opérateurs féminins, les opérateurs de plus de 30 ans ou les opérateurs travaillant moins de 22 heures par semaine sur ordinateur, des caractéristiques qui se trouvent fréquemment pour les opérateurs potentiels du système. Plusieurs améliorations ont été identifiées suite aux expériences réalisées. Ces améliorations permettront d'obtenir une interface-opérateur plus performante pour conduire des études sur le choix des mécanismes de contrôle (en laboratoire), pour ensuite porter un choix éclairé sur l'interface-opérateur à utiliser afin de mener une étude clinique dans des domiciles réels