An observer based approach to force reflecting bilateral teleoperation

Bilateral teleoperation systems are an active area of research with possible applications in healthcare, remote surveillance and military, space and underwater operations, allowing human operators to manipulate remote systems and feel environment forces to achieve telepresence. The physical distance between the local and remote systems introduces delay to the exchanged signals between the two and cause instability in the bilateral teleoperation. With the advent of the internet, possible applications of bilateral teleoperation systems have proliferated, growing the interest and amount of research in the field. The delay compensation method for stable and force reflecting teleoperation proposed in this thesis is based on utilization of three different types of observers: A novel predictor observer that estimates the undelayed states of the remote system based on a nominal model, disturbance observers that eliminate internal and external disturbances and linearize the nonlinear dynamics of the two systems, and reaction torque observers that estimate the net external forces on the two systems. The controller for the remote system is placed at the local site, along with the predictor observer and the control input is sent to the remote system through the communication channel. Force reflection is achieved using a modified version of the 4-channel architecture where control input and position of the remote system and the environment force estimations are exchanged between the two systems. Performance of the proposed method is tested with Matlab/Simulink simulations and compared to two other methods in the literature. Real-time experiments under variable communication delay are also performed where the delay is both artificially created using Matlab/Simulink blocks and obtained via the internet by bouncing signals off a remote computer outside the Sabancı University campus. Both the simulations and experiments are executed on a pair of 1-DOF robot arms and a pair of 2-DOF pantograph robots. The results show that stable and force reflecting teleoperation is achieved with successful tracking performances of the remote system

Asistencia háptica basada en planificación de movimientos para la teleoperación cooperativa de sistemas multirobot

This work proposes a framework for the teleoperation of anthropomorphic industrial robots using desktop haptic devices that provides an aid to the operator in the form of haptic guidance based on path planning techniques. The teleoperation framework incorporates a new model of correspondence mapping between the workspace of the haptic device used to command the remote node and that of the robot. The mapping takes into account the position and orientation of the active camera that provides the video fed back from the remote node. The main features of this system are: 1. The user can change the position of the active camera to increase the visibility or to change the scales related to the workspaces in order to set the precision. 2. The user feels slight guiding forces that attract and push him/her to the path towards the goal configuration, particularly when it contains configuration changes. 3. When the operator requests it or when he/she reaches the limits of the workspace of the haptic device, the assistance system calculates the new configuration for the haptic device, taking over the teleoperation and guiding the operator to that configuration where teleoperation can resume. All kinesthetic aids are generated based on a Planner which includes a novel algorithm that is able to find feasible paths between both static and mobile obtacles or a mitxture of both. The main features of the proposed Planner are: 1. It is based on a Probabilistic RoadMap strategy based on a lazy evaluation of the possible collisions of the path. 2. It uses a reduced graph to find the solution path, which is a subset of a larger graph, thus ensuring both computational efficiency and coverage of the whole configuration space. 3. Each planned path is evaluated and iteratively improved by creating a new set of samples closer to the obstacles when any edge-validation fails. 4. Replanning is useful when moving obstacles are present or when the initial configuration changes and this process always brings as a result a new path very close to the one previously valid. The Planner frees the user from paying attention to potential collisions between the environment and any part of the robot (not only the end-effector, as other approaches do). This can be applied especially in multi-robot environments, where the other robots present in the cell may interfere with the remote teleoperated movements. The planner deals with other robots as collections of moving obstacles. The bilateral control scheme of the teleoperation system ensures its stability despite time delays. Additionally, the system influences on the remote node damping factor as a way of dealing with potential collisions, slowing the teleoperation when the system detects one. The system has been validated with multiple users, both in simulated environments and with the real robot, and it has shown that with the use of its assistance the operator increases speed and security in performance, lightening the burden of teleoperation, especially when there are moving obstacles.En el presente trabajo se propone un marco para la teleoperación de robots industriales antropomórficos que cuenta con elementos de ayuda al operador en forma de guiado háptico basado en técnicas de planificación de caminos (path planning) para facilitarle su labor. Incorpora un novedoso modelo de correspondencia entre el espacio de trabajo del dispositivo háptico con el que va a ser comandado y el del robot. Esta correspondencia tiene en cuenta la posición y orientación de la cámara activa que proporciona el video desde el sitio remoto. Las principales características de este sistema son: 1. El usuario puede cambiar de cámara activa para incrementar la visibilidad o cambiar las escalas que relacionan los espacios de trabajo para ajustar la precisión. 2. El usuario experimenta ligeras fuerzas de guiado que lo atraen hacia el camino planificado y también lo empujan a lo largo del mismo hacia la configuración objetivo, en particular cuando contiene cambios de configuración. 3. Cuando se alcanzan los limites del espacio de trabajo del dispositivo háptico o cuando el usuario lo solicita, se calcula la nueva configuración de este dispositivo, desde donde pueda retomar y efectuar la teleoperación y lo guía hasta ella. Las ayudas hápticas son generadas a partir de un camino que soluciona la tarea. Para lo cual se ha desarrollado un planificador que incorpora un novedoso algoritmo que es capaz de encontrar caminos realizables tanto entre obstáculos estáticos como entre móviles o la mezcla de unos y otros. Las principales características del planificador propuesto en el presente trabajo son: 1. Está basado en un planificador de mapa de carreteras probabilístico (Probabilistic Roadmap) con evaluación tardía de las colisiones del camino encontrado. 2. Se reduce la cantidad de muestras que componen el grafo donde se busca la solución a partir de uno más grande que cubre el espacio de configuraciones. 3. Cada camino planificado es evaluado y mejorado progresivamente de forma iterativa, creando un nuevo conjunto de muestras cerca de los obstáculos cuando la validación de alguna arista falla. 4. Es útil para replanificar cuando están presentes obstáculos móviles o cuando la configuración inicial cambia, dando siempre como resultado un camino muy cercano al anteriormente válido. Con esta ayuda el usuario se libera de prestar atención a las potenciales colisiones de cualquier parte del robot con el entorno y no solamente del efector final del robot (TCP) como se hace en otros enfoques. Esto es aplicado especialmente en entornos multirobot donde los otros robots presentes en la celda remota pueden interferir con los movimientos teleoperados y que en este trabajo son considerados como colecciones de obstáculos móviles. El esquema de control del sistema de teleoperación bilateral, garantiza la estabilidad a pesar de los retardos de las variables. Adicionalmente, se influye sobre su factor de amortiguamiento en el nodo remoto como una forma de hacer frente a potenciales colisiones, ralentizando la teleoperación cuando se advierte una potencial colisión. El sistema ha sido validado con varios usuarios, tanto en simulación como en experimentación con el robot real,mostrando que con esta asistencia se incrementa la velocidad y la seguridad en la ejecución de la tarea y se aligera la carga de la teleoperación, en especial cuando existen obstáculos móviles.Postprint (published version