Smart Camera Robotic Assistant for Laparoscopic Surgery

The cognitive architecture also includes learning mechanisms to adapt the behavior of the robot to the different ways of working of surgeons, and to improve the robot behavior through experience, in a similar way as a human assistant would do. The theoretical concepts of this dissertation have been validated both through in-vitro experimentation in the labs of medical robotics of the University of Malaga and through in-vivo experimentation with pigs in the IACE Center (Instituto Andaluz de Cirugía Experimental), performed by expert surgeons.In the last decades, laparoscopic surgery has become a daily practice in operating rooms worldwide, which evolution is tending towards less invasive techniques. In this scenario, robotics has found a wide field of application, from slave robotic systems that replicate the movements of the surgeon to autonomous robots able to assist the surgeon in certain maneuvers or to perform autonomous surgical tasks. However, these systems require the direct supervision of the surgeon, and its capacity of making decisions and adapting to dynamic environments is very limited. This PhD dissertation presents the design and implementation of a smart camera robotic assistant to collaborate with the surgeon in a real surgical environment. First, it presents the design of a novel camera robotic assistant able to augment the capacities of current vision systems. This robotic assistant is based on an intra-abdominal camera robot, which is completely inserted into the patient’s abdomen and it can be freely moved along the abdominal cavity by means of magnetic interaction with an external magnet. To provide the camera with the autonomy of motion, the external magnet is coupled to the end effector of a robotic arm, which controls the shift of the camera robot along the abdominal wall. This way, the robotic assistant proposed in this dissertation has six degrees of freedom, which allow providing a wider field of view compared to the traditional vision systems, and also to have different perspectives of the operating area. On the other hand, the intelligence of the system is based on a cognitive architecture specially designed for autonomous collaboration with the surgeon in real surgical environments. The proposed architecture simulates the behavior of a human assistant, with a natural and intuitive human-robot interface for the communication between the robot and the surgeon

Faciliter la téléopération d'un robot mobile non-holonome (application au maintien à domicile des personnes âgées)

Le maintien de personnes âgées au domicile le plus longtemps possible est censé apporter une réponse à la croissance de l espérance de vie en occident et a des coûts toujours croissants pour la société. ce travail de thèse a été réalisé dans le cadre du projet CompanionAble, qui vise a fournir une solution intégrée maison intelligente - robot aux personnes âgées, vivant seules. L'objectif est de maintenir un confort en fin de vie à un niveau élevé et à traiter les situations dangereuses pour elles, comme les chutes, avant que les conséquences ne deviennent trop importantes. Les éléments qui m intéressent dans ce cadre sont le robot et l opérateur, qui se trouve à l extérieur de la maison, et qui peut téléopérer le robot en vue d interagir avec la personne âgée, soit pour des activités ludiques (visioconférence, exercices de stimulation cognitive), soit pour des situations d urgence (chute, perte de connaissance de la personne âgée). Pour maintenir les coûts du système à un niveau raisonnable, on a envisagé l utilisation de l internet public pour la connexion entre le site maître (où se trouve l opérateur) et le site esclave (où se trouve le robot). Une autre spécificité du notre système est le fait que les utilisateurs ne sont pas des spécialistes de la téléopération. J ai donc cherché à faciliter la tâche de pilotage du robot, dans ce contexte spécifique. Du côté de l interface, on a cherché à aider l opérateur traitant les problèmes liés aux délais de transmission (possibles à cause de l utilisation de l internet) et lui donner la possibilité d utiliser une interface écologique, qui utilise des éléments de réalité augmentée. Du côté du robot, on a rajouté un nouveau mode de commande, semi-autonome, pour que l opérateur soit plus à l aise pendant qu il le déplace. Pour finir, on a examiné la possibilité de passer d un mode de commande à un autre, pour que l opérateur soit le moins affecté que possible par des perturbations et que les performances du système restent acceptables. Les solutions proposées ont été implantée sur un système réel et évaluées au laboratoire et en situations réelles dans le cadre du projet européen CompanionAble.Enabling older people to live in their homes as long as possible is supposed to respond to the growth of life expectancy in the west and the increasing costs to society. The present thesis was conducted in the framework of the companionable, which aims to provide an integrated smart home - robot for the elderly, which are living alone. The objective is to maintain the end of life comfort at a high level and to deal with dangerous situations for them, such as falls, before the consequences become too costly. The elements that interest me in this context are the robot and the remote operator, which is outside the home, and can teleoperate the robot to interact with the elderly, for recreational activities ( videoconferencing, cognitive stimulation exercises) or for emergency situations (falls, loss of consciousness, etc.). To keep the system costs to a reasonable level, we considered using the public internet as the connection between the master site (where the operator is) and the slave site (where the robot is). another unique feature of our system is that users are not specialists in teleoperation. As such, i tried to ease the task of controlling the robot, in this specific context. On the remote control interface side, we tried to help the operator in dealing with the problems associated with transmission delays (due to the possible use of the internet) and we gave him/her the option of using an ecological interface, which uses elements of augmented reality. On the robot side, we added a new command mode, semi-autonomous, so that the operator is more at ease as he/she controls the robot. finally, we examined the possibility of switching from one control mode to another, so that the operator is the least affected by possible disturbances and system performance is kept acceptable. The proposed solutions have been implemented on a real system and evaluated in the laboratory and in real situations, in the framework of the european CompanionAble project.EVRY-Bib. électronique (912289901) / SudocSudocFranceF

Proceedings of the NASA Conference on Space Telerobotics, volume 5

Papers presented at the NASA Conference on Space Telerobotics are compiled. The theme of the conference was man-machine collaboration in space. The conference provided a forum for researchers and engineers to exchange ideas on the research and development required for the application of telerobotics technology to the space systems planned for the 1990's and beyond. Volume 5 contains papers related to the following subject areas: robot arm modeling and control, special topics in telerobotics, telerobotic space operations, manipulator control, flight experiment concepts, manipulator coordination, issues in artificial intelligence systems, and research activities at the Johnson Space Center

Third International Symposium on Artificial Intelligence, Robotics, and Automation for Space 1994

The Third International Symposium on Artificial Intelligence, Robotics, and Automation for Space (i-SAIRAS 94), held October 18-20, 1994, in Pasadena, California, was jointly sponsored by NASA, ESA, and Japan's National Space Development Agency, and was hosted by the Jet Propulsion Laboratory (JPL) of the California Institute of Technology. i-SAIRAS 94 featured presentations covering a variety of technical and programmatic topics, ranging from underlying basic technology to specific applications of artificial intelligence and robotics to space missions. i-SAIRAS 94 featured a special workshop on planning and scheduling and provided scientists, engineers, and managers with the opportunity to exchange theoretical ideas, practical results, and program plans in such areas as space mission control, space vehicle processing, data analysis, autonomous spacecraft, space robots and rovers, satellite servicing, and intelligent instruments

Analyse, commande et intégration d'un mécanisme parallèle entraîné par des câbles pour la réalisation d'une interface haptique comme métaphore de navigation dans un environnement virtuel

Un domaine de la recherche en ingénierie des systèmes est de développer des systèmes supervisés semi-autonomes qui interagissent à un très haut niveau avec l'humain. Ces systèmes intelligents ont les capacités d'analyser et de traiter certaines informations pour produire un comportement général observable par les capacités sensorielles et temporelles de l'humain. Il est donc nécessaire de définir un environnement créatif qui interface efficacement l'humain aux informations pour rendre de nouvelles expériences multi-sensorielles optimisant et facilitant la prise de décision. En d'autres mots, il est possible de définir un système multi-sensoriel par sa capacité à augmenter l'optimisation de la prise de décision à l'aide d'une interface qui définit un environnement adapté à l'humain. Un système haptique dans un environnement virtuel incluant une collaboration et une interaction entre l'humain, les mécanismes robotisés et la physique de la réalité virtuelle est un exemple. Un système haptique doit gérer un système dynamique non-linéaire sous-contraint et assurer sa stabilité tout en étant transparent à l'humain. La supervision de l'humain permet d'accomplir des tâches précises sans se soucier de la complexité de la dynamique d'interactions alors que le système gère les différents problèmes antagonistes dont de stabilité (délai de la communication en réseau, stabilité des rendus, etc.), de transparence et de performance. Les travaux de recherche proposés présentent un système multi-sensoriel visuo-haptique qui asservisse l'interaction entre l'humain, un mécanisme et la physique de l'environnement virtuel avec une commande bilatérale. Ce système permet à l'humain de réaliser des fonctions ou des missions de haut niveau sans que la complexité de la dynamique d'interaction limite la prise de décision. Plus particulièrement, il sera proposé de réaliser une interface de locomotion pour des missions de réadaptation et d'entraînement. Ce projet, qui est nommé NELI (Network Enabled Locomotion Interface), est divisé en plusieurs sous-systèmes dont le mécanisme entraîné par des câbles nommé CDLI ( Cable Driven Locomotion Interface ), le système asservi avec une commande bilatérale qui assure le rendu de la locomotion, la réalité virtuelle qui inclut la physique de l'environnement, le rendu haptique et le rendu visuel. Dans un premier temps, cette thèse propose une méthode qui assure la qualité de la réponse de la transmission en augmentant la transparence dynamique de l'asservissement articulaire d'une manière automatique. Une approche d'optimisation, basée sur une amélioration des Extremum Seeking Tuning, permet d'ajuster adéquatement les paramètres des régulateurs et définit le critère de l'assurance qualité dans le cas d'une production massive. Cet algorithme est ensuite utilisé, pour étudier le rendu d'impédance avec l'aide de la modélisation d'un câble et de l'enrouleur. Cette modélisation permet de définir un asservissement articulaire hybride qui est utilisé dans la commande hybride cartésienne afin d'assurer le rendu haptique. Dans un troisième temps, dans un contexte de sécurité, la gestion des interférences entre les pièces mécaniques de l'interface de locomotion est décrite avec une méthode d'estimation des collisions des câbles. Une démonstration des interférences entre les câbles de deux plates-formes est simulée démontrant la faisabilité de l'approche. Finalement, la définition d'un moteur physique par un rendu haptique hybride au niveau de la commande cartésienne est présentée en considérant la géométrie des points de contact entre le modèle du pied virtuel et un objet virtuel. Cette approche procure la stabilité d'interaction recherchée lors de la simulation d'un contact infiniment rigide. Un robot marcheur de marque Kondo est embarqué sur l'interface de locomotion pour interagir avec les objets virtuels. Les résultats de la marche du robot dans l'environnement virtuel concrétisent le projet et servent de démonstrateur technologique

Commande robuste référencée intention d'une orthèse active pour l'assistance fonctionnelle aux mouvements du genou

Le nombre croissant de personnes âgées dans le monde exige de relever de nouveaux défis sociétaux, notamment en termes de services d'aide et de soins de santé. Avec les récents progrès technologiques, la robotique apparaît comme une solution prometteuse pour développer des systèmes visant à faciliter et améliorer les conditions de vie de cette population. Cette thèse vise la proposition et la validation d'une approche de commande robuste et référencée intention d'une orthèse active, destinée à assister des mouvements de flexion/extension du genou pour des personnes souffrant de pathologies de cette articulation. La commande par modes glissants d'ordre 2 que nous proposons permet de prendre en compte les non-linéarités ainsi que les incertitudes paramétriques résultant de la dynamique du système équivalent orthèse-membre inférieur. Elle permet également de garantir d'une part, un bon suivi de la trajectoire désirée imposée par le thérapeute ou par le sujet lui-même, et d'autre part, une bonne robustesse vis-à-vis des perturbations externes pouvant se produire lors des mouvements de flexion/extension. Dans cette thèse, nous proposons également un modèle neuronal de type Perceptron Multi-Couches pour l'estimation de l'intention du sujet à partir de la mesure des signaux EMG caractérisant les activités musculaires volontaires du groupe musculaire quadriceps. Cette approche permet de s'affranchir d'un modèle d'activation et de contraction musculaire complexe. L'ensemble des travaux a été validé expérimentalement avec la participation volontaire de plusieurs sujets validesThe increasing number of elderly in the world reveals today new societal challenges, particularly in terms of healthcare and assistance services. With recent advances in technology, robotics appears as a promising solution to develop systems that improve the living conditions of this aging population. This thesis aims at proposing and validating an approach for robust control of an active orthosis, based on the subject intention. This orthosis is designed to assist flexion/ extension movements of the knee for people suffering from knee joint deficiencies. The proposed second order sliding mode control allows to take into account the nonlinearities and parametric uncertainties resulting from the dynamics of the equivalent lower limb-orthosis system. It also ensures on one hand, a good tracking performance of the desired trajectory imposed by the therapist or the subject itself, and on the second hand, a satisfactory robustness with respect to external disturbances that may occur during flexion and extension of the knee joint. In this thesis, a neural model based on Multi-Layer Perceptron is used to estimate the subject's intention from the measurement of the EMG signals characterizing the voluntary activities of the quadriceps muscle group. This approach overcomes the complex modeling of the muscular activation and contraction dynamics. All the proposed approaches in this thesis have been validated experimentally with the voluntary participation of several healthy subjectsPARIS-EST-Université (770839901) / SudocSudocFranceF

Humanoid robot control of complex postural tasks based on learning from demostration

Mención Internacional en el título de doctorThis thesis addresses the problem of planning and controlling complex tasks in a humanoid robot from a postural point of view. It is motivated by the growth of robotics in our current society, where simple robots are being integrated. Its objective is to make an advancement in the development of complex behaviors in humanoid robots, in order to allow them to share our environment in the future. The work presents different contributions in the areas of humanoid robot postural control, behavior planning, non-linear control, learning from demonstration and reinforcement learning. First, as an introduction of the thesis, a group of methods and mathematical formulations are presented, describing concepts such as humanoid robot modelling, generation of locomotion trajectories and generation of whole-body trajectories. Next, the process of human learning is studied in order to develop a novel method of postural task transference between a human and a robot. It uses the demonstrated action goal as a metrics of comparison, which is codified using the reward associated to the task execution. As an evolution of the previous study, this process is generalized to a set of sequential behaviors, which are executed by the robot based on human demonstrations. Afterwards, the execution of postural movements using a robust control approach is proposed. This method allows to control the desired trajectory even with mismatches in the robot model. Finally, an architecture that encompasses all methods of postural planning and control is presented. It is complemented by an environment recognition module that identifies the free space in order to perform path planning and generate safe movements for the robot. The experimental justification of this thesis was developed using the humanoid robot HOAP-3. Tasks such as walking, standing up from a chair, dancing or opening a door have been implemented using the techniques proposed in this work.Esta tesis aborda el problema de la planificación y control de tareas complejas de un robot humanoide desde el punto de vista postural. Viene motivada por el auge de la robótica en la sociedad actual, donde ya se están incorporando robots sencillos y su objetivo es avanzar en el desarrollo de comportamientos complejos en robots humanoides, para que en el futuro sean capaces de compartir nuestro entorno. El trabajo presenta diferentes contribuciones en las áreas de control postural de robots humanoides, planificación de comportamientos, control no lineal, aprendizaje por demostración y aprendizaje por refuerzo. En primer lugar se desarrollan un conjunto de métodos y formulaciones matemáticas sobre los que se sustenta la tesis, describiendo conceptos de modelado de robots humanoides, generación de trayectorias de locomoción y generación de trayectorias del cuerpo completo. A continuación se estudia el proceso de aprendizaje humano, para desarrollar un novedoso método de transferencia de una tarea postural de un humano a un robot, usando como métrica de comparación el objetivo de la acción demostrada, que es codificada a través del refuerzo asociado a la ejecución de dicha tarea. Como evolución del trabajo anterior, se generaliza este proceso para la realización de un conjunto de comportamientos secuenciales, que son de nuevo realizados por el robot basándose en las demostraciones de un ser humano. Seguidamente se estudia la ejecución de movimientos posturales utilizando un método de control robusto ante imprecisiones en el modelado del robot. Para analizar, se presenta una arquitectura que aglutina los métodos de planificación y el control postural desarrollados en los capítulos anteriores. Esto se complementa con un módulo de reconocimiento del entorno y extracción del espacio libre para poder planificar y generar movimientos seguros en dicho entorno. La justificación experimental de la tesis se ha desarrollado con el robot humanoide HOAP-3. En este robot se han implementado tareas como caminar, levantarse de una silla, bailar o abrir una puerta. Todo ello haciendo uso de las técnicas propuestas en este trabajo.Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Manuel Ángel Armada Rodríguez.- Secretario: Luis Santiago Garrido Bullón.- Vocal: Sylvain Calino

Locomoção bípede adaptativa a partir de uma única demonstração usando primitivas de movimento

Doutoramento em Engenharia EletrotécnicaEste trabalho aborda o problema de capacidade de imitação da locomoção humana através da utilização de trajetórias de baixo nível codificadas com primitivas de movimento e utilizá-las para depois generalizar para novas situações, partindo apenas de uma demonstração única. Assim, nesta linha de pensamento, os principais objetivos deste trabalho são dois: o primeiro é analisar, extrair e codificar demonstrações efetuadas por um humano, obtidas por um sistema de captura de movimento de forma a modelar tarefas de locomoção bípede. Contudo, esta transferência não está limitada à simples reprodução desses movimentos, requerendo uma evolução das capacidades para adaptação a novas situações, assim como lidar com perturbações inesperadas. Assim, o segundo objetivo é o desenvolvimento e avaliação de uma estrutura de controlo com capacidade de modelação das ações, de tal forma que a demonstração única apreendida possa ser modificada para o robô se adaptar a diversas situações, tendo em conta a sua dinâmica e o ambiente onde está inserido. A ideia por detrás desta abordagem é resolver o problema da generalização a partir de uma demonstração única, combinando para isso duas estruturas básicas. A primeira consiste num sistema gerador de padrões baseado em primitivas de movimento utilizando sistemas dinâmicos (DS). Esta abordagem de codificação de movimentos possui propriedades desejáveis que a torna ideal para geração de trajetórias, tais como a possibilidade de modificar determinados parâmetros em tempo real, tais como a amplitude ou a frequência do ciclo do movimento e robustez a pequenas perturbações. A segunda estrutura, que está embebida na anterior, é composta por um conjunto de osciladores acoplados em fase que organizam as ações de unidades funcionais de forma coordenada. Mudanças em determinadas condições, como o instante de contacto ou impactos com o solo, levam a modelos com múltiplas fases. Assim, em vez de forçar o movimento do robô a situações pré-determinadas de forma temporal, o gerador de padrões de movimento proposto explora a transição entre diferentes fases que surgem da interação do robô com o ambiente, despoletadas por eventos sensoriais. A abordagem proposta é testada numa estrutura de simulação dinâmica, sendo que várias experiências são efetuadas para avaliar os métodos e o desempenho dos mesmos.This work addresses the problem of learning to imitate human locomotion actions through low-level trajectories encoded with motion primitives and generalizing them to new situations from a single demonstration. In this line of thought, the main objectives of this work are twofold: The first is to analyze, extract and encode human demonstrations taken from motion capture data in order to model biped locomotion tasks. However, transferring motion skills from humans to robots is not limited to the simple reproduction, but requires the evaluation of their ability to adapt to new situations, as well as to deal with unexpected disturbances. Therefore, the second objective is to develop and evaluate a control framework for action shaping such that the single-demonstration can be modulated to varying situations, taking into account the dynamics of the robot and its environment. The idea behind the approach is to address the problem of generalization from a single-demonstration by combining two basic structures. The first structure is a pattern generator system consisting of movement primitives learned and modelled by dynamical systems (DS). This encoding approach possesses desirable properties that make them well-suited for trajectory generation, namely the possibility to change parameters online such as the amplitude and the frequency of the limit cycle and the intrinsic robustness against small perturbations. The second structure, which is embedded in the previous one, consists of coupled phase oscillators that organize actions into functional coordinated units. The changing contact conditions plus the associated impacts with the ground lead to models with multiple phases. Instead of forcing the robot’s motion into a predefined fixed timing, the proposed pattern generator explores transition between phases that emerge from the interaction of the robot system with the environment, triggered by sensor-driven events. The proposed approach is tested in a dynamics simulation framework and several experiments are conducted to validate the methods and to assess the performance of a humanoid robot

Manipulador aéreo con brazos antropomórficos de articulaciones flexibles

[Resumen] Este artículo presenta el primer robot manipulador aéreo con dos brazos antropomórficos diseñado para aplicarse en tareas de inspección y mantenimiento en entornos industriales de difícil acceso para operarios humanos. El robot consiste en una plataforma aérea multirrotor equipada con dos brazos antropomórficos ultraligeros, así como el sistema de control integrado de la plataforma y los brazos. Una de las principales características del manipulador es la flexibilidad mecánica proporcionada en todas las articulaciones, lo que aumenta la seguridad en las interacciones físicas con el entorno y la protección del propio robot. Para ello se ha introducido un compacto y simple mecanismo de transmisión por muelle entre el eje del servo y el enlace de salida. La estructura en aluminio de los brazos ha sido cuidadosamente diseñada de forma que los actuadores estén aislados frente a cargas radiales y axiales que los puedan dañar. El manipulador desarrollado ha sido validado a través de experimentos en base fija y en pruebas de vuelo en exteriores.Ministerio de Economía y Competitividad; DPI2014-5983-C2-1-