Design, Development, and Evaluation of a Teleoperated Master-Slave Surgical System for Breast Biopsy under Continuous MRI Guidance

The goal of this project is to design and develop a teleoperated master-slave surgical system that can potentially assist the physician in performing breast biopsy with a magnetic resonance imaging (MRI) compatible robotic system. MRI provides superior soft-tissue contrast compared to other imaging modalities such as computed tomography or ultrasound and is used for both diagnostic and therapeutic procedures. The strong magnetic field and the limited space inside the MRI bore, however, restrict direct means of breast biopsy while performing real-time imaging. Therefore, current breast biopsy procedures employ a blind targeting approach based on magnetic resonance (MR) images obtained a priori. Due to possible patient involuntary motion or inaccurate insertion through the registration grid, such approach could lead to tool tip positioning errors thereby affecting diagnostic accuracy and leading to a long and painful process, if repeated procedures are required. Hence, it is desired to develop the aforementioned teleoperation system to take advantages of real-time MR imaging and avoid multiple biopsy needle insertions, improving the procedure accuracy as well as reducing the sampling errors. The design, implementation, and evaluation of the teleoperation system is presented in this dissertation. A MRI-compatible slave robot is implemented, which consists of a 1 degree of freedom (DOF) needle driver, a 3-DOF parallel mechanism, and a 2-DOF X-Y stage. This slave robot is actuated with pneumatic cylinders through long transmission lines except the 1-DOF needle driver is actuated with a piezo motor. Pneumatic actuation through long transmission lines is then investigated using proportional pressure valves and controllers based on sliding mode control are presented. A dedicated master robot is also developed, and the kinematic map between the master and the slave robot is established. The two robots are integrated into a teleoperation system and a graphical user interface is developed to provide visual feedback to the physician. MRI experiment shows that the slave robot is MRI-compatible, and the ex vivo test shows over 85%success rate in targeting with the MRI-compatible robotic system. The success in performing in vivo animal experiments further confirm the potential of further developing the proposed robotic system for clinical applications

Payload analysis and control of manipulators for human interactive environments

Esta tesis doctoral presenta los resultados de simulaciones numéricas y algunos análisis experimentales de tres aspectos principales: el modelamiento dinámico de manipuladores de múltiples grados de libertad (GdL) (n 2 GdL), el cálculo de la capacidad dinámica de carga asociada al manejo de dicha carga, y el análisis y diseño de controladores no lineales incluyendo el Control Adaptativo por Desfalsificación (CAD). Se desarrollaron análisis de dos (2) casos de estudio: el SCORBOT ER V PLUS fabricado por Intelitech Corp. de 5 grados de libertad y el manipulador redundante de 7 grados de libertad conocido como el Whole Arm Manipulator (WAM) fabricado por Barrett Technology Inc. y que cuenta con características de seguridad intrínseca, manipulación inversa y docilidad, y es aplicable en la interacción humano-robot (IHR). Inicialmente, se calculó y validó el modelado dinámico de los casos de estudio. Los modelos dinámicos inverso y directo del SCORBOT ER V PLUS fueron validados numéricamente. Luego, una validación experimental para el WAM presenta una comparación entre los datos numéricos y experimentales, identificando la necesidad de un mejor modelo de la fricción seca. Después, se propuso y evaluó una metodología para el cálculo de la capacidad dinámica de carga en el espacio de trabajo completo de manipuladores para diferentes tipos de controladores. Luego, para el análisis del Control Adaptativo por Desfalsificación con factor de olvido para manipuladores de múltiples grados de libertad, se realizó una comparación con un controlador adaptativo tradicional basado en el modelo y se aplicó al modelo del manipulador SCORBOR ER V PLUS. Finalmente, la técnica de Control por Desfalsificación fue exitosamente aplicada al modelo del WAM. En conclusión, este trabajo puede contribuir al uso de técnicas de control no lineal avanzado y manejo de carga para manipuladores redundantes con manipulación inversa, aplicables en ambientes de interacción con humanosAbstract : This doctoral thesis presents the results of numerical simulations and some experimental analysis of three main topics: the dynamical modeling of multiple degree of freedom (MDoF) manipulators (n 2 DoF), dynamic load carrying capacity computation (DLCC) for the payload handling issue and nonlinear control analysis and design including Unfalsified Adaptive Control (UAC). We performed analysis of two (2) cases of study: the 5 DoF SCORBOT ER V PLUS manufactured by Intelitech Corp. and the 7 DoF redundant Whole Arm Manipulator (WAM) manufactured by Barrett Technology Inc. with intrinsic safety, backdrivable and compliant characteristics and suitable for human-robot interaction (HRI). Initially, we computed and validated the dynamical model of the cases of study. The inverse and direct dynamical models of the SCORBOT ER V PLUS were numerically validated. Then, an experimental validation of inverse dynamical model of the WAM presents a comparison between numerical and experimental data, identifying the need for better friction models. After that, we proposed and evaluated a methodology for DLCC computation in the entire workspace of manipulators for different types of controllers. Then, for the analysis of the data-driven UAC with fading memory for multiple DoF manipulators, we performed a comparison with a traditional modelbased Adaptive Controller and applied to the SCORBOT ER V PLUS manipulator. Finally, the Unfalsified Control technique was successfully applied to the WAM model for a similar simulation setup. In conclusion, this work may contribute to the use of advanced nonlinear control and payload handling techniques for redundant backdrivable multiple DoF manipulators, suitable for human interactive environmentsDoctorad

MISSION-ORIENTED HETEROGENEOUS ROBOT COOPERATION BASED ON SMART RESOURCES EXECUTION

Home environments are changing as more technological devices are used to improve daily life. The growing demand for high technology in our homes means that robot integration will soon arrive. Home devices are evolving in a connected paradigm in which data flows to perform efficient home task management. Heterogeneous home robots connected in a network can establish a workflow that complements their capabilities and so increases performance within a mission execution. This work addresses the definition and requirements of a robot-group mission in the home context. The proposed solution relies on a network of smart resources, which are defined as cyber-physical systems that provide high-level service execution. Firstly, control middleware architecture is introduced as the execution base for the Smart resources. Next, the Smart resource topology and its integration within a robotic platform are addressed. Services supplied by Smart resources manage their execution through a robot behavior architecture. Robot behavior execution is hierarchically organized through a mission definition that can be established as an individual or collective approach. Environment model and interaction tasks characterize the operation capabilities of each robot within a mission. Mission goal achievement in a heterogeneous group is enhanced through the complement of the interaction capabilities of each robot. To offer a clearer explanation, a full use case is presented in which two robots cooperate to execute a mission and the previously detailed steps are evaluated. Finally, some of the obtained results are discussed as conclusions and future works is introduced.Los entornos domésticos se encuentran sometidos a un proceso de cambio gracias al empleo de dispositivos tecnológicos que mejoran la calidad de vida de las personas. La creciente demanda de alta tecnología en los hogares señala una próxima incorporación de la robótica de servicio. Los dispositivos domésticos están evolucionando hacia un paradigma de conexión en el cual la información fluye para ofrecer una gestión más eficiente. En este entorno, robots heterogéneos conectados a la red pueden establecer un flujo de trabajo que ofreciendo nuevas soluciones y incrementando la eficiencia en la ejecución de tareas. Este trabajo aborda la definición y los requisitos necesarios para la ejecución de misiones en grupos de robots heterogéneos en entornos domésticos. La solución propuesta se apoya en una red de Smart resources, que son definidos como sistemas ciber-físicos que proporcionan servicios de alto nivel. En primer lugar, se presenta la arquitectura del middleware de control en la cual se basa la ejecución de los Smart resources. A continuación se detalla la topología de los Smart resources, así como su integración en plataformas robóticas. Los servicios proporcionados por los Smart resources gestionan su ejecución mediante una arquitectura de comportamientos para robots. La ejecución de estos comportamientos se organiza de forma jerárquica mediante la definición de una misión con un objetivo establecido de forma individual o colectiva a un grupo de robots. Dentro de una misión, las tareas de modelado e interacción con el entorno define las capacidades de operación de los robots dentro de una misión. Mediante la integración de un grupo heterogéneo de robots sus diversas capacidades son complementadas para el logro un objetivo común. A fin de caracterizar esta propuesta, los mecanismos presentados en este documento se evaluarán en detalle a lo largo de una serie experimentos en los cuales un grupo de robots heterogéneos ejecutan una misión colaborativa para alcanzar un objetivo común. Finalmente, los resultados serán discutidos a modo de conclusiones dando lugar el establecimiento de un trabajo futuro.Els entorns domèstics es troben sotmesos a un procés de canvi gràcies a l'ocupació de dispositius tecnològics que milloren la qualitat de vida de les persones. La creixent demanda d'alta tecnologia a les llars assenyala una propera incorporació de la robòtica de servei. Els dispositius domèstics estan evolucionant cap a un paradigma de connexió en el qual la informació flueix per oferir una gestió més eficient. En aquest entorn, robots heterogenis connectats a la xarxa poden establir un flux de treball que ofereix noves solucions i incrementant l'eficiència en l'execució de tasques. Aquest treball aborda la definició i els requisits necessaris per a l'execució de missions en grups de robots heterogenis en entorns domèstics. La solució proposada es recolza en una xarxa de Smart resources, que són definits com a sistemes ciber-físics que proporcionen serveis d'alt nivell. En primer lloc, es presenta l'arquitectura del middleware de control en la qual es basa l'execució dels Smart resources. A continuació es detalla la tipologia dels Smart resources, així com la seva integració en plataformes robòtiques. Els serveis proporcionats pels Smart resources gestionen la seva execució mitjançant una arquitectura de comportaments per a robots. L'execució d'aquests comportaments s'organitza de forma jeràrquica mitjançant la definició d'una missió amb un objectiu establert de forma individual o col·lectiva a un grup de robots. Dins d'una missió, les tasques de modelatge i interacció amb l'entorn defineix les capacitats d'operació dels robots dins d'una missió. Mitjançant la integració d'un grup heterogeni de robots seves diverses capacitats són complementades per a l'assoliment un objectiu comú. Per tal de caracteritzar aquesta proposta, els mecanismes presentats en aquest document s'avaluaran en detall mitjançant d'una sèrie experiments en els quals un grup de robots heterogenis executen una missió col·laborativa per aconseguir un objectiu comú. Finalment, els resultats seran discutits a manera de conclusions donant lloc a l'establiment d'un treball futur.Munera Sánchez, E. (2017). MISSION-ORIENTED HETEROGENEOUS ROBOT COOPERATION BASED ON SMART RESOURCES EXECUTION [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/88404TESI

Recognition and Manipulation of Deformable Objects Using Predictive Thin Shell Modeling

This thesis focuses on the task of dexterous manipulation of deformable objects, and in particular, clothing and garments. The task of manipulating deformable objects such as clothing can be broken down into a series of sub-tasks: (1) perceive and pick up garment, and then identify garment and recognize its pose; (2) using a manipulation strategy, regrasp the object to put it into a canonical state; (3) scan the surface of the object to find wrinkles, and use an iron to remove the wrinkles; (4) starting from the wrinkle-free state, fold the garment according to pre-planned sequence of manipulations with optimized trajectories; In this thesis, we will address all the phases of this process. A key contribution of the work is innovative use of simulation. We use offline simulation results to predict states of deformable objects (i.e. cloth, fabric, clothing) that are then recognized by a robotic vision/grasping system to correctly pick up and manipulate these objects. The recognition will use the simulation engine to deform the models in real time to find correct matches. The simulation will also be used to find the optimized trajectories for the manipulation of the garments, such as the garment folding