Detección, mediante un guante sensorizado, de movimientos seleccionados en un sistema robotizado colaborativo para HALS

[Resumen] El uso de robots ha permitido importantes progresos en el campo de la cirugía laparoscópica convencional. Sin embargo, se ha prestado poca atención a la cirugía laparoscópica asistida a mano, una cirugía en la que el cirujano introduce la mano no dominante en el abdomen del paciente. El riesgo de colisión entre la mano del cirujano y la herramienta movida por el robot es un problema que ha de abordarse. También ha habido un creciente interés en los wearables, lo que nos lleva a la aplicación de un guante sensorizado que colabora con un robot en este tipo de cirugía. El objetivo de este trabajo es analizar la información proporcionada por un guante sensorizado de los movimientos de la mano del cirujano para determinar las acciones que llevará a cabo el robot colaborativo. La inclusión de un guante quirúrgico sensorizado en cirugía laparoscópica asistida por la mano (Hand Assisted Laparoscopic Surgery, HALS) dentro de un sistema colaborativo robotizado permitiría enviar información sobre movimientos específicamente seleccionados realizados por la mano del cirujano durante la intervención. Para ello han de definirse de forma unívoca ciertos movimientos de la mano que se han de identificar online para que el robot colaborativo realice las actividades pertinentesMinisterio de Economía y Competitividad; DPI2013-47196-C3-3-

Dynamic Gesture Recognition Using a Smart Glove in Hand-Assisted Laparoscopic Surgery

This paper presents a methodology for movement recognition in hand-assisted laparoscopic surgery using a textile-based sensing glove. The aim is to recognize the commands given by the surgeon’s hand inside the patient’s abdominal cavity in order to guide a collaborative robot. The glove, which incorporates piezoresistive sensors, continuously captures the degree of flexion of the surgeon’s fingers. These data are analyzed throughout the surgical operation using an algorithm that detects and recognizes some defined movements as commands for the collaborative robot. However, hand movement recognition is not an easy task, because of the high variability in the motion patterns of different people and situations. The data detected by the sensing glove are analyzed using the following methodology. First, the patterns of the different selected movements are defined. Then, the parameters of the movements for each person are extracted. The parameters concerning bending speed and execution time of the movements are modeled in a prephase, in which all of the necessary information is extracted for subsequent detection during the execution of the motion. The results obtained with 10 different volunteers show a high degree of precision and recall

Design and development of simulated signals of brain activity for endoscopic endonasal surgery

En el presente trabajo se describe el diseño de un simulador de la actividad cerebral para cirugía endonasal mediante señales EEG, las cuales se generan en distintas posiciones de un modelo de cavidad intracraneal. Las mediciones son obtenidas mediante una sonda que podrá ser manejada por un neurocirujano en prácticas, o bien por un robot autónomo que localice el sensor en los puntos de interés. Con esta información, se propone el desarrollo de un generador del mapa neurológico que muestre y clasifique de forma gráfica la actividad cerebral del paciente. Para la realización de este trabajo se va a emplear como dispositivos hardware un Arduino Mega ADK y un circuito eléctrico a través del cual el neurocirujano o el robot autónomo medirán las señales EEG modeladas. Como paquetes de software se ha empleado Matlab para la generación y procesado de señales EEG, así como el sistema ROS para las comunicaciones entre Arduino/Matlab. De este modo, el sistema desarrollado pueda integrarse en la plataforma robótica del grupo de Robótica Médica del departamento de Ingeniería de Sistemas y Automática, que ya dispone de una arquitectura basada en ROS. El trabajo concluye con la presentación de resultados experimentales para, por un lado, validar las señales generadas con el simulador, y por otro lado verificar la precisión obtenida por el algoritmo de clasificación de las señales EEG que permite presentar de forma gráfica el mapa de la actividad cerebral

Smart Navigation in Surgical Robotics

La cirugía mínimamente invasiva, y concretamente la cirugía laparoscópica, ha supuesto un gran cambio en la forma de realizar intervenciones quirúrgicas en el abdomen. Actualmente, la cirugía laparoscópica ha evolucionado hacia otras técnicas aún menos invasivas, como es la cirugía de un solo puerto, en inglés Single Port Access Surgery. Esta técnica consiste en realizar una única incisión, por la que son introducidos los instrumentos y la cámara laparoscópica a través de un único trocar multipuerto. La principal ventaja de esta técnica es una reducción de la estancia hospitalaria por parte del paciente, y los resultados estéticos, ya que el trocar se suele introducir por el ombligo, quedando la cicatriz oculta en él. Sin embargo, el hecho de que los instrumentos estén introducidos a través del mismo trocar hace la intervención más complicada para el cirujano, que necesita unas habilidades específicas para este tipo de intervenciones. Esta tesis trata el problema de la navegación de instrumentos quirúrgicos mediante plataformas robóticas teleoperadas en cirugía de un solo puerto. En concreto, se propone un método de navegación que dispone de un centro de rotación remoto virtual, el cuál coincide con el punto de inserción de los instrumentos (punto de fulcro). Para estimar este punto se han empleado las fuerzas ejercidas por el abdomen en los instrumentos quirúrgicos, las cuales han sido medidas por sensores de esfuerzos colocados en la base de los instrumentos. Debido a que estos instrumentos también interaccionan con tejido blando dentro del abdomen, lo cual distorsionaría la estimación del punto de inserción, es necesario un método que permita detectar esta circunstancia. Para solucionar esto, se ha empleado un detector de interacción con tejido basado en modelos ocultos de Markov el cuál se ha entrenado para detectar cuatro gestos genéricos. Por otro lado, en esta tesis se plantea el uso de guiado háptico para mejorar la experiencia del cirujano cuando utiliza plataformas robóticas teleoperadas. En concreto, se propone la técnica de aprendizaje por demostración (Learning from Demonstration) para generar fuerzas que puedan guiar al cirujano durante la resolución de tareas específicas. El método de navegación propuesto se ha implantado en la plataforma quirúrgica CISOBOT, desarrollada por la Universidad de Málaga. Los resultados experimentales obtenidos validan tanto el método de navegación propuesto, como el detector de interacción con tejido blando. Por otro lado, se ha realizado un estudio preliminar del sistema de guiado háptico. En concreto, se ha empleado una tarea genérica, la inserción de una clavija, para realizar los experimentos necesarios que permitan demostrar que el método propuesto es válido para resolver esta tarea y otras similares

Supernumerary Robotic Arm for Three-Handed Surgical Application: Behavioral Study and Design of Human-Machine Interface

In surgical to industrial manipulation, the operator needs assistance for tasks requiring more than two hands. Teamwork may be the source of errors and inefficiency, especially if the assistant is a novice or unfamiliar with the main operator. The need for assistance may become problematic in case of lack of human resources e.g. in emergency surgical cases in the late hours of the night. Our objective is to improve the surgeon's autonomy and dexterity by a robotic arm under his own control. Although a number of robotic instrument holders have been developed, the best way to control such devices is still an open question. No behavioral study has been conducted on the best control strategy and human performance in three-handed tasks. We have selected the foot for commanding the third arm on the basis of a literature review. A series of experiments in virtual environments has been conducted to study the feasibility of this choice. The first experiment compares performance in the same task using two or three hands. Results show that three-handed manipulation is preferred to two-handed manipulation in demanding tasks. The second experiment investigated the type of tasks to be aimed in three-handed manipulation and the learning curve of users. Moving the hands and a foot simultaneously in opposite directions was perceived as difficult compared to a more active task with liberty in choosing the limbs coordination. Limbs were moved in parallel rather than serially. The performance improved within a few minutes of practice. Also, the sense of ownership improved constantly during the experiment. Two other experiments were aimed at handling the endoscope in laparoscopic surgery. Surgeons and medical students participated in these studies. Residents had a more positive approach towards foot usage and performed better compared to more experienced surgeons. This proves that the best training period for surgeons to use a foot controlled robotic arm is during their residency. A realistic virtual abdominal cavity has been developed for the last experiment. This had a positive influence on the participants' performance and emphasizes the importance of using a familiar context for training such a "three-handed surgery". Finally, two different foot interfaces were developed to investigate the most intuitive third arm commanding strategy. A robotic arm is hence controlled by the foot's translation or rotation in one interface (isotonic interface), and by force or torque in the other one (isometric interface). An experimental behavioral study was conducted to compare the two devices. Isometric rate control was preferred to isotonic position control due to the lower physical burden and higher movement accuracy of the robot. It was shown that the proposed device for isometric rate control could be used for intuitive control of four DoFs of a slave robotic arm. This thesis is the first step in a systematic investigation of a three-handed manipulation, two biological hands and a foot controlled robotic assistant. Findings suggest a high potential in using the foot to become more autonomous in surgery as well as other fields. Users can learn the control paradigm in a short period of time with little mental and physical burden. We expect the developed foot interfaces to be the basis of future development of more intuitive control interfaces. We believe that foot controlled robotic arms will be commonly used in various surgical as well as industrial applications

Manipulador aéreo con brazos antropomórficos de articulaciones flexibles

[Resumen] Este artículo presenta el primer robot manipulador aéreo con dos brazos antropomórficos diseñado para aplicarse en tareas de inspección y mantenimiento en entornos industriales de difícil acceso para operarios humanos. El robot consiste en una plataforma aérea multirrotor equipada con dos brazos antropomórficos ultraligeros, así como el sistema de control integrado de la plataforma y los brazos. Una de las principales características del manipulador es la flexibilidad mecánica proporcionada en todas las articulaciones, lo que aumenta la seguridad en las interacciones físicas con el entorno y la protección del propio robot. Para ello se ha introducido un compacto y simple mecanismo de transmisión por muelle entre el eje del servo y el enlace de salida. La estructura en aluminio de los brazos ha sido cuidadosamente diseñada de forma que los actuadores estén aislados frente a cargas radiales y axiales que los puedan dañar. El manipulador desarrollado ha sido validado a través de experimentos en base fija y en pruebas de vuelo en exteriores.Ministerio de Economía y Competitividad; DPI2014-5983-C2-1-