Gesture KINECT capture system for virtual surgical robots manipulation

Abstract

Este artículo presenta la aplicación de un sistema de captura de gestos con el fin de manipular dos robots quirúrgicos virtuales. El sistema de captura de gestos se realiza por medio de un dispositivo Kinect, el cual detecta el movimiento de las manos del usuario con el fin de mover los robots quirúrgicos, y de su rodilla derecha, utilizada para cambiar los instrumentos quirúrgicos de cada robot. Este sistema de captura con interfaz natural se prueba en un simulador quirúrgico para operaciones de laparoscopia, el cual consta de un robot porta endoscopio que se manipula con un joystick, y los dos robots quirúrgicos cuyos órganos terminales son guiados a partir de las señales captadas por el dispositivo Kinect, las cuales son transformadas en movimientos articulares de los robots debido al modelo cinemático. El sistema se prueba en una rutina de extracción de vesícula (colecistectomía) robotizada, permitiendo al usuario un mejor manejo gracias al uso de esta interfaz natural.This article  presents  a  gesture  capture  system  for manipulating two virtual surgical robots. Gesture capture uses Kinect  device  to  detect  the  movement  of  the  user ́s  hand  to move  the  surgical  robots,  and  his  right  knee  to  change  the needed  surgical  tools.  This  natural interface  capture  system is  proved  on  a  surgical  simulator  for  laparoscopic,  that  has  a holder endoscopic robot manipulated by a joystick, and two surgical  robots  that  are  guided  by  the  Kinect  device.  Kinematics model is used to transform Kinect captured signals to articular movements for the robots. System is tested on a robotic cholecystectomy, allowing a more natural manipulation to the user

    Similar works