Projected Augmented Reality to Drive Osteotomy Surgery: Implementation and Comparison With Video See-Through Technology

In recent years, the spreading of visual augmented reality as an effective tool in image-guided surgery, has stimulated the research community to investigate the use of commercial augmented reality headsets a broad range of potential applications. This aroused enthusiasm among clinicians for the potential of augmented reality, but also revealed some technological and human-factor limitations that still hinder its routine adoption in the operating room. In this work, we propose an alternative to head-mounted displays, based on projected augmented reality. Projected augmented reality completely preserves the surgeon’s natural view of the operating field, because it requires no perspective conversion and/or optical mediation. We selected a cranio-maxillofacial surgery application as a benchmark to test the proposed system and compare its accuracy with the one obtained with a video see-through system. The augmented reality overlay accuracy was evaluated by measuring the distance between a virtual osteotomy line and its real counterpart. The experimental tests showed that the accuracy of the two augmented reality modes is similar, with a median error discrepancy of about 0.3 mm for the projected augmented reality mode. Results suggest that projected augmented reality can be a valuable alternative to standard see-through head-mounted displays to support in-situ visualization of medical imaging data as surgical guidance

Semiautonomous Robotic Manipulator for Minimally Invasive Aortic Valve Replacement

Aortic valve surgery is the preferred procedure for replacing a damaged valve with an artificial one. The ValveTech robotic platform comprises a flexible articulated manipulator and surgical interface supporting the effective delivery of an artificial valve by teleoperation and endoscopic vision. This article presents our recent work on force-perceptive, safe, semiautonomous navigation of the ValveTech platform prior to valve implantation. First, we present a force observer that transfers forces from the manipulator body and tip to a haptic interface. Second, we demonstrate how hybrid forward/inverse mechanics, together with endoscopic visual servoing, lead to autonomous valve positioning. Benchtop experiments and an artificial phantom quantify the performance of the developed robot controller and navigator. Valves can be autonomously delivered with a 2.0±0.5 mm position error and a minimal misalignment of 3.4±0.9°. The hybrid force/shape observer (FSO) algorithm was able to predict distributed external forces on the articulated manipulator body with an average error of 0.09 N. FSO can also estimate loads on the tip with an average accuracy of 3.3%. The presented system can lead to better patient care, delivery outcome, and surgeon comfort during aortic valve surgery, without requiring sensorization of the robot tip, and therefore obviating miniaturization constraints.</p

Robust laparoscopic instruments tracking using colored strips

To assist surgeons in the acquisition of the required skills for the proper execution of the laparoscopic procedure, surgical simulators are used. During training with simulators it is useful to provide a surgical performance quantitative evaluation. Recent research works showed that such evaluation can be obtained by tracking the laparoscopic instruments, using only the images provided by the laparoscope and without hindering the surgical scene. In this work the state of the art method is improved so that a robust tracking can run even with the noisy background provided by realistic simulators. The method was validated by comparison with the tracking of a â\u80\u9cchess-boardâ\u80\u9d pattern and following tests were performed to check the robustness of the developed algorithm. Despite the noisy environment, the implemented method was found to be able to track the tip of the surgical instrument with a good accuracy compared to the other studies in the literature

Valutazione della performance chirurgica mediante elaborazione delle immagini laparoscopiche

Negli ultimi decenni la chirurgia laparoscopica si è rivelata una valida alternativa alle tecniche in chirurgia tradizionale aperta per il trattamento di varie patologie a livello addominale. Rispetto alla chirurgia tradizionale la laparoscopia risulta meno invasiva per il paziente, che risentirà in maniera inferiore del dolore post-operatorio, potrà inoltre alimentarsi ed essere dimesso dopo solo 24-48 ore dall'intervento. La tecnica laparoscopica ha però introdotto nuove sfide per i chirurghi, che vedono i propri movimenti limitati dall'effetto fulcro sullo strumentario, si trovano a dover operare in assenza di feedback tattile e visualizzano il campo operatorio attraverso le immagini acquisite da una telecamera riprodotte su un monitor. Tali limitazioni impongono ai novizi di sottoporsi a un complesso e lungo periodo di apprendimento. Il tradizionale metodo d’insegnamento, che prevede di osservare e assistere il chirurgo esperto nelle operazioni, è ancor meno efficace nel caso della laparoscopia: da una parte l'apprendista ha bisogno di sperimentare in prima persona le difficoltà della tecnica, dall'altra il chirurgo supervisore non ha il controllo del campo operatorio e non può intervenire con rapidità nel caso in cui insorgano problemi. E’ quindi indispensabile lo sviluppo di nuove metodologie di insegnamento che superino i limiti del metodo tradizionale e permettano di affrontare in sicurezza, senza ripercussioni sul paziente, quantomeno le prime fasi dell’apprendimento. Da questa idea nascono i simulatori chirurgici, tramite i quali è possibile allenare il novizio affinché apprenda la manualità e la coordinazione occhio-mano necessaria alla corretta esecuzione dell’intervento. In questo contesto si colloca il simulatore di colecistectomia che è in fase di sviluppo presso il Centro EndoCAS per la chirurgia assistita dal calcolatore dell’Università di Pisa. Il simulatore è di tipo ibrido. Vi sono repliche fisiche di alcune parti anatomiche dell’addome e al contempo mette a disposizione dell'utente funzionalità con tecniche di realtà aumentata. L’intento di questa funzionalità è offrire un aiuto ai novizi nelle primissime fasi dell’apprendimento per l'identificazione e la dissezione delle strutture individuate dal triangolo di Calot, il passaggio più complesso dell’intervento di colecistectomia. Nell’intorno del triangolo di Calot si trovano vasi e vie biliari da isolare (dal tessuto connettivo nel quale sono immersi) per poter poi procedere al loro isolamento prima di rimuovere la colecisti. Nel simulatore i vasi e le vie biliari possiedono un nucleo tubolare in Nitinol tramite cui si realizza il rilevamento elettrico del contatto accidentale con lo strumento chirurgico. Tali strutture sono dotate di sensori tracciabili tramite un localizzatore elettromagnetico al fine di permettere la loro visualizzazione in realtà aumentata anche quando queste sono nascoste all’interno del tessuto connettivo. L’obiettivo di questa tesi è dotare il simulatore di un modulo per acquisire dati che permettano la valutazione della performance del chirurgo. E' noto che, indipendentemente dallo specifico task chirurgico, i parametri più significativi sono: → Esito dell’esercizio → Il tempo di esecuzione dell'operazione → La lunghezza del tragitto percorso dagli strumenti chirurgici → La fluidità del movimento, identificata dal jerk, definito come: → Il tempo in cui gli strumenti chirurgici rimangono fuori dal campo di vista della telecamera Ad eccezione dei primi due indicatori (esito dell’esercizio e tempo di esecuzione), per ottenere gli altri parametri è necessario stimare la traiettoria degli strumenti chirurgici. Il simulatore è dotato di due dispositivi in grado di determinare la traiettorie degli strumenti: il localizzatore elettromagnetico ed il laparoscopio tramite il quale sono acquisite le immagini all’interno dell’addome simulato. Poiché durante l’intervento un’ampia porzione degli strumenti è sempre visibile, si è scelto di eseguire un tracking ottico dalle immagini riprese dall'endoscopio. A questo fine è stato utilizzato come marker una banda colorata realizzata con vernice fluorescente applicata sullo stelo dei 2 strumenti chirurgici. Si è quindi sfruttata la forma cilindrica degli strumenti per risalire a posizione e orientamento dei marker. Dalla conoscenza della posizione relativa della punta dello strumento rispetto al marker è stato possibile tracciarne gli spostamenti. Il metodo è stato ispirato dal lavoro di Lukas at all (“An integrated approach to endoscopic instrument tracking for augmented reality applications in surgical simulation training”) con l'introduzione di una serie di modifiche necessarie per il corretto funzionamento in un ambiente di lavoro realistico, costituito da riproduzioni fedeli degli organi. Il software è stato implementato in linguaggio C++ e ha fatto uso delle librerie OpenCV per effettuare il processing delle immagini endoscopiche. Il metodo di tracking così sviluppato, è stato validato tramite confronto con il tracking di un più classico ed ingombrante (per gli scopi di questa tesi) marker strutturato “a griglia”, comunemente utilizzato in applicazioni di realtà aumentata. Successivamente sono state effettuate delle prove, che hanno visto coinvolti due chirurghi nel task di legatura del dotto cistico, per verificare la robustezza dell’algoritmo sviluppato e la qualità delle misure ottenute per la valutazione della performance dell’utente. Il modulo software sviluppato permetterà di ottenere una valutazione della performance chirurgica in base ai parametri sopra esposti. Questo potrà essere utilizzato ad esempio per determinare se gli specializzandi abbiano ottenuto un grado di competenza adeguato ad operare sui pazienti. Poiché il tracking viene effettuato in real-time, sarà inoltre possibile utilizzare i dati relativi alla posizione degli strumenti per introdurre nuove funzionalità. Ad esempio per mostrare in realtà aumentata un’emorragia nella giusta posizione a seguito della lesione di un vaso sanguigno

Machine vision and augmented reality unconventional solutions for clinical applications

L'obiettivo di ricerca di questa tesi consiste nel dimostrare la fattibilità di andare oltre gli schemi consolidati per il tracking e la visualizzazione utilizzando telecamere e proiettori miniaturizzati corredati di appropriati metodi di visione artificiale. L'approccio standard per il tracking, che prevede l'uso di dispositivi esterni completamente dedicati a questo scopo, limita la gamma di funzionalità che possono essere offerte. Tali funzionalità sono state dimostrate nello sviluppo e implementazione di un navigatore chirurgico per un robot articolato a tre occhi per la sostituzione della valvola aortica e nello sviluppo e implementazione di un dispositivo di valutazione dello stato di guarigione delle ulcere dotato di funzionalità di realtà aumentata. Inoltre, ho esplorato l'uso della realtà aumentata proiettata come metodo di visualizzazione non convenzionale per la chirurgia, dimostrando che, se usata correttamente, può guidare compiti manuali proprio come i visori indossabili, offrendo al contempo numerosi vantaggi percettivi. Attraverso il mio lavoro, ho dimostrato che l'elaborazione di immagini da due o più telecamere e l'uso di metodi di visualizzazione alternativi possono consentire l'implementazione di sistemi di chirurgia assistita dal computer anche in applicazioni particolarmente difficili, portare miglioramenti anche in applicazioni cliniche e aggiungere nuove funzionalità che non sarebbero altrimenti possibili attraverso approcci tradizionali. The research aim of this thesis is to demonstrate the feasibility of moving beyond the traditional schemes for tracking and visualization by using miniaturized cameras and projectors equipped with appropriate computer vision methods. The standard approach for tracking, which involves the use of external devices completely dedicated to this scope, limits the range of functionalities that can be offered. Such functionalities have been demonstrated in the development and implementation of a surgical navigator for a three-eyed articulated robot for aortic valve replacement and in the development and implementation of wound healing assessment device with augmented reality functionalities. In addition, I explored the use of projected augmented reality as an unconventional visualization method for surgery, demonstrating that, if used properly, it can guide manual tasks just like head mounted displays, while offering numerous perceptual benefits. Through my work, I have shown that image processing from two or more cameras and the use of alternative visualization methods can enable the implementation of computer-assisted surgery systems even in challenging scenarios, bring improvements also in clinical applications and add new functionality that would not otherwise be possible through traditional approaches

Ambiguity-Free Optical–Inertial Tracking for Augmented Reality Headsets

The increasing capability of computing power and mobile graphics has made possible the release of self-contained augmented reality (AR) headsets featuring efficient head-anchored tracking solutions. Ego motion estimation based on well-established infrared tracking of markers ensures sufficient accuracy and robustness. Unfortunately, wearable visible-light stereo cameras with short baseline and operating under uncontrolled lighting conditions suffer from tracking failures and ambiguities in pose estimation. To improve the accuracy of optical self-tracking and its resiliency to marker occlusions, degraded camera calibrations, and inconsistent lighting, in this work we propose a sensor fusion approach based on Kalman filtering that integrates optical tracking data with inertial tracking data when computing motion correlation. In order to measure improvements in AR overlay accuracy, experiments are performed with a custom-made AR headset designed for supporting complex manual tasks performed under direct vision. Experimental results show that the proposed solution improves the head-mounted display (HMD) tracking accuracy by one third and improves the robustness by also capturing the orientation of the target scene when some of the markers are occluded and when the optical tracking yields unstable and/or ambiguous results due to the limitations of using head-anchored stereo tracking cameras under uncontrollable lighting conditions

Hybrid Spine Simulator Prototype for X-ray Free Pedicle Screws Fixation Training

Simulation for surgical training is increasingly being considered a valuable addition to traditional teaching methods. 3D-printed physical simulators can be used for preoperative planning and rehearsal in spine surgery to improve surgical workflows and postoperative patient outcomes. This paper proposes an innovative strategy to build a hybrid simulation platform for training of pedicle screws fixation: the proposed method combines 3D-printed patient-specific spine models with augmented reality functionalities and virtual X-ray visualization, thus avoiding any exposure to harmful radiation during the simulation. Software functionalities are implemented by using a low-cost tracking strategy based on fiducial marker detection. Quantitative tests demonstrate the accuracy of the method to track the vertebral model and surgical tools, and to coherently visualize them in either the augmented reality or virtual fluoroscopic modalities. The obtained results encourage further research and clinical validation towards the use of the simulator as an effective tool for training in pedicle screws insertion in lumbar vertebra

Head-Mounted Projector for Manual Precision Tasks: Performance Assessment

The growing interest in augmented reality applications has led to an in-depth look at the performance of head-mounted displays and their testing in numerous domains. Other devices for augmenting the real world with virtual information are presented less frequently and usually focus on the description of the device rather than on its performance analysis. This is the case of projected augmented reality, which, compared to head-worn AR displays, offers the advantages of being simultaneously accessible by multiple users whilst preserving user awareness of the environment and feeling of immersion. This work provides a general evaluation of a custom-made head-mounted projector for the aid of precision manual tasks through an experimental protocol designed for investigating spatial and temporal registration and their combination. The results of the tests show that the accuracy (0.6±0.1 mm of spatial registration error) and motion-to-photon latency (113±12 ms) make the proposed solution suitable for guiding precision tasks

Valvetech: a Novel Robotic Approach for Minimally Invasive Aortic Valve Replacement

Objective: Aortic valve disease is the most common heart disease in the elderly calling for replacement with an artificial valve. The presented surgical robot aims to provide a highly controllable instrument for efficient delivery of an artificial valve by the help of integrated endoscopic vision. Methods: A robot (called ValveTech), intended for minimally-invasive surgery (MIS) and consisting of a flexible cable driven manipulator, a passive arm, and a control unit has been designed and prototyped. The flexible manipulator has several features (e.g. stabilizing flaps, tiny cameras, dexterous introducer and custom cartridge) to help the proper valve placement. It provides 5 degrees of freedom for reaching the operative site via mini-thoracotomy; it adjusts the valve and expands it at the optimal position. The robot was evaluated by ten cardiac surgeons following a real surgical scenario in artificial chest simulator with an aortic mockup. Moreover, after each delivery, the expanded valve was evaluated objectively in comparison with the ideal position. Results: The robot performances were evaluated positively by surgeons. The trials resulted in faster delivery and an average misalignment distance of 3.8 mm along the aorta axis; 16.3 degrees rotational angle around aorta axis and 8.8 degrees misalignment of the valve commissure plane to the ideal plane were measured. Conclusion: The trials successfully proved the proposed system for valve delivery under endoscopic vision. Significance: The ValveTech robot can be an alternative solution for minimally invasive aortic valve surgery and improve the quality of the operation both for surgeons and patients