Medical robots with potential applications in participatory and opportunistic remote sensing: A review

Among numerous applications of medical robotics, this paper concentrates on the design, optimal use and maintenance of the related technologies in the context of healthcare, rehabilitation and assistive robotics, and provides a comprehensive review of the latest advancements in the foregoing field of science and technology, while extensively dealing with the possible applications of participatory and opportunistic mobile sensing in the aforementioned domains. The main motivation for the latter choice is the variety of such applications in the settings having partial contributions to functionalities such as artery, radiosurgery, neurosurgery and vascular intervention. From a broad perspective, the aforementioned applications can be realized via various strategies and devices benefiting from detachable drives, intelligent robots, human-centric sensing and computing, miniature and micro-robots. Throughout the paper tens of subjects, including sensor-fusion, kinematic, dynamic and 3D tissue models are discussed based on the existing literature on the state-of-the-art technologies. In addition, from a managerial perspective, topics such as safety monitoring, security, privacy and evolutionary optimization of the operational efficiency are reviewed

Innovative micro-NMR/MRI functionality utilizing flexible electronics and control systems

Das zentrale Thema dieser Arbeit ist die Entwicklung und Integration von flexibler Elektronik für Mikro-Magnetresonanz (MR)-Anwendungen. Zwei wichtige Anwendungen wurden in der Dissertation behandelt; eine Anwendung auf dem Gebiet der Magnetresonanztomographie (MRI) und die andere auf dem Gebiet der Kernspinresonanz (NMR). Die MRI-Anwendung konzentriert sich auf die Lösung der Sicherheits- und Zuverlässigkeitsaspekte von MR-Kathetern. Die NMR-Anwendung stellt einen neuartigen Ansatz zur Steigerung des Durchsatzes bei der NMR-Spektroskopie vor. Der erste Teil der Dissertation behandelt die verschiedenen Technologien die zur Herstellung flexibler Elektronik auf der Mikroskala entwickelt wurden. Die behandelten MR-Anwendungen erfordern die Herstellung von Induktoren, Kondensatoren und Dioden auf flexiblen Substraten. Die erste Technologie, die im Rahmen der Mikrofabrikation behandelt wird, ist das Aufbringen einer leitfähigen Startschicht auf flexiblen Substraten. Es wurden verschiedene Techniken getestet und verglichen. Die entwickelte Technologie ermöglicht die Herstellung einer mehrschichtigen leitfähigen Struktur auf einem flexiblen Substrat (50 $\mu$m Dicke), die sich zum Umwickeln eines schlanken Rohres (>0,5 mm Durchmesser) eignet. Die zweite Methode ist der Tintenstrahldruck von Kondensatoren mit hoher Dichte und niedrigem Verlustkoeffizienten. Zwei dielektrische Tinten auf Polymerbasis wurden synthetisiert, durch die Dispersion von TiO$_2$ und BaTiO$_3$ in Benzocyclobuten (BCB) Polymer. Die im Tintenstrahldruckverfahren hergestellten Kondensatoren zeigen eine relativ hohe Kapazität pro Flächeneinheit von bis zu 69 pFmm$^{-2}$ und erreichen dabei einen Qualitätsfaktor (Q) von etwa 100. Außerdem wurde eine Technik für eine tintenstrahlgedruckte gleichrichtende Schottky-Diode entwickelt. Die letzte behandelte Technologie ist die Galvanisierung der leitenden Startschichten. Die Galvanik ist eine gut erforschte Technologie und ein sehr wichtiger Prozess auf dem Gebiet der Mikrofabrikation. Sie ist jedoch in hohem Maße von der Erfahrung des Bedieners abhängig. Darüber hinaus ist eine präzise Steuerung der Galvanikleistung erforderlich, insbesondere bei der Herstellung kleiner Strukturen, wobei sich die Pulsgalvanik als ein Verfahren erwiesen hat, das ein hohes Maß an Kontrolle über die abgeschiedene Struktur bietet. In diesem Zusammenhang wurde eine hochflexible Stromquelle auf Basis einer Mikrocontroller-Einheit entwickelt, um Genauigkeit in die Erstellung optimaler Galvanikrezepte zu bringen. Die Stromquelle wurde auf Basis einer modifizierten Howland-Stromquelle (MHCS) unter Verwendung eines Hochleistungs-Operationsverstärkers (OPAMP) aufgebaut. Die Stromquelle wurde validiert und verifiziert, und ihre hohe Leistungsfähigkeit wurde durch die Durchführung einiger schwieriger Anwendungen demonstriert, von denen die wichtigste die Verbesserung der Haftung der im Tintenstrahldruckverfahren gedruckten Startschicht auf flexiblen Substraten ist. Der zweite Teil der Dissertation befasst sich mit interventioneller MRT mittels MR-Katheter. MR-Katheter haben potenziell einen erheblichen Einfluss auf den Bereich der minimalinvasiven medizinischen Eingriffe. Implantierte längliche Übertragungsleiter und Detektorspulen wirken wie eine Antenne und koppeln sich an das MR-Hochfrequenz (HF)-Sendefeld an und machen so den Katheter während des Einsatzes in einem MRT-Scanner sichtbar. Durch diese Kopplung können sich die Leiter jedoch erhitzen, was zu einer gefährlichen Erwärmung des Gewebes führt und eine breite Anwendung dieser Technologie bisher verhindert hat. Ein alternativer Ansatz besteht darin, einen Resonator an der Katheterspitze induktive mit einer Oberflächenspule außerhalb des Körpers zu koppeln. Allerdings könnte sich auch dieser Mikroresonator an der Katheterspitze während der Anregungsphase erwärmen. Außerdem ändert sich die Sichtbarkeit der Katheterspitze, wenn sich die axiale Ausrichtung des Katheters während der Bewegung ändert, und kann verloren gehen, wenn die Magnetfelder des drahtlosen Resonators und der externen Spule orthogonal sind. In diesem Beitrag wird die Abstimmkapazität des Mikrodetektors des Katheters drahtlos über eine Impulsfolgensteuerung gesteuert, die an einen HF-Abstimmkreis gesendet wird, der in eine Detektorspule integriert ist. Der integrierte Schaltkreis erzeugt Gleichstrom aus dem übertragenen HF Signal zur Steuerung der Kapazität aus der Ferne, wodurch ein intelligenter eingebetteter abstimmbarer Detektor an der Katheterspitze entsteht. Während der HF-Übertragung erfolgt die Entkopplung durch eine Feinabstimmung der Detektorbetriebsfrequenz weg von der Larmor-Frequenz. Zusätzlich wird ein neuartiges Detektordesign eingeführt, das auf zwei senkrecht ausgerichteten Mikro-Saddle-Spulen basiert, die eine konstante Sichtbarkeit des Katheters für den gesamten Bereich der axialen Ausrichtungen ohne toten Winkel gewährleisten. Das System wurde experimentell in einem 1T MRT-Scanner verifiziert. Der dritte Teil der Dissertation befasst sich mit dem Durchsatz von NMR-Spektroskopie. Flussbasierte NMR ist eine vielversprechende Technik zur Verbesserung des NMR-Durchsatzes. Eine häufige Herausforderung ist jedoch das relativ große Totvolumen im Schlauch, der den NMR-Detektor speist. In diesem Beitrag wird ein neuartiger Ansatz für vollautomatische NMR-Spektroskopie mit hohem Durchsatz und verbesserter Massensensitivität vorgestellt. Der entwickelte Ansatz wird durch die Nutzung von Mikrofluidik-Technologien in Kombination mit Dünnfilm-Mikro-NMR-Detektoren verwirklicht. Es wurde ein passender NMR-Sensor mit einem mikrofluidischen System entwickelt, das Folgendes umfasst: i) einen Mikro-Sattel-Detektor für die NMR-Spektroskopie und ii) ein Paar Durchflusssensoren, die den NMR-Detektor flankieren und an eine Mikrocontrollereinheit angeschlossen sind. Ein mikrofluidischer Schlauch wird verwendet, um eine Probenserie durch den Sondenkopf zu transportieren, die einzelnen Probenbereiche sind durch eine nicht mischbare Flüssigkeit getrennt, das System erlaubt im Prinzip eine unbegrenzte Anzahl an Proben. Das entwickelte System verfolgt die Position und Geschwindigkeit der Proben in diesem zweiphasigen Fluss und synchronisiert die NMR-Akquisition. Der entwickelte kundenspezifische Sondenkopf ist Plug-and-Play-fähig mit marktüblichen NMR-Systemen. Das System wurde erfolgreich zur Automatisierung von flussbasierten NMR-Messungen in einem 500 MHz NMR-System eingesetzt. Der entwickelte Mikro-NMR-Detektor ermöglicht hochauflösende Spektroskopie mit einer NMR-Empfindlichkeit von 2,18 nmol s$^{1/2}$ bei Betrieb der Durchflusssensoren. Die Durchflusssensoren wiesen eine hohe Empfindlichkeit bis zu einem absoluten Unterschied von 0,2 in der relativen Permittivität auf, was eine Differenzierung zwischen den meisten gängigen Lösungsmitteln ermöglichte. Es wurde gezeigt, dass eine vollautomatische NMR-Spektroskopie von neun verschiedenen 120 $\mu$L Proben innerhalb von 3,6 min oder effektiv 15,3 s pro Probe erreicht werden konnte

Surgical Subtask Automation for Intraluminal Procedures using Deep Reinforcement Learning

Intraluminal procedures have opened up a new sub-field of minimally invasive surgery that use flexible instruments to navigate through complex luminal structures of the body, resulting in reduced invasiveness and improved patient benefits. One of the major challenges in this field is the accurate and precise control of the instrument inside the human body. Robotics has emerged as a promising solution to this problem. However, to achieve successful robotic intraluminal interventions, the control of the instrument needs to be automated to a large extent. The thesis first examines the state-of-the-art in intraluminal surgical robotics and identifies the key challenges in this field, which include the need for safe and effective tool manipulation, and the ability to adapt to unexpected changes in the luminal environment. To address these challenges, the thesis proposes several levels of autonomy that enable the robotic system to perform individual subtasks autonomously, while still allowing the surgeon to retain overall control of the procedure. The approach facilitates the development of specialized algorithms such as Deep Reinforcement Learning (DRL) for subtasks like navigation and tissue manipulation to produce robust surgical gestures. Additionally, the thesis proposes a safety framework that provides formal guarantees to prevent risky actions. The presented approaches are evaluated through a series of experiments using simulation and robotic platforms. The experiments demonstrate that subtask automation can improve the accuracy and efficiency of tool positioning and tissue manipulation, while also reducing the cognitive load on the surgeon. The results of this research have the potential to improve the reliability and safety of intraluminal surgical interventions, ultimately leading to better outcomes for patients and surgeons

Control of Magnetic Continuum Robots for Endoscopy

The present thesis discusses the problem of magnetic actuation and control applied to millimetre-scale robots for endoluminal procedures. Magnetic actuation, given its remote manipulation capabilities, has the potential to overcome several limitations of current endoluminal procedures, such as the relatively large size, high sti�ness and limited dexterity of existing tools. The application of functional forces remotely facilitates the development of softer and more dexterous endoscopes, which can navigate with reduced discomfort for the patient. However, the solutions presented in literature are not always able to guarantee smooth navigation in complex and convoluted anatomical structures. This thesis aims at improving the navigational capabilities of magnetic endoluminal robots, towards achieving full autonomy. This is realized by introducing novel design, sensing and control approaches for magnetically actuated soft endoscopes and catheters. First, the application of accurate closed-loop control to a 1 Internal Permanent Magnet (IPM) endoscope was analysed. The proposed approach can guarantee better navigation capabilities, thanks to the manipulation of every mechanical Degree of Freedom (DOF) - 5 DOFs. Speci�cally, it was demonstrated that gravity can be balanced with su�cient accuracy to guarantee tip levitation. In this way contact is minimized and obstacle avoidance improved. Consequently, the overall navigation capabilities of the endoscope were enhanced for given application. To improve exploration of convoluted anatomical pathways, the design of magnetic endoscopes with multiple magnetic elements along their length was introduced. This approach to endoluminal device design can ideally allow manipulation along the full length; facilitating full shape manipulation, as compared to tip-only control. To facilitate the control of multiple magneto-mechanical DOFs along the catheters' length, a magnetic actuation method was developed based on the collaborative robotic manipulation of 2 External Permanent Magnets (EPMs). This method, compared to the state-of-the-art, facilitates large workspace and applied �eld, while guaranteeing dexterous actuation. Using this approach, it was demonstrated that it is possible to actuate up to 8 independent magnetic DOFs. In the present thesis, two di�erent applications are discussed and evaluated, namely: colonoscopy and navigational bronchoscopy. In the former, a single-IPM endoscopic approach is utilized. In this case, the anatomy is large enough to permit equipping the endoscope with a camera; allowing navigation by direct vision. Navigational bronchoscopy, on-the-other-hand, is performed in very narrow peripheral lumina, and navigation is informed via pre-operative imaging. The presented work demonstrates how the design of the magnetic catheters, informed by a pre-operative Computed Tomography (CT) scan, can mitigate the need for intra-operative imaging and, consequently, reduce radiation exposure for patients and healthcare workers. Speci�cally, an optimization routine to design the catheters is presented, with the aim of achieving follow-the-leader navigation without supervision. In both scenarios, analysis of how magnetic endoluminal devices can improve the current practice and revolutionize the future of medical diagnostics and treatment is presented and discussed

Challenges of continuum robots in clinical context: a review

With the maturity of surgical robotic systems based on traditional rigid-link principles, the rate of progress slowed as limits of size and controllable degrees of freedom were reached. Continuum robots came with the potential to deliver a step change in the next generation of medical devices, by providing better access, safer interactions and making new procedures possible. Over the last few years, several continuum robotic systems have been launched commercially and have been increasingly adopted in hospitals. Despite the clear progress achieved, continuum robots still suffer from design complexity hindering their dexterity and scalability. Recent advances in actuation methods have looked to address this issue, offering alternatives to commonly employed approaches. Additionally, continuum structures introduce significant complexity in modelling, sensing, control and fabrication; topics which are of particular focus in the robotics community. It is, therefore, the aim of the presented work to highlight the pertinent areas of active research and to discuss the challenges to be addressed before the potential of continuum robots as medical devices may be fully realised

Ambient Intelligence for Next-Generation AR

Next-generation augmented reality (AR) promises a high degree of context-awareness - a detailed knowledge of the environmental, user, social and system conditions in which an AR experience takes place. This will facilitate both the closer integration of the real and virtual worlds, and the provision of context-specific content or adaptations. However, environmental awareness in particular is challenging to achieve using AR devices alone; not only are these mobile devices' view of an environment spatially and temporally limited, but the data obtained by onboard sensors is frequently inaccurate and incomplete. This, combined with the fact that many aspects of core AR functionality and user experiences are impacted by properties of the real environment, motivates the use of ambient IoT devices, wireless sensors and actuators placed in the surrounding environment, for the measurement and optimization of environment properties. In this book chapter we categorize and examine the wide variety of ways in which these IoT sensors and actuators can support or enhance AR experiences, including quantitative insights and proof-of-concept systems that will inform the development of future solutions. We outline the challenges and opportunities associated with several important research directions which must be addressed to realize the full potential of next-generation AR.Comment: This is a preprint of a book chapter which will appear in the Springer Handbook of the Metavers