Development of workflow task analysis during cerebral diagnostic angiographies: Time-based comparison of junior and senior tasks

International audienceOBJECTIVE: Assessing neuroradiologists' skills in the operating room (OR) is difficult and often subjective. This study used a workflow time-based task analysis approach while performing cerebral angiography. METHODS: Eight angiographies performed by a senior neuroradiologist and eight performed by a junior neuroradiologist were compared. Dedicated software with specific terminology was used to record the tasks. Procedures were subdivided into phases, each comprising multiple tasks. Each task was defined as a triplet, associating an action, an instrument and an anatomical structure. The duration of each task was the metric. Total duration of the procedure, task duration and the number of times a task was repeated were identified. The focus was on tasks using fluoroscopy and for moving the X-ray table/tube. RESULTS: The total duration of tasks to complete the entire procedure was longer for the junior operators than for the seniors (P=0.012). The mean duration per task during the navigation phase was 86s for the juniors and 43s for the seniors (P=0.002). The total and mean durations of tasks involving the use of fluoroscopy were also longer for the juniors (P=0.002 and P=0.033, respectively). For tasks involving the table/tube, the total and mean durations were again longer for the juniors (P=0.019 and P=0.082, respectively). CONCLUSION: This approach allows reliable skill assessment in the radiology OR and comparison of junior and senior competencies during cerebral diagnostic angiography. This new tool can improve the quality and safety of procedures, and facilitate the learning process for neuroradiologists

Studies on machine learning-based aid for residency training and time difficulty in ophthalmology

兵庫県立大学大学院工学(博士)2023doctoral thesi

A Dynamical Systems Approach to Classification of Surgical Gestures in Kinematic and Video Data

In Computer Assisted Intervention (CAI) systems, a surgeon performs the surgery using an interface connected to a computer that remotely controls a set of surgical tools attached to a robot. Such systems are particularly appealing for minimally invasive surgeries since they allow for a larger and more precise set of movements than in traditional laparoscopic interventions, and provide enhanced vision capabilities such as 3D vision and augmented reality. These features directly translate into benefits for the patients such as smaller incisions, less pain and quicker healing. However, the benefits of the technology might be reduced due to the steep learning curve associated with CAI systems. This makes it necessary to account for a fair and objective criterion for the evaluation and assessment of the skills of a novice surgeon. Furthermore, it is desirable to automate the process in order to avoid constant supervision of an expert surgeon, a time consuming, subjective and rather inefficient method. It is therefore necessary to develop algorithmic methods that extract information from kinematic cues provided by the robot and video recordings of the interventions. A common approach is to divide the surgical procedure into smaller actions, forming a vocabulary able to to describe different surgical tasks. Following such an approach requires a method capable of providing temporal segmentation, recognition of the action and final skill assessment. Prior work has usually modeled the interactions between these atomic actions using generative models such as Hidden Markov Models, Factor-Analysis and Switching Linear Dynamical Systems. In this thesis, we focus on the classification problem and assume segmented data. We propose to follow a discriminative approach using Linear Dynamical Systems (LDS) to model and characterize a particular action. We develop new methods for the extraction of meaningful representations by means of averaging in the space of LDSs. These representative points are then used into a discriminative framework for surgical gesture classification. We propose a novel SVM classification method for time series of data that reduces computation at the expense of some degradation in performance. Our contributions are fairly general and can be applied to any temporal signal coming from an LDS

Surgical skill assessment using motion texture analysis

In this thesis, we propose a framework for automated assessment of surgical skills to expedite the manual assessment process and to provide unbiased evaluations with possible dexterity feedback. Evaluation of surgical skills is an important aspect in training of medical students. Current practices rely on manual evaluations from faculty and residents and are time consuming. Proposed solutions in literature involve retrospective evaluations such as watching the offline videos. It requires precious time and attention of expert surgeons and may vary from one surgeon to another. With recent advancements in computer vision and machine learning techniques, the retrospective video evaluation can be best delegated to the computer algorithms. Skill assessment is a challenging task requiring expert domain knowledge that may be difficult to translate into algorithms. To emulate this human observation process, an appropriate data collection mechanism is required to track motion of the surgeon's hand in an unrestricted manner. In addition, it is essential to identify skill defining motion dynamics and skill relevant hand locations. This Ph.D. research aims to address the limitations of manual skill assessment by developing an automated motion analysis framework. Specifically, we propose (1) to design and implement quantitative features to capture fine motion details from surgical video data, (2) to identify and test the efficacy of a core subset of features in classifying the surgical students into different expertise levels, (3) to derive absolute skill scores using regression methods and (4) to perform dexterity analysis using motion data from different hand locations.Ph.D

An application-dependent framework for the recognition of high-level surgical tasks in the OR

International audienceSurgical process analysis and modeling is a recent and important topic aiming at introducing a new generation of computer-assisted surgical systems. Among all of the techniques already in use for extracting data from the Operating Room, the use of image videos allows automating the surgeons' assistance without altering the surgical routine. We proposed in this paper an application-dependent framework able to automatically extract the phases of the surgery only by using microscope videos as input data and that can be adaptable to different surgical specialties. First, four distinct types of classifiers based on image processing were implemented to extract visual cues from video frames. Each of these classifiers was related to one kind of visual cue: visual cues recognizable through color were detected with a color histogram approach, for shape-oriented visual cues we trained a Haar classifier, for texture-oriented visual cues we used a bag-of-word approach with SIFT descriptors, and for all other visual cues we used a classical image classification approach including a feature extraction, selection, and a supervised classification. The extraction of this semantic vector for each video frame then permitted to classify time series using either Hidden Markov Model or Dynamic Time Warping algorithms. The framework was validated on cataract surgeries, obtaining accuracies of 95%

Herausforderungen bei der Prozessunterstützung im Operationssaal: Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses

Die aktuelle Gesundheitsversorgung ist geprägt durch eine steigende Komplexität, die durch die Verzahnung verschiedener medizinischer Bereiche und die Nutzung immer komplexerer, technisch unterstützter Behandlungsmöglichkeiten bedingt ist. Gleichzeitig stehen Kliniken und das medizinische Fachpersonal unter einem hohen Kosten- und Zeitdruck. Für das Erreichen einer optimalen Behandlung des Patienten durch minimalinvasive und mikrochirurgische Eingriffe sind zunehmend Ansätze notwendig, die auf eine Interoperabilität verschiedener Systeme setzen und die Verwendung von zusätzlichen (semi )automatischen Unterstützungssystemen ermöglichen. Diese Arbeit beschäftigt sich mit Herausforderungen bei der Prozessunterstützung im Operationssaal. Dabei liegt der Fokus auf der Aktivitätserfassung und Datenspeicherung als Grundlage zur Erkennung des chirurgischen Prozesses. In einem ersten Schritt wurde ein theoretisches Vorgehensmodell für die intraoperative Prozessunterstützung auf der Basis eines geschlossenen Regelkreises entwickelt. Dabei steht der chirurgische Prozess im Zentrum. In weiteren Schritten wurden ein System zur Erfassung des aktuellen Arbeitsschrittes auf Basis der vorhandenen Videodaten (z.B. Mikroskopie, Ultraschall) sowie eine zentrale Speicherlösung für den Operationssaal entwickelt. Diese zentralen Komponenten sollen es Systemen ermöglichen, während des Eingriffs Daten an die verschiedenen Nutzer bereitzustellen und diese gleichzeitig für eine spätere Dokumentation vorzuhalten. Im weiteren Verlauf der Arbeit werden Ansätze zum Erreichen einer Interoperabilität von Medizingeräten und IT-Systemen im Gesundheitswesen vorgestellt, da technische Systeme neben zusätzlicher Sensorik eine wertvolle Informationsquelle für die Erfassung des aktuellen Prozesses im Operationssaal darstellen. Im Rahmen der Arbeiten des Projektes OR.NET (BMBF, 2012-2016) wurde mit der IEEE 11073-SDC-Standardfamilie eine Möglichkeit zur offenen Vernetzung geschaffen. Konzeptionell integriert werden die Systeme durch eine Beschreibung von Mehrwertdiensten von der einfachen Anzeige von Geräteparametern bis hin zur Teilautomatisierung von technischen Arbeitsschritten auf Basis des Kommunikationsstandards IEEE11073-SDC. Diese wurden basierend auf dieser Basistechnologie gemeinsam mit verschiedenen Projektpartnern entwickelt und mit Klinikern und Klinikbetreibern evaluiert. Die Ergebnisse der Evaluation zeigen, dass durch eine syntaktische und semantische Interoperabilität neue, nutzbringende Funktionen umgesetzt und die Arbeit der verschiedenen Nutzergruppen im Gesundheitssystem effektiv unterstützt werden können.:Inhalt Abstract Abkürzungsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis 1 Einleitung 1.1 Motivation für diese Arbeit 1.2 Zielsetzung der Arbeit 2 Grundlagen der Arbeit 2.1 Aktuelle Operationssäle 2.2 Prozessunterstützung 2.2.1 Workflow und Prozessmodellierung 2.2.2 Workflow in der Medizin 2.2.3 Kontextsensitive Systeme 2.3 Klinische Anwendungsfälle im Rahmen der Arbeit 2.3.1 Intrakranielle Eingriffe am Gehirn 2.3.2 Transsphenoidale Hypophysenadenomentfernung 2.3.3 Sanierende Ohr-OP 3 Vorgehensmodell zur Prozessunterstützung 3.1 Interpretation und Action 3.2 Data analysis und Monitoring 3.3 Mögliche Herangehensweisen bei der Umsetzung einer Prozessunterstützung 4 Erfassung prozessrelevanter Daten im Operationssaal 4.1 Stand der Forschung 4.1.1 Team Assessment und Performanzüberwachung 4.1.2 OP-Dokumentation, Qualitätssicherung und Elektronische Patientenakte (EPA) 4.1.3 Workflow Recognition 4.2 Erkennung der Interaktion zwischen Medizingerät und medizinischem Personal basierend auf der Analyse von Videodaten 4.2.1 Methode 4.2.2 Evaluation 4.2.3 Diskussion 4.3 Erfassung von Informationen durch OP-Integration 4.3.1 Stand der Forschung 4.3.2 Grundlagen des Projektes OR.NET 4.3.3 Zusammenfassung 5 Datenspeicherung im Operationssaal (Surgical Data Recorder und die Erweiterungen auf Basis von OR.NET) 5.1 Surgical Data Recorder 5.1.1 Anforderungsanalyse 5.1.2 Systemkonzept 5.1.3 Evaluationsstudie 5.2 Anpassungen des Datenaufzeichnungskonzeptes im Rahmen des OR.NET-Projekts 5.3 Diskussion und Vergleich der Ansätze 6 Mehrwertdienste auf Basis einer offenen Vernetzung 6.1 Setzen von eingriffsspezifischen Informationen auf den angeschlossenen Geräten 6.2 Anzeige von Informationen im Sichtfeld des Chirurgen 6.3 Mehrwerte durch Datenintegration 6.4 Funktionen mit Nutzung von Prozessinformationen 7 Entwicklung der OP-Demonstratoren und Evaluation der implementierten Mehrwertdienste mit verschiedenen Anwendergruppen 7.1 Anforderungsanalyse für den Leipziger Demonstrator 7.2 Infrastruktur des Demonstrators 7.3 Integrationsszenarien in den Demonstratoren 7.4 Umgesetzte Mehrwertdienste im Leipziger Demonstrator 7.5 Vorgehen bei der Evaluation des Leipziger Demonstrators 7.5.1 Technische Evaluation 7.5.2 Klinische Evaluation 7.6 Ergebnisse der Evaluation 7.6.1 Technische Evaluation 7.6.2 Klinische Evaluation 7.7 Diskussion der Ergebnisse 8 Ausblick auf Weiterentwicklungen der offenen Vernetzung im Operationssaal 9 Zusammenfassung 10 Literatur 11 Anhang 11.1 Modellierung der sanierenden Ohr-OP als EPK inkl. möglicher Vernetzungsszenarien 11.2 Übersicht der umgesetzten Use-Cases im Leipziger Demonstrator 136 11.3 Fragenkatalog OP-Personal 11.4 Fragebogen Betreiber 12 Eigenständigkeitserklärung 13 Eigene Literatur 14 Danksagun