Development of a mixed-reality-based simulation environment for surgical team training

Introduction Simulators are becoming increasingly important in medical education, and the adaptation of virtual reality (VR)-based technology into surgical simulation environments offers many advantages. However, the implementation of VR simulators in the field of spinal interventions has been low so far. In addition, the majority of available simulators are aimed at training individual users and their technical skills instead of at teams and their non-technical skills. The goal of our research project and this doctoral thesis was to develop a simulation environment for the training and assessment of spine surgery that can train both individual users and surgical teams in both technical and non-technical skills. Methods A variety of methods were used for this multi-step developmental process. As a first step, a systematic review was performed in order to give an accurate overview and synthesis of the current state of VR simulation in the field of spinal procedures (publication 1). This was followed by observations, interviews, and expert panels to gather information and requirements for the simulation environment of a vertebroplasty procedure (publication 2). As a next step, a simulation study was conducted to test the validity of the simulated procedure (publication 3). For this purpose, think-aloud protocols, user questionnaires, and expert ratings were applied. Results In the systematic review, the current state of VR-based simulation in the area of spinal interventions was shown and the current evidence base was systematically synthesized. In publication 2, the individual steps of a vertebroplasty for the three participating surgical professions were systematically elicited and a novel method for the specification of simulation requirements was introduced. In publication 3, we presented a newly developed classification system that systematically categorized the surgeon’s comments expressed during the operation of the surgical simulator. Conclusions Development projects like the one presented here are necessary to create new medical learning environments. Our work provides developers with tools for similar projects. In addition, we have developed a fully functional simulation environment designed for vertebroplasty training and assessment of surgical teams to train surgeons, anesthetists, and nurses.Einleitung Simulatoren gewinnen immer mehr an Bedeutung in der medizinischen Ausbildung. Besonders die Ergänzung von Virtual Reality (VR) in die Simulationsumgebungen bringt viele Vorteile mit sich. Allerdings ist die Verbreitung von VR Simulatoren im Bereich der Wirbelsäulenchirurgie bisher gering. Außerdem zielt das Gros der verfügbaren Simulatoren auf das Training von Einzelanwendern und deren technische Fähigkeiten, nicht jedoch auf Teams und deren nicht-technische Fähigkeiten. Das Ziel unseres Forschungsvorhabens und dieser Doktorarbeit war es, eine Simulationsumgebung für das Training und Assessment eines Wirbelsäuleneingriffes zu entwickeln, in der sowohl technische als auch nicht-technische Fähigkeiten von Einzelanwendern und chirurgischen Teams trainiert werden können. Methoden Für den Entwicklungsprozess kam eine Vielzahl an Methoden zur Anwendung. Als erster Schritt wurde eine systematische Aufarbeitung der bisherigen Veröffentlichungen zu VR-Simulatoren für Wirbelsäuleneingriffe durchgeführt (Publikation 1). Für Publikation 2 kamen Beobachtungen, Interviews und ein Expertenpanel zum Einsatz, um Informationen und Voraussetzungen für eine Simulationsumgebung zu definieren. Daraufhin wurde in Publikation 3 eine Nutzerstudie auf der Basis von Think-aloud-Protokollen, Nutzerfragebögen und Bewertungen durch Experten durchgeführt, um die Validität der simulierten Prozedur zu testen. Ergebnisse In der systematischen Literaturübersicht (Publikation 1) wurde der aktuelle Stand der Simulation im Bereich Wirbelsäuleneingriffe abgebildet. In der Publikation 2, wurden die einzelnen Schritte einer Vertebroplastie für die drei beteiligten chirurgischen Professionen systematisch erhoben und ein neues Verfahren zur Durchführung von Anforderungsanalysen von medizinischen Simulatoren vorgestellt. Ein weiteres Ergebnis, welches in Publikation 3 präsentiert wird, war die Entwicklung eines neuen Klassifikationssytems, um Kommentare von Chirurgen während der Simulatornutzung zu kategorisieren. Schlussfolgerungen Entwicklungsprojekte, wie dieses hier, sind notwendig, um neue medizinische Lernumgebungen zu erstellen. Unsere Arbeit hat dabei geholfen, Entwicklern Werkzeuge für ähnliche Projekte zur Verfügung zu stellen. Außerdem haben wir eine voll funktionstüchtige Simulationsumgebung entwickelt, die für das Training und Assessment von chirurgischen Teams anhand der Vertebroplastie bestimmt ist und Chirurgen, Anästhesisten und Pflegekräfte gemeinsam schulen wird

Development of a mixed-reality-based simulation environment for surgical team training

Introduction Simulators are becoming increasingly important in medical education, and the adaptation of virtual reality (VR)-based technology into surgical simulation environments offers many advantages. However, the implementation of VR simulators in the field of spinal interventions has been low so far. In addition, the majority of available simulators are aimed at training individual users and their technical skills instead of at teams and their non-technical skills. The goal of our research project and this doctoral thesis was to develop a simulation environment for the training and assessment of spine surgery that can train both individual users and surgical teams in both technical and non-technical skills. Methods A variety of methods were used for this multi-step developmental process. As a first step, a systematic review was performed in order to give an accurate overview and synthesis of the current state of VR simulation in the field of spinal procedures (publication 1). This was followed by observations, interviews, and expert panels to gather information and requirements for the simulation environment of a vertebroplasty procedure (publication 2). As a next step, a simulation study was conducted to test the validity of the simulated procedure (publication 3). For this purpose, think-aloud protocols, user questionnaires, and expert ratings were applied. Results In the systematic review, the current state of VR-based simulation in the area of spinal interventions was shown and the current evidence base was systematically synthesized. In publication 2, the individual steps of a vertebroplasty for the three participating surgical professions were systematically elicited and a novel method for the specification of simulation requirements was introduced. In publication 3, we presented a newly developed classification system that systematically categorized the surgeon’s comments expressed during the operation of the surgical simulator. Conclusions Development projects like the one presented here are necessary to create new medical learning environments. Our work provides developers with tools for similar projects. In addition, we have developed a fully functional simulation environment designed for vertebroplasty training and assessment of surgical teams to train surgeons, anesthetists, and nurses.Einleitung Simulatoren gewinnen immer mehr an Bedeutung in der medizinischen Ausbildung. Besonders die Ergänzung von Virtual Reality (VR) in die Simulationsumgebungen bringt viele Vorteile mit sich. Allerdings ist die Verbreitung von VR Simulatoren im Bereich der Wirbelsäulenchirurgie bisher gering. Außerdem zielt das Gros der verfügbaren Simulatoren auf das Training von Einzelanwendern und deren technische Fähigkeiten, nicht jedoch auf Teams und deren nicht-technische Fähigkeiten. Das Ziel unseres Forschungsvorhabens und dieser Doktorarbeit war es, eine Simulationsumgebung für das Training und Assessment eines Wirbelsäuleneingriffes zu entwickeln, in der sowohl technische als auch nicht-technische Fähigkeiten von Einzelanwendern und chirurgischen Teams trainiert werden können. Methoden Für den Entwicklungsprozess kam eine Vielzahl an Methoden zur Anwendung. Als erster Schritt wurde eine systematische Aufarbeitung der bisherigen Veröffentlichungen zu VR-Simulatoren für Wirbelsäuleneingriffe durchgeführt (Publikation 1). Für Publikation 2 kamen Beobachtungen, Interviews und ein Expertenpanel zum Einsatz, um Informationen und Voraussetzungen für eine Simulationsumgebung zu definieren. Daraufhin wurde in Publikation 3 eine Nutzerstudie auf der Basis von Think-aloud-Protokollen, Nutzerfragebögen und Bewertungen durch Experten durchgeführt, um die Validität der simulierten Prozedur zu testen. Ergebnisse In der systematischen Literaturübersicht (Publikation 1) wurde der aktuelle Stand der Simulation im Bereich Wirbelsäuleneingriffe abgebildet. In der Publikation 2, wurden die einzelnen Schritte einer Vertebroplastie für die drei beteiligten chirurgischen Professionen systematisch erhoben und ein neues Verfahren zur Durchführung von Anforderungsanalysen von medizinischen Simulatoren vorgestellt. Ein weiteres Ergebnis, welches in Publikation 3 präsentiert wird, war die Entwicklung eines neuen Klassifikationssytems, um Kommentare von Chirurgen während der Simulatornutzung zu kategorisieren. Schlussfolgerungen Entwicklungsprojekte, wie dieses hier, sind notwendig, um neue medizinische Lernumgebungen zu erstellen. Unsere Arbeit hat dabei geholfen, Entwicklern Werkzeuge für ähnliche Projekte zur Verfügung zu stellen. Außerdem haben wir eine voll funktionstüchtige Simulationsumgebung entwickelt, die für das Training und Assessment von chirurgischen Teams anhand der Vertebroplastie bestimmt ist und Chirurgen, Anästhesisten und Pflegekräfte gemeinsam schulen wird

Vertebroplasty Performance on Simulator for 19 Surgeons Using Hierarchical Task Analysis

© 2015 IEEE. We present a unique simulator-based methodology for assessing both technical and nontechnical (cognitive) skills for surgical trainees while immersed in a complete medical simulation environment. Further, we have included two crisis scenarios which allow for the evaluation of the effect of cognitive strategy selection on the low-level surgical skills. Training these mixed-mode scenarios can thereby be evaluated on our platform, allowing for improved assessment and a stronger foundation for credentialing, with the potential to reduce the occurrence of adverse events in the operating room. Scientific evaluation and validation of our work is conducted together with 19 junior surgeons in order to achieve the following goals: 1) to provide a qualitative measure of usability, 2) to assess vertebroplasty technical performance of the surgeon, and 3) to explore the relationship between mental workload and surgical performance during crisis. Our results indicate that: 1) the surgeons scored the face validity of our modeled simulation environment very highly (4.68 0.48, using a 5-point Likert scale), 2) surgeon training enabled completion of tasks more quickly, and 3) the introduction of crisis scenarios negatively affected the surgeons\u27 objective performance. Taken together, our results underscore the need to develop realistic simulation environments that prepare young residents to respond to emergent events in the operating room

Effectiveness analysis of traditional and mixed reality simulations in medical training: a methodological approach for the assessment of stress, cognitive load and performance

La simulazione nell'educazione in medicina è considerata un metodo di formazione in grado di migliorare le competenze cliniche e il comportamento degli operatori sanitari e, di conseguenza, la qualità dell'assistenza per il paziente. Inoltre, l'utilizzo di nuove tecnologie come la Realtà Aumentata, offre ai discenti l'opportunità di esercitarsi in un ambiente immersivo. L'opportunità di sperimentare questo innovativo metodo didattico è efficace non solo nel ridurre il rischio di errori e approcci sbagliati ma anche nel provare ansia e stress simili a quelli avvertiti nella pratica reale. La sfida sta nel trovare il giusto equilibrio. I discenti devono infatti provare lo stesso stress che avvertirebbero lavorando ad un vero caso clinico ma, allo stesso tempo, devono essere controllati ed evitati possibili disturbi da stress post-traumatico, verificabili soprattutto nel campo della gestione delle emergenze (pronto soccorso). Inoltre, è fondamentale anche ottenere alte prestazioni e un apprendimento adeguato, evitando sovraccarichi cognitivi che influenzerebbero negativamente l’apprendimento. Tuttavia, ad oggi mancano ancora studi approfonditi sull'impatto che le simulazioni mediche hanno su stress, frustrazione, carico cognitivo e apprendimento dei discenti. Per questo motivo, l'obiettivo principale di questo studio è valutare l'efficacia del training tramite simulazione, analizzando prestazioni, ansia, stress e carico cognitivo durante simulazioni cliniche tradizionali (con manichino) ed avanzate (in realtà mista). A questo scopo, è stato sviluppato un approccio metodologico strutturato e completo per valutare le prestazioni, le condizioni emotive e cognitive degli studenti. Questo comprende l'acquisizione e l'analisi di parametri psicologici (valutazione soggettiva), segnali biometrici (valutazione oggettiva) e prestazioni. Questa indagine consente di evidenziare i punti deboli delle simulazioni e offre l'opportunità di definire utili linee guida per la riprogettazione e l'ottimizzazione delle stesse. La metodologia è stata applicata su tre casi studio: il primo si riferisce a simulazioni ad alta fedeltà per la gestione del paziente in pronto soccorso, il secondo si riferisce a simulazioni a bassa fedeltà per la pratica della rachicentesi. Per il terzo caso studio, è stato progettato e sviluppato un prototipo di simulatore in realtà mista per la rachicentesi, con l'obiettivo di migliorare il senso di realismo e immersione della simulazione a bassa fedeltà. 148 studenti sono stati coinvolti nei primi due casi studio osservazionali, mentre soltanto 36 studenti hanno preso parte allo studio pilota sulla simulazione in realtà mista. In tutti i casi di studio sono state effettuate analisi descrittive delle prestazioni, degli stati cognitivi ed emotivi. Per le simulazioni ad alta e bassa fedeltà, le analisi di regressione statistica hanno evidenziato quali variabili influenzano le prestazioni, lo stress e il carico cognitivo degli studenti. Per lo studio pilota sulla realtà mista, l'analisi della user experience ha sottolineato i limiti tecnici della nuova tecnologia.Simulation in medical education is considered a training method capable of improving clinical competence and practitioners’ behaviour, and, consequently quality of care and patient’s outcome. Moreover, the use of new technologies, such as augmented reality, offers to the learners the opportunity to engage themselves in an immersive environment. The opportunity to experiment with this innovative instructional method is effective not only in reducing the risk of errors and wrong approaches but also in experiencing anxiety and stress as in real practice. The challenge is to find the right stress balance: learners have to feel as if they were practicing in the real stressful clinical case, and, at the same time, post-traumatic stress disorders, verifiable especially in the emergency field, must be controlled and avoided. Moreover, it is fundamental also to obtain high performance and learning, thus avoiding cognitive overloads. However, extensive researches about the impact of medical simulations on students’ stress, frustration, cognitive load, and learning are still lacking. For this reason, the main objective of this study is to assess simulation training effectiveness by analysing performance, anxiety, stress, and cognitive load during traditional (with manikin) and advanced (with augmented reality) clinical simulations. A structured and comprehensive methodological approach to assess performance, emotional and cognitive conditions of students has been developed. It includes the acquisition and analysis of psychological parameters (subjective assessment), biometric signals (objective assessment), and task performance. This investigation allows to point out simulations’ weaknesses and offers the opportunity to define useful optimisation guidelines. The methodology has been applied to three case studies: the first one refers to high-fidelity simulations, for the patient management in the emergency room, the second one refers to low-fidelity simulation for rachicentesis. For the third case study, a prototype of a mixed reality simulator for the rachicentesis practice has been designed and developed aiming at improving the sense of realism and immersion of the low-fidelity simulation. While 148 students have been enrolled in the first two case studies, only 36 students have taken part in the pilot study about mixed reality simulation. Descriptive analysis about performance, cognitive and emotional states have been done in all the case studies. For the high-fidelity and low-fidelity simulations, the statistical regression analysis has pointed out which variables affect students’ performance, stress, and cognitive load. For the pilot study about mixed reality, the user experience analysis highlighted the technical limitations of the new technology

Evaluation chirurgischer Kompetenz am Beispiel einer Mixed-Reality-basierten Trainingssimulation für perkutane Vertebroplastie (PV)

Das Ziel der vorliegenden Studie war die Operationalisierung chirurgischer Kompetenz am Beispiel einer Mixed-Reality-basierten Trainingssimulation für perkutane Vertebroplastie (MR-basierte PV-Trainingssimulation). Im Rahmen eines Pilotprojektes wurde diesem Bestreben durch die Konzeption eines Scoring-Systems, welches als Messinstrument ein sachliches und präzises Bewerten der chirurgischen Kompetenz eines Teilnehmers bei der Durchführung einer PV ermöglichen sollte, nachgekommen. Dabei sollten mögliche Forschungsansätze, Erkenntnisgewinne, sowie ggf. Widrigkeiten oder Komplikationen eruiert werden, welche einem zukünftigen größer angelegten Forschungsprojekt von Nutzen sein können. Als Forschungsmethode wurde demnach neben fortwährend empirischer Analyse ein konzeptionelles Vorgehen praktiziert. Die Studie fand in Zusammenarbeit mit der interdisziplinären Forschungsgruppe Navigation and Augmented Reality Visualization System (NARVIS) unter der Leitung von Prof. N. Navab und Prof. Dr. E. Euler statt und umfasst einen experimentellen, prospektiven, sowie einen statistischen, retrospektiven Teil. Der experimentelle Teil der Studie fand im Zeitraum 02/2018-10/2019 an der Klinik für Allgemeine, Unfall-, und Wiederherstellungschirurgie der Ludwig-Maximilians-Universität München statt. Er enthält die Durchführung der PV-Trainingssimulation durch elf Teilnehmer, sowie die dazugehörige Datenanalyse durch Auswertung von Audio- und Videodokumentationen, sowie Simulatordaten der PV-Trainingssimulation. Im Folgenden kam es durch Methodiken der Kognitiven Aufgaben-Analyse (CTA), Konsultation einschlägiger Fachliteratur, in situ Observation einer PV, sowie in Anlehnung an den als Prototyp zu verstehenden Bewertungsbogen „Vertebroplasty: Technical Skills Assessment Scale for Surgeons“ (TSA-Bogen) zur Konzeption des Fragebogens über die „Bewertung der Güte der Durchführung einer Vertebroplastie“ (BGDV-Fragebogen). Dessen Bearbeitung durch fünf Experten der Wirbelsäulenchirurgie ergab einen Expertenkonsensus. Basierend auf diesem Expertenkonsensus erfolgte die Konzeption des PV-Scores. Durch die Methode des Standard-Settings wurde der Algorithmus des PV-Scores formuliert. Dieser analysiert das zu erfassende Konstrukt der chirurgischen Kompetenz im Sinne einer Multi-Item-Skala. Anhand von neun Items, welche sich den Kategorien Zeit, Effizienz, Sicherheit, manuelle Geschicklichkeit, sowie Outcome zuordnen lassen, evaluiert er die Kompetenz eines Teilnehmers. Die resultierende Gesamtbewertung der Kompetenz erfolgt anhand einer Ordinalskala (Noten 1-6), welche mit der Ausformulierung seines Kompetenzniveaus in „sehr hoch/ hoch/ befriedigend/ ausreichend/ mangelhaft, bzw. ungenügend“ verbunden ist. Im Sinne eines diskriminativen Index wird anhand der Note und dem entsprechenden Kompetenzniveau eine Differenzierung der Teilnehmer in „bestanden vs. nicht bestanden“ vorgenommen. Der retrospektive Teil der Studie erfolgte im Zeitraum vom 10/2019-02/2020 und enthält die praktische Anwendung des PV-Scores auf die Daten der Teilnehmer der PV-Trainingssimulation. Anhand der ausgewerteten Ergebnisse des PV-Scores fanden Korrelationsanalysen zur Überprüfung der Kriteriums- und Konstruktvalidität statt. Somit sind erste Ergebnisse, bzw. Erfahrungen der praktischen Anwendung des PV-Scores in dieser Arbeit enthalten. Diese sind als die ersten Schritte auf einem lang angelegten Evaluierungsweg zu verstehen. Anknüpfung an den erläuterten Limitationen der vorliegenden Arbeit im Sinne von Modifikationen der Items bzw. weiteren Validierungsmaßnahmen, sowie ein klinischer Testeinsatz des konzipierten PV-Scores stellen Möglichkeiten für Anknüpfungspunkte zukünftiger Forschung dar. Langfristig könnte so ein Beitrag zur Steigerung der Akzeptanz und damit zur fortschreitenden routinemäßigen Anwendung des SBT geleistet werden, welches wiederum einen Meilenstein im Sektor Patientenschutz und Qualitätssicherung setzen kann