Unterstützung von Prozessen der intersektoralen Vernetzung mit medizinischen Bildern unter Berücksichtigung der Qualitätssicherung

Im Gesundheitswesen wird der elektronische Austausch von Daten zwischen professionellen Anwendern wie Ärzten, Pflegekräften oder Medizinisch-technischen Assistenten/innen sowie zwischen Ärzten und Patienten immer wichtiger. Aber dennoch ist Kollaborationssoftware in diesem Bereich nach wie vor noch nicht großflächig im Einsatz, so dass sich folgende Fragen ergeben: Welche technischen Voraussetzungen müssen geschaffen werden, um den medizinischen Workflow zu unterstützen beziehungsweise zu verbessern? Und wie können Vernetzung, Qualitätssicherung, Daten- und damit auch Patientensicherheit miteinander vereint werden, um eine bessere Behandlung zu gewährleisten? In dieser Arbeit wurden unterschiedliche Methoden zur Unterstützung von Prozessen der intersektoralen Vernetzung vor allem mit medizinischen Bildern entwickelt und implementiert. Die vorgenommenen Realisierungen fanden dabei insbesondere mit Blick auf die Qualitätssicherung statt. Durch Weiterentwicklungen im Bereich von DICOM E-Mail wurden Verfahren zur einfachen Administration von Netzwerken und automatisierten Konstanzprüfung dem @GIT-Whitepaper ‚Empfehlung für ein standardisiertes Teleradiologie Übertragungsformat‘ hinzugefügt. Die Implementierung einer Multiknotenstatistik erlaubt die zeitunabhängige Nachverfolgung eines Transfers von radiologischen Bilddaten in heterogenen Netzwerken, auch über mehrere Empfangsknoten hinweg. Neben DICOM E-Mail kommen hier verschiedene Übertragungsprotokolle zum Einsatz. Die entwickelten Verfahren zur Verwaltung von DICOM E-Mail Netzwerken wurden durch die @GIT in ein IHE-Profil überführt, von welchem schlussendlich ein Teil in einem Change Proposal als Erweiterung eines bestehenden Profils der Domäne Radiologie angenommen wurde. Im Rahmen des INFOPAT-Projekts des Universitätsklinikums Heidelberg und im Bereich der intersektoralen Vernetzung wurden zahlreiche Erweiterungen und Performanceoptimierungen bei der Entwicklung eines IHE-Adapters für Altsysteme in einem Netzwerk vorgenommen, welche es ermöglichen, auch nicht-IHE-fähige Aktoren an eine persönliche elektronische Patientenakte anzuschließen. Weiterhin wurde ein XDS-fähiger mobiler Bildbetrachter für Patienten entwickelt, der es durch ein standardisiertes Single-Sign-On erlaubt, zwischen Patientenakte, radiologischem Viewer und mobilem Bildbetrachter nahtlos zu wechseln. Um eine einfachere Kommunikation zwischen Ärzten, medizinischen Dienstleistern und Patienten zu realisieren, wurde eine bestehende Teleradiologieakte durch die Entwicklung eines konfigurierbaren Workflowmanagements sowie verschiedene Freigabe- und Exportmodule erweitert. Abschließend wurde das Monitoring-System für teleradiolgische Netzwerke weiterentwickelt, um Probleme und Engstellen bei der Kommunikation frühzeitig und proaktiv erkennen und beheben zu können. Die im Rahmen dieser Arbeit beschriebenen Weiterentwicklungen unterschiedlicher Standards im Bereich der Qualitätssicherung und Teleradiologie sowie die Softwareentwicklungen im Bereich der Telemedizin und schlussendlich der intersektoralen Vernetzung unterstützen den Arbeitsablauf der medizinischen als auch administrativen Anwender. Mit Hilfe der etablierten Lösungen kann ein reibungsloser Ablauf und das Zusammenspiel verschiedener Komponenten in heterogenen Netzwerken auch unter dem Gesichtspunkt der Qualitätssicherung gewährleistet werden. Patienten erhalten dadurch einen einfachen Zugang zu ihren Daten. Die Ergebnisse der Arbeit zeigen, dass auch heute schon ein qualitätsgesicherter und komfortabler Austausch von Bilddaten im medizinischen Umfeld ad hoc über die Grenzen von dezentralen Einrichtungen des Gesundheitswesens hinaus möglich ist. Dadurch kann die intersektorale Behandlung beschleunigt, die Behandlungsqualität verbessert und Doppeluntersuchungen vermieden werden

XR in Surgery. Spatial and embodied computing in digital surgery: Technology, Application, Design

Die Arbeit untersucht die Anwendungsfelder, Darstellungsprinzipien und Funktionsweise von extended reality in der chirurgischen Praxis. Anhand zweier Fallstudien zu mixed und virtual reality werden die Einsatzorte und Praktiken von head-mounted Displays sowie das erforderliche Anwendungswissen herausgearbeitet. An den Beispielen der Einblendung anatomischer Darstellungen ins Sichtfeld des chirurgischen Personals sowie der volumetrischen Darstellung chirurgischer Arbeitsabläufe in einer virtuellen Trainingsumgebung werden zwei konkrete Anwendungsszenarien für den Einsatz von extended reality in der chirurgischen Praxis entwickelt. Darauf aufbauend werden die Chancen und Risiken evaluiert, die sich insgesamt für chirurgische Handlungen und Entscheidungen im Bezug auf die Wahrnehmung, Interpretation und Gestaltung von Bildern der extended reality ergeben.The work investigates the technology, application and design of extended reality in surgical practice. Based on two case studies on mixed and virtual reality, it analyses use of head-mounted displays as well as the required applied knowledge. Using the examples of superimposing anatomical images onto the field of vision of surgical staff and the volumetric representation of surgical workflows in a virtual training environment, two concrete application scenarios for the use of extended reality in surgical practice are developed. Based on these scenarios, the chances and risks are evaluated, which result overall for surgical acting and decision making in terms of perception, interpretation and design of images of extended reality

Interaktionstechniken für mobile Augmented-Reality-Anwendungen basierend auf Blick- und Handbewegungen

Intuitive interaction techniques are essential for mobile augmented reality systems. For implicit interaction, this work presents techniques for automatic eye movement analysis and visualization. In the context of explicit interaction, a fusion of optical flow, skin color segmentation, and a hand pose estimator is presented along with a tracking method for localization and pose estimation of a hand in monocular color images

Interaktionstechniken für mobile Augmented-Reality-Anwendungen basierend auf Blick- und Handbewegungen

Visuelle Augmented Reality hat das Potential, die Art und Weise, wie der Mensch mit Maschinen kommuniziert, grundlegend zu verändern. Grundvoraussetzung dafür sind angenehm zu tragende binokulare AR-Brillen mit einem großen Sichtfeld für visuelle Einblendungen mit hohem Kontrast, so dass virtuelle Elemente als Teil der realen Umgebung dargestellt und wahrgenommen werden können. Gleichzeitig bedürfen derartige AR-Systeme einer intuitiven Interaktion mit ihrem Benutzer, um akzeptiert zu werden. Blick und Handgesten bilden neben Sprache die Interaktionstechniken der Wahl, um mit virtuellen Elementen zu interagieren. Die vorliegende Arbeit beschäftigt sich mit der Analyse des Blickes für eine implizite unbewusste Interaktion und mit der Erfassung von Handgesten für die explizite Interaktion in mobilen Anwendungen. Es wird eines der ersten Verfahren zur vollautomatischen echtzeitfähigen Blickbewegungsanalyse in dreidimensionalen Umgebungen anhand eines Beispiels aus dem Museumskontext vorgestellt. Dafür wurde eine 3D-Blickpunktberechnung und eine darauf aufsetzende echtzeitfähige Blickanalyse von 3D-Blickpfaden realisiert, als dies mit anderen Blickmessgeräten inklusive zugehöriger Software nicht möglich war. Zusätzlich wird das Verfahren Projected Gaussians für die Darstellung dreidimensionalen Blickverhaltens vorgestellt, das in Echtzeit realistische Visualisierung von Heatmaps in dreidimensionalen Umgebungen erzeugt. Dieses Verfahren ist das weltweit einzige, das die visuelle Schärfe des menschlichen Blickes in die Szene projiziert und damit nah am physikalischen Prozess der Wahrnehmung bleibt. Kein zuvor vorgestelltes Verfahren berücksichtigte Verdeckungen oder ermöglichte eine von der Polygonstruktur unabhängige Einfärbung von Oberflächen. Sowohl das Verfahren zur vollautomatischen Blickanalyse als auch Projected Gaussians wird anhand eines Beispiels auf echte Blickdaten angewendet und die Ergebnisse dieser Analyse werden präsentiert. Für die explizite Interaktion mit den Händen beschäftigt sich diese Arbeit mit dem ersten Schritt der Handgestenerkennung in monokularen Farbbildern: der Handregionsbestimmung. Bei dieser wird die Region der Hand in einem Kamerabild ermittelt. Die entwickelten Verfahren fusionieren auf unterschiedliche Weise optischen Fluss und Segmentierungen von Hautfarbe. Des Weiteren nutzen sie Objektklassifikatoren und Handposenschätzer für eine optimierte Handregionsbestimmung. Letztere wird anschließend mit einem öffentlich verfügbaren 2D-Handposenschätzer fusioniert. Diese Fusion übertrifft bei der 2D-Posenschätzung und geringen erlaubten Abweichungen auf dem öffentlichen Datensatz EgoDexter den aktuellen Stand der Technik der Handposenschätzung, obwohl zugehörige Verfahren trotz monokularen Eingabedaten ihre Schätzungen im dreidimensionalen Raum durchführen. Die Ergebnisse zeigen bei aktuellen 3D-Handposenschätzern für monokulare Eingabebilder ein Defizit bei der Wiederverwendung vorheriger Handposenschätzungen. Das hier vorgestellte Verfahren zur Handregionsbestimmung kann mit jedem Handposenschätzer kombiniert werden

Interaktionstechniken für mobile Augmented-Reality-Anwendungen basierend auf Blick- und Handbewegungen

Intuitive interaction techniques are essential for mobile augmented reality systems. For implicit interaction, this work presents techniques for automatic eye movement analysis and visualization. In the context of explicit interaction, a fusion of optical flow, skin color segmentation, and a hand pose estimator is presented along with a tracking method for localization and pose estimation of a hand in monocular color images