Benchmarking von Krankenhausinformationssystemen

Krankenhäuser lassen sich anhand etablierter Indikatoren wie Bettenzahl, Case Mix Index und Jahresumsatz beschreiben und vergleichen. Obwohl seitens der Krankenhaus-CIOs, der Krankenhausleitungen und anderer Interessensgruppen der Bedarf besteht, Krankenhausinformationssysteme (KIS) zu bewerten und zu vergleichen, gibt es keinen Konsens darüber, wie deren Strukturen, Leistung und Qualität gemessen werden sollten. Geht man davon aus, dass KIS als soziotechnische Systeme alle informationsverarbeitenden Prozesse im Krankenhaus und die daran beteiligten menschlichen und maschinellen Handlungsträger umfassen, kommen sowohl struktur-, prozess- als auch ergebnisbezogene Indikatoren in Frage. In den letzten 20 Jahren entstand eine Vielzahl nationaler und internationaler Benchmarking-cluster, innerhalb derer Krankenhäuser ihre Informationssysteme vergleichen können. Während bekannte Benchmarkingcluster allen Krankenhäusern einen positionierenden Vergleich (Performance Benchmarking) auf Basis von Kennzahlen anbieten, besteht nur in einigen Benchmarkingclustern die Möglichkeit, gezielt Schwachstellen aufzudecken (Diagnostisches Benchmarking) oder darüber hinaus beste Praktiken abzuleiten (Best Practice Benchmarking). Ziele dieser Arbeit sind: Z1 die Entwicklung einer Methode, mit Hilfe derer Benchmarkingcluster beschrieben, verglichen und schließlich ausgewählt werden können, Z2 die Entwicklung der Methode BenchDoc für das Diagnostische und Best Practice Benchmarking von Dokumentationsprozessen im Krankenhaus, Z3 die Durchführung einer Fallstudie zur Erprobung der Methode BenchDoc sowie Z4 die Zusammenführung der Ergebnisse der Ziele 1 bis 3 in einem Vorgehensmodell für die Auswahl und Durchführung eines KIS-Benchmarkings. Zu Ziel Z1 wird basierend auf einer Literaturrecherche und einem Expertenworkshop ein UML-basiertes Metamodell entwickelt, mit dem Benchmarkingcluster anhand ihrer Rahmenbedingungen und genutzter Indikatoren systematisch beschrieben und verglichen werden können. Es wird auf sieben Benchmarkingcluster aus dem deutschsprachigen Raum angewandt. Dabei zeigt sich, dass strukturelle Indikatoren für KIS weit verbreitet sind und einige Ansätze für indikator- oder reifegradbasierte Bewertungen der Prozessunterstützung durch das KIS entwickelt werden. In den Benchmarkingclustern dominieren Performance Benchmarkings, die im Wesentlichen auf einem Kennzahlvergleich auf Basis großer Mengen von Indikatoren beruhen. Zur Erfüllung von Ziel Z2 wird die Methode BenchDoc zum Vergleich und Benchmarking von Dokumentationsprozessen in Krankenhäusern entwickelt. BenchDoc besteht aus einem indikatorannotierten Referenzprozessmodell und Festlegungen zu dessen Einsatz innerhalb eines Benchmarkingprojekts. BenchDoc sieht eine zielorientierte Auswahl von Indikatoren für Dokumentationsprozesse vor und präzisiert die Schritte der Informationsbeschaffung und der Bestimmung der Leistungslücke zwischen Benchmarkingpartnern. Die Methode eignet sich für die Durchführung von Diagnostischen und Best Practice Benchmarkings innerhalb kleiner Vergleichsgruppen, die einen offenen Austausch zwischen den Benchmarkingpartnern befürworten. Die Methode BenchDoc wird im Rahmen eines Benchmarkingprojekts der Arztbriefschreibung in zwei Universitätsklinika angewandt (Ziel Z3). Zusammen mit den Abteilungen für Informationsmanagement werden sieben zu messende Ziele und zugehörige Indikatoren für die Arztbriefschreibung festgelegt und deren Ausprägungen in ausgewählten Kliniken an beiden Standorten ermittelt. Dazu werden eine Datenbestandsanalyse sowie eine standardisierte Online-Umfrage unter dem ärztlichen Personal durchgeführt. An beiden Standorten kann durch die Anwendung der Methode BenchDoc ein erhebliches Optimierungspotenzial für die Arztbriefschreibung und deren Unterstützung durch das KIS aufgezeigt werden. Zur Erreichung von Ziel Z4 werden die Ergebnisse zu den Zielen Z1, Z2 und Z3 synthetisiert. Das Informationsmanagement von Krankenhäusern erhält eine Prozessbeschreibung für die Auswahl eines Benchmarkingclusters und ein sich anschließendes Benchmarking von Dokumentationsprozessen auf Basis der Methode BenchDoc. Diese Arbeit zeigt auf, wie das Benchmarking von KIS, systematisch, zielgerichtet und kriteriengeleitet vorbereitet und durchgeführt werden kann anhand der Auswahl eines passenden Benchmarkingclusters für ein Performance Benchmarking und einem Vorgehen für das Benchmarking von Dokumentations-prozessen. Mit dem im Jahr 2020 in Kraft getretenen Krankenhauszukunftsgesetz (KHZG) erhält das Benchmarking von KIS in Deutschland nun auch politische Priorität. Neben der Förderung von Digitalisierungsprojekten in Krankenhäusern sieht das KHZG auch eine zentrale Erhebung des digitalen Reifegrades vor. Da dieser Reifegrad insbesondere den Erfolg spezieller Digitalisierungsprojekte misst, ist zu erwarten, dass weiterhin mehrere Ansätze für das KIS-Benchmarking nebeneinander fortbestehen. Ein zielorientiertes Vorgehen bei der Auswahl eines Benchmarkingclusters und der Durchführung eines Benchmarkings, wie in dieser Arbeit vorgestellt, erweist sich dabei als hilfreich. Die Methode BenchDoc kann darüber hinaus für nachgelagerte diagnostische Analysen, Vergleiche und das Benchmarking des KIS in Hinsicht auf die Prozessunterstützung eingesetzt werden. Dabei könnte eine Weiterentwicklung der in der Arbeit vorgestellten Methode BenchDoc für Dokumentationsprozesse erfolgen, die sich beispielsweise aus der fortschreitenden Integration von Daten aus Patientenversorgung und Forschung im Zuge der Medizininformatik-Initiative oder dem Aufbau transinstitutioneller Gesundheitsinformationssysteme ergeben

Informationsverarbeitung im Informationsmanagement : Modellierung von Aufgaben und verarbeiteten Informationen am Beispiel der Information Technology Infrastructure Library (ITIL)

Das Informationsmanagement im Gesundheitswesen entwickelt Informationssysteme von Krankenhäusern und medizinischen Organisationen weiter. Dazu benötigt es Informationen, die ihm von Informationsmanagement-Informationssystem (IMIS) bereitgestellt werden. Das IMIS muss ebenfalls zielgerichtet weiterentwickelt werden. Die Grundlage für die Bewertung und Konstruktion eines IMIS ist ein Modell der Aufgaben und verarbeiteten Informationen im Informationsmanagement. Der Autor entwickelt eine Formalisierung der Informationsverarbeitung und darauf aufbauend Kriterien für Modelle der Informationsverarbeitung im Informationsmanagement im Gesundheitswesen sowie Modellierungsregeln und ein Vorgehen zur Modellierung. Die Angemessenheit der entwickelten Formalisierung und der Kriterien, der Regeln und des Vorgehens zeigt der Autor mit der Modellierung der Informationsverarbeitung in den neun Kernprozessen der Information Technology Infrastructure Library (ITIL), einer Sammlung von Empfehlungen für das Management von IT-Dienstleistungen. Aufbauend auf einer erweiterten Version dieses Modells kann ein IMIS für das Gesundheitswesen konstruiert werden

Question Answering auf dem Lehrbuch 'Health Information Systems' mit Hilfe von unüberwachtem Training eines Pretrained Transformers

Die Extraktion von Wissen aus Büchern ist essentiell und komplex. Besonders in der Medizininformatik ist ein einfacher und vollständiger Zugang zu Wissen wichtig. In dieser Arbeit wurde ein vortrainiertes Sprachmodell verwendet, um den Inhalt des Buches Health Information Systems von Winter u. a. (2023) effizienter und einfacher zugänglich zu machen. Während des Trainings wurde die Qualität des Modells zu verschiedenen Zeitpunkten evaluiert. Dazu beantwortete das Modell Prüfungsfragen aus dem Buch und aus Modulen der Universität Leipzig, die inhaltlich auf dem Buch aufbauen. Abschließend wurde ein Vergleich zwischen den Trainingszeitpunkten, dem nicht weiter trainierten Modell und dem Stand der Technik Modell GPT4 durchgeführt. Mit einem MakroF1-Wert von 0,7 erreichte das Modell GPT4 die höchste Korrektheit bei der Beantwortung der Klausurfragen. Diese Leistung konnte von den anderen Modellen nicht erreicht werden. Allerdings stieg die Leistung von einem anfänglichen MakroF1-Wert von 0,13 durch kontinuierliches Training auf 0,33. Die Ergebnisse zeigen eine deutliche Leistungssteigerung durch diesen Ansatz und bieten eine Grundlage für zukünftige Erweiterungen. Damit ist die Machbarkeit der Beantwortung von Fragen zu Informationssystemen im Gesundheitswesen und der Lösung einer Beispielklausur mit Hilfe von weiter trainierten Sprachmodellen gezeigt, eine praktische Anwendung erreichen diese Modelle jedoch nicht, da sowohl die Leistung unter dem aktuellen Stand der Technik liegt als auch die hier vorgestellten Modelle einen Großteil der gestellten Fragen nicht vollständig korrekt beantworten können.:1 Einleitung 1.1 Gegenstand 1.2 Problemstellung 1.3 Motivation 1.4 Zielsetzung 1.5 Bezug zu ethischen Leitlinien der GMDS 1.6 Aufgabenstellung 1.7 Aufbau der Arbeit 2 Grundlagen 9 2.1 Sprachmodelle 2.1.1 Transformer-Modelle 2.1.2 Transformer-spezifische Architekturen 2.1.3 Eigenheiten von Transformer-Modellen 2.1.4 Eingaben von Transformer-Modellen 2.2 Neuronale Netze 2.2.1 Architektur 2.2.2 Funktionsweise 2.2.3 Training 2.3 Datenverarbeitung 2.3.1 Glossar der Daten 3 Stand der Forschung 3.1 Continual Pretraining 3.2 Aktuelle Modelle und deren Nutzbarkeit 3.3 Forschung und Probleme von Modellen 4 Lösungsansatz 4.1 Auswahl von Sprachmodellen 4.2 Datenkuration 4.2.1 Extraktion des Textes 4.2.2 Unverständliche Formate 4.2.3 Textpassagen ohne Wissen oder Kontext 4.2.4 Optionale Textentfernungen 4.2.5 Bleibende Texte 4.2.6 Formatierung von Text 4.2.7 Potentielle Extraktion von Fragen 4.3 Unüberwachtes Weitertrainieren 4.3.1 Ausführen der Training-Programme 4.4 Klausurfragen 4.5 Modellevaluation 5 Ausführung der Lösung 5.1 Herunterladen des Modells 5.2 Training des Modells 5.2.1 Konfiguration des Modells 5.2.2 Konfiguration der Trainingsdaten 5.2.3 Konfiguration des Trainings 5.2.4 Konfiguration des DeepSpeed Trainings 5.2.5 Verwendete Bibliotheken zum Training 5.2.6 Training auf einem GPU Computing Cluster 5.2.7 Probleme während des Trainings 5.3 Generierung von Antworten 5.3.1 Erstellung des Evaluierungsdatensatzes 5.4 Bewertung der generierten Antworten 5.5 Evaluation der Modelle 5.5.1 Kriterium: Korrektheit 5.5.2 Kriterium: Erklärbarkeit 5.5.3 Kriterium: Fragenverständnis 5.5.4 Kriterium: Robustheit 6 Ergebnisse 6.1 Analyse Korrektheit 6.1.1 Vergleich totaler Zahlen 6.1.2 Stärken und Schwächen der Modelle 6.1.3 Verbesserungen durch Training 6.1.4 Vergleich MakroF1 6.1.5 Zusammenfassung 6.2 Analyse Erklärbarkeit 6.3 Analyse Fragenverständnis 6.4 Analyse Robustheit 6.5 Zusammenfassung 7 Diskussion 7.1 Grenzen der Modelle 7.2 Probleme bei Kernfragen 7.3 Bewertung der Fragen mit Prüfungspunkten 7.4 Lösung des Problems 8 Ausblick 8.1 Modellvergrößerung 8.1.1 Training durch Quantisierung 8.2 Human Reinforcement Learning 8.3 Datensatzvergrößerung 8.4 Domänenspezifische Modelle 8.5 Adapter-basiertes Training 8.6 Textextraktion aus Kontext 8.7 Retrieval Augmented Generation 8.8 Zusammenfassung Zusammenfassun

Domain-specific Adaptation of Requirements Engineering Methods

[Context and motivation] Requirements are fundamental for the development of softwarebased information systems (ISs). Stakeholder needs for such ISs are documented as requirements following a requirements engineering (RE) method. Requirements are specific to the application domain for which ISs are developed and in which they are used. A system domain is represented by ISs that share a minimal set of common requirements to solve similar domain independent problems. Both domain-specific aspects need to be considered explicitly during the specification of ISs. Generic RE methods can be used in different domains, but do not consider explicitly domain-specific details. A solution to this problem is the domain-specific adaptation of RE methods. Domain-specific modeling languages (DSMLs) allow conceptual modeling in specific system domains. Domain ontologies provide formalized domain knowledge of an application domain. [Objectives] The objective of this thesis is to investigate, through the example of the task-oriented RE conceptual framework TORE, (1) how a generic RE method can be adapted to consider system domain-specifics with the use of a DSML, and (2) how a generic RE method can be adapted to use an application domain ontology. For the system domain adaptation, we use a personal decision support system (PDSS). The PDSS supports a Chief Information Officer (CIO) in decision-making with tasks in information management (IM). For the adaptation to the application domain, we use IM in hospitals represented by the semantic network of information management in hospitals (SNIK) domain ontology. [Contributions:] The results of this investigation consist of two method adaptations: first, the system domain-specific DsTORE, and second, the application domain-specific TOREOnto. The contributions of the system domain-specific adaptation DsTORE are fourfold. First, an as-is domain study provides details about the information management department of a specific hospital in order to understand the organizational context for the PDSS that will be employed. Second, an exploratory case study shows the extent of task-oriented requirements engineering (TORE) to support the RE specification of a PDSS. Third, the design of DsTORE provides the system domain-specific adaptation of TORE to support the specification of PDSS. Fourth, a case study documents the evaluation of DsTORE. The application domain-specific adaptation TOREOnto consists of three contributions. First, a literature review provides the state of the art regarding the use of domain ontologies in RE, describing nine different usage scenarios of domain ontologies to improve the quality of requirements. Second, the design of TOREOnto provides the application domain-specific adaptation to support the improvement of requirements quality. Third, a case study shows the retrospective evaluation of TOREOnto with RE artifacts created in this thesis. [Methods:] The overall research method of this thesis is Design Science according to Wieringa. The problem investigation of domain ontology usage in RE is based on a systematic literature review by Kitchenham and Charters