Systematic review about data quality and protocol compliance in clinical trials

Bei Investigator Initiated Trials (IITs) werden alternative risikoadaptierte Monitoring-Strategien in Abhängigkeit vom individuellen Studiendesign und dem Risikoprofil diskutiert, um bei oft restriktiven Ressourcen eine den gesetzlichen Vorgaben genügende Qualität der Studiendurchführung und der Daten zu gewährleisten. Aufgrund einer Literaturanalyse sollten in der vorliegenden Arbeit Untersuchungen ausgewertet werden, in denen quantitative Aussagen zu Datenqualität und Prüfplan-Compliance in klinischen Prüfungen gemacht wurden. Bei der Interpretation der Ergebnisse sollten die implementierten Qualitätssicherungsmaßnahmen berücksichtigt werden. Aufgrund einer systematischen Recherche in MEDLINE konnten 21 Publikationen identifiziert werden, bei denen die Daten- und Prozessqualität in klinischen Prüfungen untersucht, die Qualität durch Überprüfungen mit Source Data Verification vor Ort oder Überprüfung übermittelter Quelldaten in der Studienzentrale ermittelt wurde und quantitative Informationen zu den Bereichen Datenqualität, Protokoll-Compliance oder Defizite bei Einwilligungserklärungen vorlagen. Die Mehrzahl der Untersuchungen ist drei Organisationen zuzuordnen: European Organization für Research and Treatment of Cancer (EORTC) (n=7), National Cancer Institute (NCI) (n=7) und Untersuchungen der Trans-Tasman Radiation Oncology Group (TROG) (n=4). Darüber hinaus wurden drei Untersuchungen weiterer Studiengruppen identifiziert. Die Untersuchungen wurden im Zeitraum von 1981 bis 2003 publiziert. Überwiegend wurden in der Literatur onkologische Studien betrachtet (n=19), wobei die Radiotherapie im Vordergrund stand (n=8). Für die EORTC-Studien wurde in der Regel eine gute Datenqualität berichtet (80-90% korrekte Daten). Punktuelle Probleme wurden im Hinblick auf die Protokoll-Compliance und das Berichten von Nebenwirkungen/schwerwiegenden unerwünschten Ereignissen festgestellt. Eine gute Qualität wurde ebenfalls bzgl. des korrekten Einschlusses von Patienten beobachtet. Durch das NCI wurde ein standardisiertes Audit-System eingeführt und innerhalb von kooperativen Studiengruppen implementiert. Im Rahmen dieser Audits wurden verschiedene Kriterien überprüft und eine überwiegend gute Datenqualität und Protokoll-Compliance festgestellt. Mängel wurden in ca. 5% der Fälle im Hinblick auf die Einwilligungserklärung, die korrekte Anwendung der Einschlusskriterien, Protokollverletzungen, bei der Ermittlung des Zielkriteriums, der Erfassung der Toxizität, der adäquaten Datenlieferung und bei der Datenverifikation beobachtet. In einzelnen Untersuchungen ergaben sich Probleme mit der Behandlungscompliance (10-20%), bei Protokollabweichungen im Hinblick auf die Arzneimitteldosis (10%) und bei der Drug Accountability (15%). Von der TROG wurde ein Qualitätssicherungsprozess implementiert, der auf zentralem Monitoring von kopierten Quelldaten basiert. Durch den Qualitätssicherungsansatz der TROG konnten schwerwiegende Probleme mit der Protokoll-Compliance unter 10% gesenkt werden, ebenso konnte eine gute Datenqualität mit einer Fehlerrate unter 5% erreicht werden. Die korrekte Handhabung von Ein- und Ausschlusskriterien stellte in Einzelfällen ein Problem dar. Zusammenfassend kann festgestellt werden, dass die in dem Review erfassten Studiengruppen von einer guten Datenqualität und einer guten bis moderaten Protokoll-Compliance berichten. Diese basiert nach Aussage der Autoren im wesentlichen auf etablierten Qualitätssicherungs-Prozeduren, wobei das durchgeführte Audit ebenfalls einen potentiellen Einflussfaktor darstellt. Geringe Probleme wurden in der Regel im Hinblick auf die Einwilligungserklärung, die korrekte Handhabung der Ein- und Ausschlusskriterien und die Datenqualität beobachtet. In einzelnen Studien gab es jedoch Probleme mit der Protokoll-Compliance. Insgesamt hängen Anzahl und Art der Mängel von dem Studientyp, dem Qualitätsmanagement und der Organisation der Studiengruppe ab. Wissenschaftsbetrug wurde nur in sehr wenigen Fällen durch die Audits festgestellt. Die vorgelegten Informationen beziehen sich nahezu ausschließlich auf etablierte Studiengruppen; bezüglich Datenqualität und Protokoll-Compliance außerhalb der Studiengruppen liegen kaum Informationen in der Literatur vor. Bei der Bewertung der Ergebnisse sollte berücksichtigt werden, dass es sich zum Teil um Eigenauswertungen der Studiengruppen und nicht um unabhängige externe Prüfungen (z.B. externe Audits) handelt. Inwieweit die Ergebnisse einer konsequenten Überprüfung nach derzeitigen Good Clinical Practice (GCP) – Regeln standhalten würden, kann aus der Analyse nicht beantwortet werden. Aus der vorliegenden Literaturanalyse ergeben sich Konsequenzen für die Planung einer prospektiven kontrollierten Studie zum Vergleich unterschiedlicher Monitoring-Strategien. Wesentlicher Einflussfaktor für die Datenqualität und Protokollcompliance in einer klinischen Studie ist das Qualitätsmanagement. Dieses Qualitätsmanagement umfasst neben Monitoring zahlreiche andere Maßnahmen. Um zu einer Bewertung von Monitoringstrategien kommen zu können, müssen daher alle Qualitätssicherungsmaßnahmen im Rahmen einer Studie berücksichtigt werden. Für den Vergleich unterschiedlicher Monitoringstrategien sind geeignete Zielparameter zu definieren (z.B. schwerwiegende Defizite bzgl. Ein- und Ausschlusskriterien, Sicherheit). Die vorliegende Analyse ergibt, dass bei gutem Qualitätsmanagement ohne umfassendes vor Ort Monitoring schwerwiegende Fehler nur mit relativ niedriger Häufigkeit festgestellt wurden. Unterschiede zwischen Monitoringstrategien könnten, gegeben ein funktionierendes Qualitätsmanagementssystem, sich als quantitativ gering erweisen. Testet man auf Äquivalenz von Monitoringstrategien, sind nur niedrige Differenzen zu akzeptieren, was wiederum eine Auswirkung auf die Fallzahlplanung hat. Weiterhin muss berücksichtigt werden, dass zur Feststellung der Auswirkung unterschiedlicher Monitoringstrategien auf die Sicherheit der Patienten und die Validität der Daten im Rahmen einer kontrollierten Untersuchung ein unabhängiges Audit notwendig ist. Dabei ist zu berücksichtigen, dass ein Audit bereits einen möglichen Einflussfaktor für die Datenqualität und Protokoll-Compliance darstellen kann, und damit eine Bewertung des Nutzens einer Monitoringstrategie erschwert werden könnte. Schlüsselwörter: systematisches Review, Datenqualität, Protokoll-Compliance, klinische StudieFor Investigator Initiated Trials (IITs) alternative risk-adapted monitoring strategies are discussed in order to fulfill rules and regulations, taking into consideration the restricted resources. In this systematic review investigations, presenting quantitative data about data quality and protocol compliance in clinical trials, are analyzed. The results are discussed taking into account the quality assurance procedures implemented. Based on a systematic MEDLINE retrieval, 21 studies could be identified in which data and process quality in clinical trials were investigated and assessed by site visits with source data verification or review of copied source data in the study center and quantitative information about data quality and protocol compliance was available. The majority of investigations were performed by three organizations: European Organization for Research and Treatment of Cancer (EORTC) (n=7), National Cancer Institute (NCI) (n=7) and investigations of the Trans-Tasman Radiation Oncology Group (TROG) (n=4). In addition three investigations of other study groups were identified. The investigations were published between 1981 and 2003. In the majority of cases oncological trials were investigated (n=19) with a focus on radiotherapy trials (n=8). In the EORTC-trials an overall good data quality was assessed (80–90% correct data). Singular problems were found with respect to protocol compliance and reporting of adverse reactions and serious unexpected events. Good quality was also observed with respect to the correct inclusion of patients into trials. By the NCI a standardized audit system was introduced and implemented within cooperative study groups. In the context of these audits different criteria were assessed and a good data quality and protocol compliance were measured. Deficits occurred in about 5% of the cases with respect to informed consent, correct application of inclusion criteria, protocol compliance, assessment of outcome criteria, assessment of toxicity, adequate data reporting and data verification. In some investigations problems with treatment compliance (10-20%), drug dose deviations (10%) and drug accountability (15%) were identified. By the TROG a quality assurance procedure was implemented, based on central monitoring of copied source data. By this approach major problems with protocol compliance could be reduced to less than 10% together with a good data quality with an error rate under 5%. The correct handling of in- and exclusion criteria was a problem in individual cases. In summary we found out that good data quality and good to moderate protocol compliance were reported by the study groups that are included in the systematic review. Due to the authors this is mainly due to an established quality assurance system, taking into consideration that audits itself may be an influential factor. Generally, minor problems were observed with respect to informed consent, correct handling of in- and exclusion criteria and data quality, however, in some studies there were problems with protocol compliance. Overall, number and type of deficits depend on study type, quality management and organization of the study group. Fraud was detected only in very few cases. The available evidence refers mainly to established study groups; for data quality and protocol compliance outside these groups only few information is available. However, it should be taken into consideration, that the analysis was performed, at least partly, by the study groups themselves and is not based on independent audits (e.g. external audits). The analysis cannot answer the question whether the results would have been replicable if a strict review according to criteria of Good Clinical Practice (GCP) would have been performed. From the systematic review consequences have to be taken for planning a prospective controlled trial comparing different monitoring strategies. The main influence factor for data quality and protocol compliance in a clinical trial is the quality management system. Quality management covers several other measures apart from monitoring. In order to assess monitoring strategies, all quality assurance procedures within a clinical trial have to be taken into consideration. For the comparison of different monitoring strategies adequate outcome parameter have to be defined (e.g. severe deficits with respect to inclusion and exclusion criteria, safety). The analysis indicates that with good quality management and no extensive on-site monitoring severe errors were detected only at relative low frequency. It could well be that with an efficient quality management system differences between monitoring strategies would be small. In order to demonstrate statistical equivalence of monitoring strategies, only small differences can be accepted which again leads to consequences for the sample-size calculation. In addition, it must be taken into consideration that within a controlled trial an independent audit is necessary to assess the effect of different monitoring strategies on the safety of patients and the quality of data. Audits however may be a possible influence factor for data quality and protocol compliance and may complicate the evaluation of the benefit of a monitoring strategy. Keywords: systematic review, data quality, protocol compliance, clinical tria

Beschreibung von computergestütztenLernumgebungen in der Medizin unter besonderer Berücksichtigung von Qualitätsmerkmalen

Durch die hohe Verbreitung des Internets in den letzten Jahren haben sich die Einsatzmöglichkeiten von computerunterstützten medizinischen Lernumgebungen stark verändert. Es wurde eine Vielzahl von webbasierten Lernumgebungen entwickelt und sehr häufig kostenfrei Studierenden und anderen Interessierten angeboten. Nach anfänglich großer Euphorie über die Vorteile des Web kristallisierten sich diverse Probleme heraus. So stellt sich die Frage, welche Informationen über eine Lernumgebung verfügbar sind und wie man dieses strukturieren kann. Insbesondere ist zu klären, wie man die Qualität einer Lernumgebung erfassen und dem Nutzer zugänglich machen kann. Das Ziel dieser Arbeit ist daher die Erarbeitung eines Beschreibungsrahmens für medizinische Lernumgebungen im Web unter besonderer Berücksichtigung der Ausarbeitung von Qualitäts-merkmalen. Die Frage, wie Lernumgebungen bezüglich ihrer Qualität unterschieden werden können, wurde anhand von verschiedenen Auswahlinstrumenten untersucht, die Lernumgebungen mittels Qualitäts-kriterien bewerten. Eine Bewertung dieser Kriterienkataloge ergab, dass sowohl ihre Validität als auch ihre Reliabilität zu gering für eine verlässliche Aussage ist. Insbesondere berücksichtigen sie den Einsatzkontext der Lernumgebung nur unzureichend. Auch die existierenden Ansätze zur Bewertung von medizinischen Websites sind nicht ausreichend, da sie in der Regel didaktische Kriterien vermissen lassen. Der Vergleich und die anschließende Bewertung verschiedener Beschreibungsstandards (Metadaten) ergab, dass sich Learning Object Metadata (LOM) am besten als Standard für die Beschreibung von Lernumgebungen eignet. Aus den zur Verfügung stehenden neun Kategorien des LOM-Standards konnten 16 Qualitäts-merkmale identifiziert werden. Diese wurden mit 13 weiteren Qualitätsmerkmalen in eine erweiterte Form des LOM-Standards zusammengeführt. Der eigene Ansatz bietet zusätzliche Metadaten zu Qualitätsmanage-ment, Evaluation und Nutzererfahrungen. Die erweiterte Form des LOM-Standards wurde in ein Datenmodell überführt; dazu diente der LOM-Standard in der Implementierung des IMS Learning Resource Meta-data XML Binding als Basis. Der Einsatz von XML erleichterte die anschließende exemplarische Umsetzung als Webanwendung und gewährleistet die Interoperabilität mit externen Systemen. Die Anwendung, der Learning Resource Server Medizin (LRSMed), bietet dem Nutzer flexible und effiziente Möglichkeiten, aus neun Suchkriterien mit vorgegebenem Vokabular in Verbindung mit einer Volltextsuche adäquate Lernumgebungen zu finden. Die Bewertung der Ergeb-nisse bleibt ihm selbst überlassen, da diese ohne Kenntnis des situativen Kontextes kaum möglich ist. Die Herkunft der Metadaten ist für den Nutzer transparent, da er Informationen zur Quelle erhält. Insgesamt kann der Schluss gezogen werden, dass der Nutzer durch die Erweiterungen des LOM-Standards und deren Implementierung in Form des LRSMed bei der Recherche nach medizinischen, webbasierten und derzeit frei verfügbaren Lernumgebungen unterstützt werden kann. Für einen entsprechenden Nachweis ist die Evaluation des LRSMed anzustreben. Inwiefern Lernumgebungen in Zukunft noch kostenfrei zur Verfügung stehen, ist offen, da insbesondere im medizinischen Bereich multimediales Material aufwändig aufbereitet werden muss

Datenqualität in der medizinischen Forschung

The benefit of cohort studies and registers in patient-oriented collaborative research depends largely on the quality of the data recorded there. Supply and quality research depend on scientifically proven methods and procedures to ensure high data quality. This guideline contains corresponding recommendations for the management of data quality in registers, cohort studies and data repositories. In the second edition, a significantly expanded set of indicators is provided and the use of the indicators is described as an example for different types of empirical research projects. The guideline is rounded off by a current literature review and analysis. It is therefore an important part of the range of measures to improve and ensure data quality in medical research.Der Nutzen von Kohortenstudien und Registern in der patientenorientierten Verbundforschung hängt wesentlich von der Qualität der dort erfassten Daten ab. Versorgungs- und Qualitätsforschung sind auf wissenschaftlich abgesicherte Methoden und Verfahren zur Sicherstellung einer hohen Datenqualität angewiesen. Die vorliegende Leitlinie enthält entsprechende Empfehlungen zum Management von Datenqualität in Registern, Kohortenstudien und Data Repositories. In der 2. Auflage wird ein deutlich erweitertes Indikatorenset bereitgestellt und die Anwendung der Indikatoren beispielhaft für verschiedene Typen von empirischen Forschungsvorhaben beschrieben. Die Leitlinie wird abgerundet durch eine aktuelle Literatursichtung und -analyse. Sie ist damit ein wichtiger Bestandteil des Maßnahmenspektrums zur Verbesserung und Sicherung der Datenqualität in der medizinischen Forschung

Kriterien und Anforderungen an ein Schockraum-Management in Deutschland und Evaluation der Qualität mittels Qualitätsindikatoren

Unfälle und deren Folgen stellen einen der wichtigsten sozio-ökonomischen Faktoren nicht nur im Bereich der Notfallmedizin sondern im Bereich des gesamten Gesundheitssystems dar. Eine strukturierte Versorgung von schwerverletzten und polytraumatisierten Patienten auf allen Ebenen ist daher von entscheidender Bedeutung. Die Arbeit zeigt auf, dass durch optimale Koordination, Dokumentation und Kommunikation, stetige Trainingsmaßnahmen und durch prioritätengerechte Integration aller entscheidenden Behandlungsmaßnahmen eine weitere Verbesserung der Versorgungsqualität polytraumatisierter Patienten im Rahmen des Schockraum-Managements erreicht werden kann. Bei der Umsetzung dieser Kriterien und Anforderungen gilt es durch kontinuierliche Evaluation der geleisteten Maßnahmen eine Bewertung und Vergleichbarkeit der erreichten Qualität zu schaffen. Eine entsprechende Bewertung kann hierbei durch die Schaffung von Qualitätsindikatoren vorgenommen werden

Qualitätsmanagement-Konzepte für die Präventionsmedizin: Empfehlungen auf der Basis der ISO-Normen für Praxis und Klinik

Die Präventionsmedizin wird mit ihren aktuellen und zukünftigen Perspektiven als interdisziplinäres Konzept hoher Professionalität vorgestellt. Die besonderen Merkmale des Klienten der Primar-Prävention in Abgrenzung zu den Merkmalen des Patienten der Sekundär- und der Tertiär-Prävention und das Qualifikationsprofil des Präventionsarztes, Kriterien, welche für einen nachhaltigen Erfolg der Prävention ein optimales Qualitätsmanagementbegründen, und aus welchen Qualitätsmanagement-Werkzeuge entwickelt werden können, werden aufgezeigt. Wesentliche QM- Instrumente und die QM-Konzepte KTQ, TQM, EFQM und die ISO-NORMEN ,welche grundsätzlich für die Präventionsmedizin in Frage kommen, werden diskutiert. Die Autorin empfiehlt für die Präventionsmedizin das Konzept der DIN EN ISO –NORMEN in der Fassung 9001:2008 mit Ausblick auf EFQMPrinzipien , ein QM-Konzept, das einsetzbar ist für eine Einzelpraxis , eine Gemeinschaftspraxis und eine Klinik für Präventionsmedizin.. Von der Autorin werden einige speziell für die Präventionsmedizin konzipierte QM-Werkzeuge zur Diskussion gestellt: das interdisziplinäre Praxisnetz mit hoher Fachkompetenz - vereinheitlichte Dokumentationsstrukturen – Präventionsmedizinische Management-Programme „PMPs“ - ein Präventions-Paß- Elektronischer Konsiliar - und CIRS – Critical-Incident-Reporting -Systeme. Die normkonform geforderten Qualitäts-und Ergebnisanalysen für die Präventionsmedizin werden für messbar realisierbare Variable und hinsichtlich schwer messbarer Werte wie HRQoL, QALY und PROs diskutiert.Prevention medicine is pointed out as an interdisciplinary concept with high profession. Pointed out are some of the characteristic symptoms of the client of Primary Prevention with discrimination to the patients of Secundary and Tertiary Prevention and the qualification profil of the physician of prevention medicine, all are criterion of the necessity to justify an optimal management system for permanent success of prevention medicine. Different instruments of quality management are described. The quality management systems KTQ, TQM, EFQM and the ISO-NORM are discussed. The author recommends for the prevention medicine the quality management system DIN EN ISO NORM in the drafting 9001 : 2008 with reference of some principles of EFQM with applicability for individual doctors offices, offices in partnerships and clinical hospitals for prevention medicine. The author recommends some instruments of quality management with special request for the prevention medicine: networksystem with cooperating special medical offices with high competence - standardization of documentation - Prevention - Management-Programms- PMPs - Prevention-passport - Electronic consultant and CIRS-critical incident-reporting systems. Success-measuring of the prevention medicine as required by the NORM is discussed with realistic measurable values and with difficult measurable values as HRQoL, QALY and PROs

Ableitung von klinischen Pfaden aus evidenzbasierten Leitlinien am Beispiel der Behandlung des Mammakarzinoms der Frau

Zur Förderung der Implementierung aktueller wissenschaftlicher Erkenntnisse in der medizinischen Praxis, als ein wichtiges Qualitätskriterium im Gesundheitswesen, stellen beispielsweise die medizinischen Fachgesellschaften, indikationsspezifische Empfehlungen in Form von evidenzbasierten Leitlinien zu Verfügung. Ziel der vorliegenden Arbeit ist es nun, zur Förderung der Umsetzung der aktuellen wissenschaftlichen Erkenntnisse, eine Methode zu entwickeln, die eine systematische Ableitung eines Klinischen Pfades aus einer evidenzbasierten Leitlinie ermöglicht. Hierzu ist es erforderlich, in einem ersten Schritt die beiden Konzepte auf einer normativ-analytischen Ebene gegenüberzustellen, um grundsätzliche Gemeinsamkeiten und Differenzen herauszuarbeiten, die eine Ableitung positiv oder negativ beeinflussen können. In einem zweiten Schritt wird auf Basis dessen eine Vorgehensweise entwickelt, die eine systematische Ableitung eines Klinischen Pfades aus einer evidenzbasierten Leitlinie ermöglicht. Als Ergebnis des Vergleichs kann festgehalten werden, dass sich der Klinische Pfad und die evidenzbasierte Leitlinie in einer konzeptionellen Fusion symbiotisch ergänzen. Die Leitlinie bildet die evidenzbasierte Rahmenbedingung, die durch den Klinischen Pfad in dem Kontext der klinischen Praxis etabliert werden kann. Auf der Basis dieser Erkenntnisse wird eine Methode entwickelt, die zum einen eine systematische Ableitung eines Klinischen Pfades aus einer evidenzbasierten Leitlinie ermöglicht und zum anderen auch eine Implementierung in anderen Organisationseinheiten erleichtert. Die Vorgehensweise gliedert sich in sechs Projektschritte in drei Kategorien: von der Ableitung eines evidenzbasierten Referenzmodells, über die Adaption auf die individuelle Einrichtung, bis hin zur Implementierung des evidenzbasierten Klinischen Pfades in den medizinischen Versorgungsalltag. Erprobt wurde die Vorgehensweise anhand der S3-Leitlinie „Diagnostik, Therapie und Nachsorge beim Mammakarzinom der Frau“ und dem Klinischen Pfad des Uni-Brustzentrums Essen. Der Abstraktionsgrad des Referenzmodells ermöglicht eine Modellierung von evidenzbasierten Klinischen Pfaden für jede individuelle Einrichtung, so dass diese nun mit weniger Zeit- und Kostenaufwand verbunden ist. Dies könnte zu einer Steigerung der Implementierungshäufigkeit evidenzbasierter Leitlinien in der Praxis beitragen, jedoch mit möglichen rechtlichen Konsequenzen. Demgegenüber entstehen positive Effekte z.B. im Bereich der Transparenz und der Vergleichbarkeit verschiedener Einrichtungen