Evidence-based health information about pulmonary embolism: assessing the quality, usability and readability of online and offline patient information

Objective Pulmonary embolism (PE) is the third most common cardiovascular disease worldwide. However, public awareness is considerably lower than for myocardial infarction or stroke. Patients suffering from PE complain about the lack of (understandable) information and express high informational needs. To uncover if reliable information is indeed scarce, this study evaluates the quantity and quality of existing patient information for tertiary prevention using an evidence-based health information paradigm. Methods We conducted a quantitative content analysis (n = 21 patient information brochures; n = 67 websites) evaluating content categories addressed, methodical quality, usability, and readability. Results Results show that there is not enough patient information material focusing on PE as a main topic. Existing patient information material is mostly incomplete, difficult to understand, and low in actionability as well as readability. Conclusion Our systematic analysis reveals the need for more high-quality patient information on PE as part of effective tertiary prevention. Innovation This is the first review analyzing content, methodical quality, readability, and usability of patient information on PE. The findings of this analysis are guiding the development of an innovative, evidence-based patient information on PE aiming to support patients’ informational needs and their self-care behavior

Health literacy in patients with pulmonary embolism: development and validation of the HeLP (Health Literacy in Pulmonary Embolism)-Questionnaire

Background: Pulmonary embolism (PE) is a common cardiovascular disease and health literacy is necessary to deal with its consequences after the acute event. The aim of this study was to develop and validate a new questionnaire to measure PE-specific health literacy. Methods: A mixed-methods design with qualitative and quantitative elements was used in the development process. A literature review about health literacy concepts and instruments and interviews with patients with PE and clinicians were conducted. Quantitative analyses included factor analyses, item response theory with a graded partial credit model, and reliability analyses in different test and validation samples. Furthermore, convergent and known-groups validity and responsiveness were assessed. Results: The qualitative results supported a concept of PE-related health literacy with four main topics: dealing with PE-related health information, disease management, health-related selfcare, and social support. An initial item pool of 91 items was developed. Further interviews and an online survey with patients with PE (n = 1,013) were used to reduce the number of items and to confirm structural validity. Confirmatory factor analyses in the final evaluation study with patients with PE (n = 238) indicated a good model fit of the four-factor structure. The Health Literacy in Pulmonary Embolism (HeLP)-Questionnaire showed good reliability (Cronbach’s alpha: 0.82 to 0.90). All four subscales were responsive toward receiving a brochure with PE-related health information. Conclusion: The newly developed German HeLP Questionnaire comprises 23 items in four domains and showed good psychometric properties. Further evaluation of the questionnaire in different samples of patients with PE is needed

Arguments (User Comments/Interactions)

The occurrence of ‘arguments’ indicates the quality of statements made in online discussions. User comments below news content on websites or in social media can be examined whether they give reasons for or against positions or assertions. The occurrence of arguments in user comments or entire online discussions can be investigated in various ways depending on the exact research focus. Thus, the occurrence of arguments, their number, quality, or content (what reasons are raised?) can be examined. To determine the occurrence and number of arguments, arguments must first be identified. To ascertain the quality of arguments an evaluation standard is necessary (what constitutes high- or low-quality arguments?). Field of application/theoretical foundation: As a complement to various further criteria (e.g. coherence, clarity), the occurrence of arguments in user comments indicates the comments’ contribution to the deliberative quality of online discussions. Normative approaches to discourse ethics (e.g. Habermas, 1992; Steenberger et al., 2003) assume that contributions to a discussion that provide arguments for a position are more valuable to the success of a discussion than contributions that do not provide arguments. In addition, studies with various other theoretical backgrounds analyze arguments in user comments. For instance, the occurrence of arguments in user comments is interpreted as an indicator for factuality. Factuality, in turn, is regarded as a discussion factor comparable to news factors in journalism research (Ziegele, Breiner & Quiring, 2014). Example studies: Medium Measure Unit of analysis Studies Online; online discussions below news posts Occurence of arguments Individual user comment Naab & Küchler (work in progress) Ziegele & Quiring (2015)   Info about variables Variable name/definition: Vorhandensein von Argument(en) in einem Nutzerkommentar Operationalization/coding instructions: Argumente sind Aussagen, die dazu dienen sollen, Behauptungen zu begründen oder zu widerlegen. Es wird kodiert, ob ein Nutzerkommentar Argumente verwendet, um eine oder mehrere geäußerte(n) Meinung(en) zu begründen. Von Interesse ist hier, ob die Autor*innen von Nutzerkommentaren ihre eigenen Aussagen mit Argumenten unterstützen oder ob diese unbegründet bleiben. Die Leser*innen müssen sich bei zusammenhängenden Aussagen im Kommentar fragen, ob die Frage nach dem „Warum“ beantwortet wird. Anders gesagt: Gut erkennbar ist ein Argument, wenn man es problemlos mit einem Kausalsatz (weil...) an eine Behauptung anfügen kann oder wenn man eine begründende „Wenn-Dann-Beziehung“ zwischen den Sätzen herstellen kann. Eine Aneinanderreihung von Aussagen zählt nicht als Argumentation. Es geht hier nicht um die Qualität der Argumente. Es wird nur kodiert, ob Begründungen für Aussagen/Behauptungen/Positionen angeführt werden. Level of analysis: einzelner Nutzerkommentar Values: 0/ keine Argumente, 1/ mind. ein Argument, 99/ nicht eindeutig zuzuordnen   References Naab, T.K. & Küchler, C. (work in progress). Unveröffentlichtes Codebuch aus dem DFG-Projekt „Gegenseitige Sanktionierung unter NutzerInnen von Kommentarbereichen auf Nachrichtenwebseiten und auf Facebook“. Augsburg. Habermas, J. (1992). Faktizität und Geltung: Beiträge zur Diskurstheorie des Rechts und des demokratischen Rechtsstaates. Suhrkamp. Steenbergen, M. R., Bächtiger, A., Spörndli, M., & Steiner, J. (2003). Measuring political deliberation: A discourse quality index. Comparative European Politics, 1(1), 21–48. doi:10.1057/palgrave.cep.6110002 Ziegele, M., Breiner, T., & Quiring, O. (2014). What creates interactivity in online news discussions? An exploratory analysis of discussion factors in user comments on news items. Journal of Communication, 64(6), 1111–1138. doi:10.1111/jcom.12123 Ziegele, M. & Quiring, O. (2015). Codebuch: Der Diskussionswert von Online-Nachrichten. Unveröffentlichtes Codebuch aus dem DFG-Projekt „Vom Nachrichtenwert zum Diskussionswert“. Mainz

Clarity (User Comments/Interactions)

The ‘clarity’ of user comments is an indicator for the quality of statements made in online discussions. User comments below news content on websites or in social media can be examined to determine whether they are clearly written, that is comprehensible to the reader in terms of form, style, and content. Clarity of user comments is essential for the contribution of a comment to a discussion and the exchange between commenters. Field of application/theoretical foundation: As a complement to various further criteria (e.g. coherence, occurrence of arguments), the variable ‘clarity’ of a user comment indicates the comment’s contribution to the deliberative quality of online discussions. Normative approaches to discourse ethics (e.g. Habermas, 1992) assume that contributions to discussions should be phrased understandably to be more valuable for the success of a discussion.  Example studies: Medium Measure Unit of analysis Studies Online; online discussions below news posts Clarity Individual user comment Naab & Küchler (work in progress) Ziegele & Quiring (2015)   Info about variables Variable name/definition: Verständlichkeit eines Nutzerkommentars Operationalization/coding instructions: Es wird kodiert, wie leicht sich Leser*innen der Sinn eines Nutzerkommentars erschließt, wie gut er nachvollziehbar ist. Hierbei zählt der Gesamteindruck. Indikatoren für eine hohe Verständlichkeit sind: Ein verständlicher Sprachstil überwiegend Standardsprache ohne akademische Begriffe bzw. Fremdwörter Vermeidung von Reimen oder literarischen Schreibformen Vermeidung von übertriebenem Cyberslang oder Umgangssprache Keine Verwendung von Fremdsprachen Eine klare, wenig verschachtelte Satzstruktur Keine auffälligen Rechtschreib- und Grammatikfehler Eine eindeutige rhetorische Gestaltung durch den Verzicht auf Ironie, Metaphern und abstrakte Bilder Eine hohe Prägnanz der Aussagen im Sinne der Verbindung von „Bedeutungsreichtum mit einem hohen Maß an Klarheit, Angemessenheit, Anschaulichkeit und Einfachheit“ Verzicht auf das Voraussetzen von speziellem Hintergrundwissen, das beim Durchschnittsleser nicht vorausgesetzt werden kann. Der Kodierer kann sich die Frage stellen: Wie leicht erschließt sich mir der Sinn des Kommentars, wie nachvollziehbar ist er? „Baseline“ ist der Code „0“.  Level of analysis: einzelner Nutzerkommentar Values: 0/ normal verständlich, 1/ schwer verständlich, 2/ überhaupt nicht verständlich, 99/ nicht eindeutig zuzuordnen  Intercoder reliability: The variable showed good performance in tests for intercoder agreement (percentage agreement = 86%; Krippendorf’s alpha = .72) in the study by Ziegele, Breiner, & Quiring (2014).   References Habermas, J. (1992). Faktizität und Geltung: Beiträge zur Diskurstheorie des Rechts und des demokratischen Rechtsstaates. Suhrkamp. Naab, T.K. & Küchler, C. (work in progress). Unveröffentlichtes Codebuch aus dem DFG-Projekt „Gegenseitige Sanktionierung unter NutzerInnen von Kommentarbereichen auf Nachrichtenwebseiten und auf Facebook“. Augsburg. Steenbergen, M. R., Bächtiger, A., Spörndli, M., & Steiner, J. (2003). Measuring political deliberation: A discourse quality index. Comparative European Politics, 1(1), 21–48. doi:10.1057/palgrave.cep.6110002 Ziegele, M., Breiner, T., & Quiring, O. (2014). What creates interactivity in online news discussions? An exploratory analysis of discussion factors in user comments on news items. Journal of Communication, 64(6), 1111–1138. doi:10.1111/jcom.12123 Ziegele, M. & Quiring, O. (2015). Codebuch: Der Diskussionswert von Online-Nachrichten. Unveröffentlichtes Codebuch aus dem DFG-Projekt „Vom Nachrichtenwert zum Diskussionswert“. Mainz