Health Information Text Characteristics

Millions of people search online for medical text, but these texts are often too complicated to understand. Readability evaluations are mostly based on surface metrics such as character or words counts and sentence syntax, but content is ignored. We compared four types of documents, easy and difficult WebMD documents, patient blogs, and patient educational material, for surface and content-based metrics. The documents differed significantly in reading grade levels and vocabulary used. WebMD pages with high readability also used terminology that was more consumer-friendly. Moreover, difficult documents are harder to understand due to their grammar and word choice and because they discuss more difficult topics. This indicates that we can simplify many documents by focusing on word choice in addition to sentence structure, however, for difficult documents this may be insufficient

Contribuição para o estudo da leitura de folhetos informativos nas farmácias Portuguesas

Introdução: A saúde e a sua promoção estão intimamente relacionadas com o nível de educação ou de alfabetização dos indivíduos. Nas farmácias da comunidade, é habitual utilizar-se, na educação dos doentes, informação escrita na forma de folheto informativo. Esta ferramenta confere autonomia aos seus utilizadores, em função das competências individuais de literacia. A literacia em saúde é a capacidade individual de obter, processar e interpretar informações sobre saúde e serviços de saúde, com o objectivo de tomar decisões informadas. A medição do nível de dificuldade na leitura e compreensão de textos em língua inglesa tem sido estudada desde 1920, tendo sido propostas as primeiras fórmulas para classificar o nível mínimo de escolaridade que um texto exige para a sua leitura e compreensão, sendo estas designadas por fórmulas de legibilidade ou ‘lecturabilidade’. Material e métodos: O principal objectivo deste trabalho foi a experimentação de fórmulas de ‘lecturabilidade’, em particular o SMOG e o Índice Flesh-Kincaid, para a análise da complexidade de leitura e interpretação de folhetos informativos, cujo uso é generalizado nas Farmácias Portuguesas. As duas fórmulas foram aplicadas a uma amostra de 4 folhetos, estimando-se assim o número de anos de escolaridade necessários para a compreensão adequada desses textos. Dois tradutores técnicos independentes traduziram os folhetos para o Inglês, obtendo-se uma versão de consenso para cada folheto. As retroversões foram avaliadas para confirmar a justaposição das traduções com os textos originais. A utilização simultânea das duas fórmulas de ‘lecturabilidade’ permitiu estudar o grau de validade convergente e a fiabilidade dos resultados. Resultados: O valor médio para o SMOG foi 11,13 (DP = 0,81), enquanto a média Flesch-Kincaid foi igual a 8,32 (DP = 0,90). Estes resultados correspondem a um nível de escolaridade mínima em Portugal de cerca de 10 anos. A correlação Spearman entre as escalas foi de 0,948 (p = 0,51), convergência que confirmou a validade dos resultados. Para o conjunto de folhetos informativos analisados, a educação formal mínima necessária para ler e compreender o seu conteúdo foi de 9 anos completos de escolaridade. Uma percentagem significativa da população que utiliza as farmácias como uma fonte acessível e credível de informação em saúde, em particular os doentes crónicos e os idosos, possui níveis de escolaridade normalmente mais baixos que o 9º ano. Deste modo, os actuais folhetos informativos podem não ser totalmente compreendidos pelos seus destinatários. Embora constituindo uma ferramenta importante para as decisões relacionadas com a saúde, os folhetos actuais podem não apresentar a utilidade que inicialmente se poderia antecipar. Conclusões: As fórmulas de legibilidade ou ‘lecturabilidade’ são ferramentas importantes para a avaliação e ajuste de peças de informação escrita aos seus potenciais utilizadores, funcionando como alternativas exequíveis aos testes clássicos de literacia na população, e contribuindo para o sucesso das estratégias de educação para a saúde. Seria desejável desenvolver e validar ferramentas para o estudo da ‘lecturabilidade’ no nosso próprio idioma

A Classifier to Evaluate Language Specificity in Medical Documents

Consumer health information written by health care professionals is often inaccessible to the consumers it is written for. Traditional readability formulas examine syntactic features like sentence length and number of syllables, ignoring the target audience\u27s grasp of the words themselves. The use of specialized vocabulary disrupts the understanding of patients with low reading skills, causing a decrease in comprehension. A naive Bayes classifier for three levels of increasing medical terminology specificity (consumer/patient, novice health learner, medical professional) was created with a lexicon generated from a representative medical corpus. Ninety-six percent accuracy in classification was attained. The classifier was then applied to existing consumer health web pages. We found that only 4% of pages were classified at a layperson level, regardless of the Flesch reading ease scores, while the remaining pages were at the level of medical professionals. This indicates that consumer health web pages are not using appropriate language for their target audience

The Effects of Linguistic Features and Evaluation Perspective on Perceived Difficulty of Medical Text

Millions of laypersons need more medical information than they are customarily provided during their doctor’s visit. Health websites can help fill this knowledge gap, but the text is believed to be too difficult to understand for many laypersons. To help write text that is not perceived as too difficult and leads to better comprehension (actual difficulty), we study how linguistic structures influence text difficulty. Since perceived difficulty has been shown to be a barrier to self-education, evaluating perceived difficulty is an essential first step to take. In this study, we evaluated the impact of noun phrase complexity and of function word density in four sentence structures (active, passive, sentential or extraposed subject). Complex noun phrases significantly increased perceived difficulty while using more function words significantly decreased perceived difficulty. Furthermore, laypersons judge text differently when they perform the evaluation on behalf of themselves compared to evaluating on behalf of other readers

The use of Natural Language Processing techniques to support Health Literacy: an evidence-based review

Background and objectives: To conduct a literature search and analysis of the existing research using natural language processing for improving or helping health literacy, as well as to discuss the importance and potentials of addressing both fields in a joint manner. This review targets researchers who are unfamiliar with natural language processing in the field of health literacy, and in general, any researcher, regardless of his or her background, interested in multi-disciplinary research involving technology and health care. Methods: We introduce the concepts of health literacy and natural language processing. Then, a thorough search is performed using relevant databases and well-defined criteria. We review the existing literature addressing these topics, both in an independent and joint manner, and provide an overview of the state of the art using natural language processing in health literacy. We additionally discuss how the different issues in health literacy that are related to the comprehension of specialised health texts can be improved using natural language processing techniques, and the challenges involved in these processes. Results: The search process yielded 235 potential relevant references, 49 of which fully fulfilled the established search criteria, and therefore they were later analysed in more detail. These articles were clustered into groups with respect to their purpose, and most of them were focused on the development of specific natural language processing modules, such as question answering, information retrieval, text simplification or natural language generation in order to facilitate the understanding of health information.This research work has been partially funded by the University of Alicante, Generalitat Valenciana, Spanish Government and the European Commission through the projects, "Tratamiento inteligente de la informacion para la ayuda a la toma de decisiones" (GRE12-44), "Explotacion y tratamiento de la informacion disponible en Internet para la anotacion y generacion de textos adaptados al usuario" (GRE13-15), DIIM2.0 (PROMETEOII/2014/001), ATTOS (TIN2012-38536-C03-03), LEGOLANG-UAGE (TIN2012-31224), SAM (FP7-611312), and FIRST (FP7-287607)

Contribution to the study of information leaflets readability in Portuguese pharmacies

RESUMO - Introdução: A saúde e a sua promoção estão intimamente relacionadas com o nível de educação ou de alfabetização dos indivíduos. Nas farmácias da comunidade, é habitual utilizar-se, na educação dos doentes, informação escrita na forma de folheto informativo. Esta ferramenta confere autonomia aos seus utilizadores, em função das competências individuais de literacia. A literacia em saúde é a capacidade individual de obter, processar e interpretar informações sobre saúde e serviços de saúde, com o objectivo de tomar decisões informadas. A medição do nível de dificuldade na leitura e compreensão de textos em língua inglesa tem sido estudada desde 1920, tendo sido propostas as primeiras fórmulas para classificar o nível mínimo de escolaridade que um texto exige para a sua leitura e compreensão, sendo estas designadas por fórmulas de legibilidade ou ‘lecturabilidade’. Material e métodos: O principal objectivo deste trabalho foi a experimentacao de formulas de ‘lecturabilidade’, para a analise da complexidade de leitura e interpretação de folhetos informativos, cujo uso é generalizado nas Farmácias Portuguesas. Foram aplicadas a uma amostra de 4 folhetos as fórmulas SMOG e Índice Flesh-Kincaid, estimando-se assim o número de anos de escolaridade necessários para a compreensão adequada desses textos. Dois tradutores técnicos independentes traduziram os folhetos para o Inglês, obtendo-se uma versão de consenso para cada folheto. As retroversões foram avaliadas para confirmar a justaposição das traduções com os textos originais. A utilização simultânea das duas fórmulas de ‘lecturabilidade’ permitiu estudar o grau de validade convergente e a fiabilidade dos resultados. Resultados: O valor médio para o SMOG foi 11,13 (DP = 0,81), enquanto a média Flesch-Kincaid foi igual a 8,32 (DP = 0,90). Estes resultados correspondem a um nível de escolaridade mínima em Portugal de cerca de 10 anos. A correlação Spearman entre as escalas foi de 0,948 (p = 0,51), convergência que sustenta a validade dos resultados. Para o conjunto de folhetos informativos analisados, a educação formal mínima necessária para ler e compreender o seu conteúdo foi de 9 anos completos de escolaridade. Uma percentagem significativa da população que utiliza as farmácias como uma fonte acessível e credível de informação em saúde, em particular os doentes crónicos e os idosos, possui níveis de escolaridade normalmente mais baixos que o 9º ano. Deste modo, os actuais folhetos informativos podem não ser totalmente compreendidos pelos seus destinatários. Embora constituindo uma ferramenta importante para as decisões relacionadas com a saúde, os folhetos actuais podem não apresentar a utilidade que inicialmente se poderia antecipar. Conclusões: As fórmulas de legibilidade ou ‘lecturabilidade’ são ferramentas importantes para a avaliação e ajuste de peças de informação escrita aos seus potenciais utilizadores, funcionando como alternativas exequíveis aos testes clássicos de literacia na população, e contribuindo para o sucesso das estratégias de educação para a saúde. Seria desejável desenvolver e validar ferramentas para o estudo da ‘lecturabilidade’ no nosso próprio idioma.ABSTRACT - Introduction: Health and its promotion are closely related to the level of education or literacy of individuals. In community pharmacies, it is expected in patient education to make use of written information through patient leaflets. This tool gives autonomy to its users, based on the individual literacy skills. Health literacy is one’s ability to obtain, process and interpret information about health and health services in order to make informed decisions. How to measure the level of difficulty in reading and understanding texts written in English has been studied since 1920, when the first formula to rank the minimum level of schooling that is required by a text to be read and understood were proposed and designated by readability formulas. Material and methods: The main objective of this study was to experiment readability formulas, for analyzing the complexity of reading and interpreting information leaflets commonly used in Portuguese pharmacies. Two formulas, the SMOG and the Flesh-Kincaid Index, were applied to a sample of 4 patient leaflets, estimating the number of years of schooling required for the proper understanding of these texts. Two independent accredited translators translated the brochures into English, resulting in a consensus version for each leaflet. The Portuguese retroversions were evaluated to confirm the proximity of the translations with the original texts. The simultaneous use of two formulas informed the degree of concurrent validity and reliability of the results. Results: The average value for the SMOG was 11.13 (SD = 0.81), while the average Flesch-Kincaid was equal to 8.32 (SD = 0.90). These results correspond to a minimum level of education in Portugal around 10 years. The correlation coefficient between scales was 0.948 (p = 0.51), convergence that supports results validity. For this set of patient leaflets, the minimum formal education required to read and understand its content was 9 complete years of schooling. A significant proportion of the population using pharmacies as a credible and accessible source of health information, particularly the chronically ill and elderly, present levels of education usually lower than the 9th grade. This way, the current patient leaflets might not be fully understood by its recipients. The current leaflets, as a tool for health related decisions, may not have the utility that one would initially anticipate. Conclusions: Readability formulas are important tools for the evaluation and adjustment of written information to the potential users, working as feasible alternatives to classical tests of literacy in the population, and contributing to the success of health education strategies. It would be desirable to develop and validate readability tools in our own language.info:eu-repo/semantics/publishedVersio

Simplifying, reading, and machine translating health content: an empirical investigation of usability

Text simplification, through plain language (PL) or controlled language (CL), is adopted to increase readability, comprehension and machine translatability of (health) content. Cochrane is a non-profit organisation where volunteer authors summarise and simplify health-related English texts on the impact of treatments and interventions into plain language summaries (PLS), which are then disseminated online to the lay audience and translated. Cochrane’s simplification approach is non-automated, and involves the manual checking and implementation of different sets of PL guidelines, which can be an unsatisfactory, challenging and time-consuming task. This thesis examined if using the Acrolinx CL checker to automatically and consistently check PLS for readability and translatability issues would increase the usability of Cochrane’s simplification approach and, more precisely: (i) authors’ satisfaction; and (ii) authors’ effectiveness in terms of readability, comprehensibility, and machine translatability into Spanish. Data on satisfaction were collected from twelve Cochrane authors by means of the System Usability Scale and follow-up preference questions. Readability was analysed through the computational tool Coh-Metrix. Evidence on comprehensibility was gathered through ratings and recall protocols produced by lay readers, both native and non-native speakers of English. Machine translatability was assessed in terms of adequacy and fluency with forty-one Cochrane contributors, all native speakers of Spanish. Authors seemed to welcome the introduction of Acrolinx, and the adoption of this CL checker reduced word length, sentence length, and syntactic complexity. No significant impact on comprehensibility and machine translatability was identified. We observed that reading skills and characteristics other than simplified language (e.g. formatting) might influence comprehension. Machine translation quality was relatively high, with mainly style issues. This thesis presented an environment that could boost volunteer authors’ satisfaction and foster their adoption of simple language. We also discussed strategies to increase the accessibility of online health content among lay readers with different skills and language backgrounds