AutoDiscern: Rating the Quality of Online Health Information with Hierarchical Encoder Attention-based Neural Networks

Patients increasingly turn to search engines and online content before, or in place of, talking with a health professional. Low quality health information, which is common on the internet, presents risks to the patient in the form of misinformation and a possibly poorer relationship with their physician. To address this, the DISCERN criteria (developed at University of Oxford) are used to evaluate the quality of online health information. However, patients are unlikely to take the time to apply these criteria to the health websites they visit. We built an automated implementation of the DISCERN instrument (Brief version) using machine learning models. We compared the performance of a traditional model (Random Forest) with that of a hierarchical encoder attention-based neural network (HEA) model using two language embeddings, BERT and BioBERT. The HEA BERT and BioBERT models achieved average F1-macro scores across all criteria of 0.75 and 0.74, respectively, outperforming the Random Forest model (average F1-macro = 0.69). Overall, the neural network based models achieved 81% and 86% average accuracy at 100% and 80% coverage, respectively, compared to 94% manual rating accuracy. The attention mechanism implemented in the HEA architectures not only provided 'model explainability' by identifying reasonable supporting sentences for the documents fulfilling the Brief DISCERN criteria, but also boosted F1 performance by 0.05 compared to the same architecture without an attention mechanism. Our research suggests that it is feasible to automate online health information quality assessment, which is an important step towards empowering patients to become informed partners in the healthcare process

Parodontitis und Zahnerhalt – systematische Analyse des Informationsgehaltes deutschsprachiger Internetseiten

Parodontitis gehört weltweit zu den häufigsten chronischen Infektionserkrankungen (1), wobei ein oraler Biofilm als ursächlich betrachtet wird und sowohl die Prävalenz als auch der Verlauf der Erkrankung durch weitere Risikofaktoren wie z.B. Rauchen oder Diabetes im Sinne multifaktorieller Ursachen mit beeinflusst wird (2)Unbehandelt führt eine Parodontitis zum Zahnverlust, aber selbst bei adäquater Therapie einer Parodontitis sind höhere Zahnverluste im Laufe von mehreren Jahrzehnten zu erwarten wie vielfältige Langzeitstudien aufzeigten.(3) Deshalb spielt heute die Prävalenz dieser Erkrankung eine große volkswirtschaftliche Rolle und sämtliche Bemühungen der Zahnärzteschaft sollten darauf abzielen, die Bevölkerung für diese orale Erkrankung zu sensibilisieren. Sowohl deren Prävention z.B. durch individuell angepasste Mundhygiene und Ernährung, als auch die Therapie bei frühzeitiger Diagnose der Parodontitis erscheinen wenig komplex und selbst bei lebenslanger Prophylaxe kostengünstig, im Verhältnis zu deutliche aufwendigeren Behandlungen, insbesondere dann wenn es erst einmal zum Zahnverlust gekommen ist (4) Wie Untersuchungen aus anderen Bereichen der Medizin zeigen (5),informieren sich heute bereits weite Teile der Bevölkerung über Erkrankungen und deren Therapie im Internet. Wie bereits publizierte Studien aus anderen Ländern zu verschiedenen oralen Erkrankungen und deren Behandlungen zeigten, unterscheiden sich die Informationen innerhalb der Internetseiten aber erheblich (6) Grundidee dieser Untersuchung ist, die Internetauftritte verschiedener deutschsprachiger Zahnärzte und Mund-Kiefer- und Gesichtschirurgen in Deutschland bezüglich Parodontitis und Zahnerhalt zu vergleichen und die Zugänglichkeit von Informationen für Patienten herauszufiltern. Ebenso sollen die Informationen über die Erhaltungsmöglichkeiten von parodontal geschädigten Zähnen gegenüber der Extraktion und Insertion von Implantaten auf den Internetseiten ermittelt und anschließend analysiert werden. Die auf den Internetseiten veröffentlichten Daten sollen abschließend auch hinsichtlich Aktualität und Validität gegenüber wissenschaftlicher Evidenz zur Ätiologie und Therapie einer Parodontitis überprüft werden. Zu diesem Zweck soll mittels vier verschiedener Suchmaschinen (Google.de, Bing.de, Yahoo.com und ASK.com) die Homepages von parodontologisch tätigen Zahnärzten und Mund-Kiefer-Gesichtschirurgen ermittelt werden um diese anschließend anhand an die Fragestellung spezifisch angepasster, aber bereits validierter Fragebögen auszuwerten. In allen vier Suchmaschinen werden die Ergebnisse durch die Eingabe der drei Begriffe wie folgt: „Parodontitis / Parodontose / Implantat“ gefiltert. Dabei soll die geplante Suche zeitnah für alle Suchmaschinen durchlaufen werden, sodass die zusammengeführten Ergebnisse doppelte Internetseiten ausschließen, auch Alias-Adressen für bereits vorhandene Internetseiten, sowie Internetseiten, die nicht zweifelsfrei einem Zahnarzt oder Mund-Kiefer- und Gesichtschirurgen zuzuordnen sind, sicher entfernt werden können. Außerdem werden Internetseiten von Kliniken oder aus der Industrie aus den Suchergebnissen eliminiert, da diese zum einen höchstwahrscheinlich aufgrund von Marketingzwecken zu positiven Fakten bewerben, und andererseits die Kliniken weniger Informationen zur Patientenaufklärung anbieten und mehr als Kontaktseiten genutzt werden. Der modifizierte deutschsprachige Fragebogen basiert auf den validierten Fragebögen „Discern“(7) und „Lida“ (8). Zur größtmöglichen Objektivierung werden dabei randomisiert und stichprobenartig verschiedene Internetseiten nach Ablauf eines Zeitintervalls erneut untersucht, und zusätzlich verschiedene Internetseiten durch eine zweite, gegenüber den Ergebnissen des ersten Untersuchers verblindete Person untersucht. Der Fragebogen ist in drei Teilbereiche untergliedert werden, wobei der erste Teil sich auf den technischen Aufbau wie z.B. Navigationslinks, Suchfunktionen, Interaktivität, Aktualität und den Betrieb bei verschiedenen Browsern bezieht. Im zweiten Teil werden die allgemeineren Informationen für den Besucher der Homepage untersucht. Hierbei wird hauptsächlich die Verständlich- und Lesbarkeit (z.B. Beschreibung des Behandlungsverfahren) untersucht. Abschließend werden im dritten Teil die spezifischen Inhalte analysiert werden, ob und welche Risikofaktoren beispielsweise benannt wurden, ob der Ablauf der Diagnosestellung und der Therapie beschrieben ist oder ob es Prognosen zum Zahnerhalt oder Vergleiche zur Implantat-Versorgung gibt. Es ist geplant die Suchstrategie innerhalb des Jahres 2017 abzuschließen, um anschließend zeitnah die gewonnenen Erkenntnisse publizieren zu können

Dietary supplements with green tea marketed in Portugal: information on website, labels and antioxidant activity

The use of plants and their health benefits have been recognized over the years. Its use and consumption of herbal dietary supplements has increased in the last years in United States and Europe. Internet is one of the most required options to buy dietary supplements (DS). Several studies suggest that information on most sites is incomplete, poorly referenced, and may contain illegal claims. Thus, a conscious and informed decision is essential for consumers. Camellia s inensis , also known as green tea, is one of the most consumed plants worldwide and has been recognized by its antioxidant potential over the years. This activity can protect several diseases with an oxidative stress origin. For these reasons, a study was performed to evaluate the quality of information on websites selling dietary supplements with green tea. A modified DISCERN tool was used to evaluate websites from pharmacies/parapharmacies, websites from food health stores, and websites without physical space. Websites scored 1 or 2 at evaluation rating (Low – serious or extensive outcomes). These results reveal the importance of developing a checklist for the online marketing of herbal products, based on DISCERN instrument, or other. These instruments can guide health professionals, who have a very important role in directing patients to high-quality sources of information.Legal framework for dietary supplements varies among countries, and in Portugal, DS are regulated by the Direção Geral de Alimentação e Veterinária (DGAV). Although there are directives published by European Commission, in Portugal, decree-law are incomplete and DS safety is placed on the substance’s manufacturer or marketer. In addition, clinical trials are not required for DS in Portugal, which allows adulteration, falsification, contamination and incorrect labels. In Portugal, DS can be sold in pharmacies, parapharmacies, supermarkets, dietetic stores and online, and consumers should be able to make informed and appropriate health care choices. Also, consumers use DS labels (information provided on the packaging) and leaflets to further their understanding about some DS ingredients, relevant indication(s), directions for use, side effects, contraindications and drug-supplements interactions. For these reasons, another study was performed using an adapted form to evaluate legal and scientific information of twenty green tea DS sold in pharmacies, parapharmacies and health food stores in Portugal. From the legal and scientific points of view none of the websites fulfilled all the analyzed criteria. Seven DS (35.0%) had indications of use similar to those mentioned in the literature. Adverse reactions and drug interactions information were rarely provided by two and three DS, respectively. Green tea is a complex mixture of several constituents, which include phenolic compounds like catechins, flavonoids, and phenolic acids. This chemical composition is associated with antioxidant activity. Antioxidant products demand has been increasing over the last years. They are referenced as having a protective role in many diseases, like cancer, neurodegenerative and cardiovascular disorders. Considering the lack of legislation, in Portugal, that controls DS prior to its introduction in the market, the last aim of this thesis was to evaluate antioxidant activity of six green tea supplements (three isolated and three mixture of substances/plant extracts). This evaluation was performed by common assays, namely, DPPH, superoxide and Fe2+ chelating assays. Results showed that antioxidant activity depends on composition and concentration of each substance present in green tea’s DS. In addition, green tea DS studied showed different antioxidant results at different assays performed. These thesis results may contribute to understand the importance of quality information provided by websites selling DS, and also the importance of regulation regarding its manufacturing and selling