Agreement between an isolated rater and a group of raters

The agreement between two raters judging items on a categorical scale is traditionally assessed by Cohen’s kappa coefficient. We introduce a new coefficient for quantifying the degree of agreement between an isolated rater and a group of raters on a nominal or ordinal scale. The group of raters is regarded as a whole, a reference or gold-standard group with its own heterogeneity. The coefficient, defined on a population-based model, requires a specific definition of the concept of perfect agreement. It has the same properties as Cohen’s kappa coefficient and reduces to the latter when there is only one rater in the group. The new approach overcomes the problem of consensus within the group of raters and generalizes Schouten’s index. The method is illustrated on published syphilis data and on data collected from a study assessing the ability of medical students in diagnostic reasoning when compared with expert knowledge

Lifestyle Behaviours and Plasma Vitamin C and β-Carotene Levels from the ELAN Population (Liège, Belgium)

Several factors, including fruit and vegetables intakes, have been shown to significantly influence the plasma concentrations of the two antioxidants vitamin C and β-carotene. Deficiency levels of 6 mg/L (34.2 μM) for vitamin C and of 0.22 mg/L (0.4 μM) for β-carotene have been suggested below which cardiovascular risk might be increased. The present study performed on 897 presumably healthy subjects aged 40–60 years aimed to examine how modifiable lifestyle factors may be related to vitamin C and/or β-carotene deficiency. Gender, smoking, lack of regular physical activity and of daily fruit consumption (≥2/day), and social status (in particular, unemployment) were found to be significant risk factors for vitamin C deficiency. For β-carotene deficiency, the same factors were identified except social status; moreover, overweight and OC use in women were also found to have a deleterious effect. For non exposed subjects, the probability of developing vitamin C deficiency was 4% in men and 2.4% in women. This probability increased to 66.3% for men and to 44.3% for women (and even to 50.4% under OC use), when all risk factors were present. For β-carotene deficiency, the corresponding probabilities were equal to 29.7% in men and 13.7% in women (no risk factor present), and to 86.1% for men and 69.9% (91.6% for OC use) for women (all factors present), respectively

Medically Unexplained Oropharyngeal Dysphagia at the University Hospital ENT Outpatient Clinic for Dysphagia: A Cross-Sectional Cohort Study

Medically unexplained oropharyngeal dysphagia (MUNOD) is a rare condition. It presents without demonstrable abnormalities in the anatomy of the upper aero-digestive tract and/or swallowing physiology. This study investigates whether MUNOD is related to affective or other psychiatric conditions. The study included patients with dysphagic complaints who had no detectible structural or physiological abnormalities upon swallowing examination. Patients with any underlying disease or disorder that could explain the oropharyngeal dysphagia were excluded. All patients underwent a standardized examination protocol, with FEES examination, the Hospital Anxiety and Depression Scale (HADS), and the Dysphagia Severity Scale (DSS). Two blinded judges scored five different FEES variables. None of the 14 patients included in this study showed any structural or physiological abnormalities during FEES examination. However, the majority did show abnormal piecemeal deglutition, which could be a symptom of MUNOD. Six patients (42.8%) had clinically relevant symptoms of anxiety and/or depression. The DSS scores did not differ significantly between patients with and without affective symptoms. Affective symptoms are common in patients with MUNOD, and their psychiatric conditions could possibly be related to their swallowing problems

International perception of lung sounds : a comparison of classification across some European borders

Peer reviewe

Compte rendu du colloque "Méthodes Quantitatives en Sciences Humaines (MQSH) 2024"

Le vendredi 7 juin 2024 s’est tenu le 13e colloque annuel Méthodes quantitatives en sciences humaines (MQSH) à l’Université TÉLUQ à Montréal. Cinq conférenciers et conférencières ont présenté leurs travaux dans le domaine. Eric Frenette a discuté de l’évolution du modèle Bifacteur, depuis sa proposition par Holzinger, suite aux travaux de Spearman en 1927, jusqu’à sa version contemporaine, version digne du monstre de Frankenstein, qu’elle est devenue en y transfigurant ses hypothèses sous-jacentes et rapiéçant des paramètres augmentant son potentiel explicatif. Sophie Vanbelle, conférencière invitée pour l’évènement, a exposé les principales mesures statistiques et leur interprétation pour déterminer la fiabilité et l’accord dans le cas d’une échelle binaire. Elle a discuté de l’importance de rapporter les différents indices d’accord, de calculer l’effectif d’échantillon nécessaire pour avoir des mesures fiables de l’accord interjuges (et intrajuges) et du besoin de lignes directrices pour les chercheurs et chercheuses. André Achim a proposé une approche novatrice de l’analyse factorielle exploratoire reposant non pas sur la décomposition de matrices, mais plutôt sur l’annulation du signal, ce qui permet d’extraire toutes les informations pertinentes, le nombre de facteurs et la structure factorielle, tout en réduisant le nombre d’options décisionnelles. Ibtissem Ben Alaya a présenté le processus de validation en sept étapes d’un questionnaire portant sur les compétences socioémotionnelles des enseignants et enseignantes tout en discutant des défis de leur implantation ainsi que des choix psychométriques pris. Louis Laurencelle, dans sa présentation, a critiqué le raisonnement et les critères d’altération du taux d’erreur de type I (seuil α), telles la correction de Bonferroni et celle de Tukey, lesquels torpillent la puissance statistique des travaux de recherche en sciences humaines. Il a examiné et argumenté la nocivité d’une telle approche et son absurdité. En conclusion, cette 13e édition du colloque MQSH fut digne de sa bannière : compétence, critique et créativité

Effect of an audiovisual message for tetanus booster vaccination broadcast in the waiting room

<p>Abstract</p> <p>Background</p> <p>General practitioners (GPs) often lack time and resources to invest in health education; audiovisual messages broadcast in the waiting room may be a useful educational tool. This work was designed to assess the effect of a message inviting patients to ask for a tetanus booster vaccination.</p> <p>Methods</p> <p>A quasi experimental study was conducted in a Belgian medical practice consisting of 6 GPs and 4 waiting rooms (total: 20,000 contacts/year). A tetanus booster vaccination audiovisual message was continuously broadcast for 6 months in 2 randomly selected waiting rooms (intervention group - 3 GPs) while the other 2 waiting rooms remained unequipped (control group - 3 GPs). At the end of the 6-month period, the number of vaccine adult-doses delivered by local pharmacies in response to GPs' prescriptions was recorded. As a reference, the same data were also collected retrospectively for the general practice during the same 6-month period of the previous year.</p> <p>Results</p> <p>During the 6-month reference period where no audiovisual message was broadcast in the 4 waiting rooms, the number of prescriptions presented for tetanus vaccines was respectively 52 (0.44%) in the intervention group and 33 (0.38%) in the control group (p = 0.50). By contrast, during the 6-month study period, the number of prescriptions differed between the two groups (p < 0.0001), rising significantly to 91 (0.79%) in the intervention group (p = 0.0005) while remaining constant in the control group (0.38% vs 0.39%; p = 0.90).</p> <p>Conclusions</p> <p>Broadcasting an audiovisual health education message in the GPs' waiting room was associated with a significant increase in the number of adult tetanus booster vaccination prescriptions delivered by local pharmacies.</p

Early termination of ISRCTN45828668, a phase 1/2 prospective, randomized study of Sulfasalazine for the treatment of progressing malignant gliomas in adults

BACKGROUND: Sulfasalazine, a NF-kappaB and x(c)-cystine/glutamate antiport inhibitor, has demonstrated a strong antitumoral potential in preclinical models of malignant gliomas. As it presents an excellent safety profile, we initiated a phase 1/2 clinical study of this anti-inflammatory drug for the treatment of recurrent WHO grade 3 and 4 astrocytic gliomas in adults. METHODS: 10 patients with advanced recurrent anaplastic astrocytoma (n = 2) or glioblastoma (n = 8) aged 32-62 years were recruited prior to the planned interim analysis of the study. Subjects were randomly assigned to daily doses of 1.5, 3, 4.5, or 6 grams of oral sulfasalazine, and treated until clinical or radiological evidence of disease progression or the development of serious or unbearable side effects. Primary endpoints were the evaluation of toxicities according to the CTCAE v.3.0, and the observation of radiological tumor responses based on MacDonald criteria. RESULTS: No clinical response was observed. One tumor remained stable for 2 months with sulfasalazine treatment, at the lowest daily dose of the drug. The median progression-free survival was 32 days. Side effects were common, as all patients developed grade 1-3 adverse events (mean: 7.2/patient), four patients developed grade 4 toxicity. Two patients died while on treatment or shortly after its discontinuation. CONCLUSION: Although the proper influence of sulfasalazine treatment on patient outcome was difficult to ascertain in these debilitated patients with a large tumor burden (median KPS = 50), ISRCTN45828668 was terminated after its interim analysis. This study urges to exert cautiousness in future trials of Sulfasalazine for the treatment of malignant gliomas. TRIAL REGISTRATION: Current Controlled Trials ISRCTN45828668

A bootstrap method for comparing correlated kappa coefficients

Cohen’s kappa coefficient is traditionally used to quantify the degree of agreement between two raters on a nominal scale. Correlated kappas occur in many settings (e.g., repeated agreement by raters on the same individuals, concordance between diagnostic tests and a gold standard) and often need to be compared. While different techniques are now available to model correlated κ coefficients, they are generally not easy to implement in practice. The present paper describes a simple alternative method based on the bootstrap for comparing correlated kappa coefficients. The method is illustrated by examples and its type I error studied using simulations. The method is also compared with the generalized estimating equations of the second order and the weighted least-squares methods

Accord entre observateurs et groupes d'observateurs

Agreement between raters on a categorical scale is not only a subject of scientific research but also a problem frequently encountered in practice. Whenever a new scale is developed to assess individuals or items in a certain context, inter-rater agreement is a prerequisite for the scale to be actually implemented in routine use. Cohen's kappa coeffcient is a landmark in the developments of rater agreement theory. This coeffcient, which operated a radical change in previously proposed indexes, opened a new field of research in the domain. In the first part of this work, after a brief review of agreement on a quantitative scale, the kappa-like family of agreement indexes is described in various instances: two raters, several raters, an isolated rater and a group of raters and two groups of raters. To quantify the agreement between two individual raters, Cohen's kappa coefficient (Cohen, 1960) and the intraclass kappa coefficient (Kraemer, 1979) are widely used for binary and nominal scales, while the weighted kappa coefficient (Cohen, 1968) is recommended for ordinal scales. An interpretation of the quadratic (Schuster, 2004) and the linear (Vanbelle and Albert, 2009c) weighting schemes is given. Cohen's kappa (Fleiss, 1971) and intraclass kappa (Landis and Koch, 1977c) coefficients were extended to the case where agreement is searched between several raters. Next, the kappa-like family of agreement coefficients is extended to the case of an isolated rater and a group of raters (Vanbelle and Albert, 2009a) and to the case of two groups of raters (Vanbelle and Albert, 2009b). These agreement coefficients are derived on a population-based model and reduce to the well-known Cohen's kappa coefficient in the case of two single raters. The proposed agreement indexes are also compared to existing methods, the consensus method and Schouten's agreement index (Schouten, 1982). The superiority of the new approach over the latter is shown. In the second part of the work, methods for hypothesis testing and data modeling are discussed. Firstly, the method proposed by Fleiss (1981) for comparing several independent agreement indexes is presented. Then, a bootstrap method initially developed by McKenzie et al. (1996) to compare two dependent agreement indexes, is extended to several dependent agreement indexes (Vanbelle and Albert, 2008). All these methods equally apply to the kappa coefficients introduced in the first part of the work. Next, regression methods for testing the effect of continuous and categorical covariates on the agreement between two or several raters are reviewed. This includes the weighted least-squares method allowing only for categorical covariates (Barnhart and Williamson, 2002) and a regression method based on two sets of generalized estimating equations. The latter method was developed for the intraclass kappa coefficient (Klar et al., 2000), Cohen's kappa coefficient (Williamson et al., 2000) and the weighted kappa coefficient (Gonin et al., 2000). Finally, a heuristic method, restricted to the case of independent observations, is presented (Lipsitz et al., 2001, 2003) which turns out to be equivalent to the generalized estimating equations approach. These regression methods are compared to the bootstrap method extended by Vanbelle and Albert (2008) but they were not generalized to agreement between a single rater and a group of raters nor between two groups of raters.Sujet d'intenses recherches scientifiques, l'accord entre observateurs sur une échelle catégorisée est aussi un problème fréquemment rencontré en pratique. Lorsqu'une nouvelle échelle de mesure est développée pour évaluer des sujets ou des objets, l'étude de l'accord inter-observateurs est un prérequis indispensable pour son utilisation en routine. Le coefficient kappa de Cohen constitue un tournant dans les développements de la théorie sur l'accord entre observateurs. Ce coefficient, radicalement différent de ceux proposés auparavant, a ouvert de nouvelles voies de recherche dans le domaine. Dans la première partie de ce travail, après une brève revue des mesures d'accord sur une échelle quantitative, la famille des coefficients kappa est décrite dans différentes situations: deux observateurs, plusieurs observateurs, un observateur isolé et un groupe d'observateurs, et enfin deux groupes d'observateurs. Pour quantifier l'accord entre deux observateurs, le coefficient kappa de Cohen (Cohen, 1960) et le coefficient kappa intraclasse (Kraemer, 1979) sont largement utilisés pour les échelles binaires et nominales. Par contre, le coefficient kappa pondéré (Cohen, 1968) est recommandé pour les échelles ordinales. Schuster (2004) a donné une interprétation des poids quadratiques tandis que Vanbelle and Albert (2009c) se sont interessés aux poids linéaires. Les coefficients d'accord correspondant au coefficient kappa de Cohen (Fleiss, 1971) et au coefficient kappa intraclasse (Landis and Koch, 1977c) sont aussi donnés dans le cas de plusieurs observateurs. La famille des coefficients kappa est ensuite étendue au cas d'un observateur isolé et d'un groupe d'observateurs (Vanbelle and Albert, 2009a) et au cas de deux groupes d'observateurs (Vanbelle and Albert, 2009b). Les coefficients d'accord sont élaborés à partir d'un modèle de population et se réduisent au coefficient kappa de Cohen dans le cas de deux observateurs isolés. Les coefficients d'accord proposés sont aussi comparés aux méthodes existantes, la méthode du consensus et le coefficient d'accord de Schouten (Schouten, 1982). La supériorité de la nouvelle approche sur ces dernières est démontrée. Des méthodes qui permettent de tester des hypothèses et modéliser des coefficients d'accord sont abordées dans la seconde partie du travail. Une méthode permettant la comparaison de plusieurs coefficients d'accord indépendants (Fleiss, 1981) est d'abord présentée. Puis, une méthode basée sur le bootstrap, initialement développée par McKenzie et al. (1996) pour comparer deux coefficients d'accord dépendants, est étendue au cas de plusieurs coefficients dépendants par Vanbelle and Albert (2008). Pour finir, des méthodes de régression permettant de tester l'effet de covariables continues et catégorisées sur l'accord entre deux observateurs sont exposées. Ceci comprend la méthode des moindres carrés pondérés (Barnhart and Williamson, 2002), admettant seulement des covariables catégorisées, et une méthode de régression basée sur deux équations d'estimation généralisées. Cette dernière méthode a été développée dans le cas du coefficient kappa intraclasse (Klar et al., 2000), du coefficient kappa de Cohen (Williamson et al., 2000) et du coefficient kappa pondéré (Gonin et al., 2000). Enfin, une méthode heuristique, limitée au cas d'observations indépendantes, est présentée (Lipsitz et al., 2001, 2003). Elle est équivalente à l'approche par les équations d'estimation généralisées. Ces méthodes de régression sont comparées à l'approche par le bootstrap (Vanbelle and Albert, 2008) mais elles n'ont pas encore été généralisées au cas d'un observateur isolé et d'un groupe d'observateurs ni au cas de deux groupes d'observateurs.Het bepalen van overeenstemming tussen beoordelaars voor categorische gegevens is niet alleen een kwestie van wetenschappelijk onderzoek, maar ook een probleem dat men veelvuldig in de praktijk tegenkomt. Telkens wanneer een nieuwe schaal wordt ontwikkeld om individuele personen of zaken te evalueren in een bepaalde context, is interbeoordelaarsovereenstemming een noodzakelijke voorwaarde vooraleer de schaal in de praktijk kan worden toegepast. Cohen's kappa coëfficiënt is een mijlpaal in de ontwikkeling van de theorie van interbeoordelaarsovereenstemming. Deze coëfficiënt, die een radicale verandering met de voorgaande indices inhield, opende een nieuw onderzoeksspoor in het domein. In het eerste deel van dit werk wordt, na een kort overzicht van overeenstemming voor kwantitatieve gegevens, de kappa-achtige familie van overeenstemmingsindices beschreven in verschillende gevallen: twee beoordelaars, verschillende beoordelaars, één geïsoleerde beoordelaar en een groep van beoordelaars, en twee groepen van beoordelaars. Om de overeenstemming tussen twee individuele beoordelaars te kwantificeren worden Cohen's kappa coëfficiënt (Cohen, 1960) en de intraklasse kappa coëfficiënt (Kraemer, 1979) veelvuldig gebruikt voor binaire en nominale gegevens, terwijl de gewogen Kappa coëfficiënt (Cohen, 1968) aangewezen is voor ordinale gegevens. Een interpretatie van de kwadratische (Schuster, 2004) en lineaire (Vanbelle and Albert, 2009c) weegschema's wordt gegeven. Overeenstemmingsindices die overeenkomen met Cohen's Kappa (Fleiss, 1971) en intraklasse-kappa (Landis and Koch, 1977c) coëfficiënten kunnen worden gebruikt om de overeenstemming tussen verschillende beoordelaars te beschrijven. Daarna wordt de familie van kappa-achtige overeenstemmingscoëfficiënten uitgebreid tot het geval van één geïsoleerde beoordelaar en een groep van beoordelaars (Vanbelle and Albert, 2009a) en tot het geval van twee groepen van beoordelaars (Vanbelle and Albert, 2009b). Deze overeenstemmingscoëfficiënten zijn afgeleid van een populatie-gebaseerd model en kunnen worden herleid tot de welbekende Cohen's coëfficiënt in het geval van twee individuele beoordelaars. De voorgestelde overeenstemmingsindices worden ook vergeleken met bestaande methodes, de consensusmethode en Schoutens overeenstemmingsindex (Schouten, 1982). De superioriteit van de nieuwe benadering over de laatstgenoemde wordt aangetoond. In het tweede deel van het werk worden hypothesetesten en gegevensmodellering besproken. Vooreerst wordt de methode voorgesteld door Fleiss (1981) om verschillende onafhankelijke overeenstemmingsindices te vergelijken, voorgesteld. Daarna wordt een bootstrapmethode, oorspronkelijk ontwikkeld door McKenzie et al. (1996) om twee onafhankelijke overeenstemmingsindices te vergelijken, uitgebreid tot verschillende afhankelijke overeenstemmingsindices (Vanbelle and Albert, 2008). Al deze methoden kunnen ook worden toegepast op de overeenstemmingsindices die in het eerste deel van het werk zijn beschreven. Ten slotte wordt een overzicht gegeven van regressiemethodes om het e ect van continue en categorische covariabelen op de overeenstemming tussen twee of meer beoordelaars te testen. Dit omvat de gewogen kleinste kwadraten methode, die alleen werkt met categorische covariabelen (Barnhart and Williamson, 2002) en een regressiemethode gebaseerd op twee sets van gegeneraliseerde schattingsvergelijkingen. De laatste methode was ontwikkeld voor de intraklasse kappa coëfficiënt (Klar et al., 2000), Cohen's kappa coëfficiënt (Williamson et al., 2000) en de gewogen kappa coëfficiënt (Gonin et al., 2000). Ten slotte wordt een heuristische methode voorgesteld die alleen van toepassing is op het geval van onafhankelijk waarnemingen (Lipsitz et al., 2001, 2003). Ze blijkt equivalent te zijn met de benadering van de gegeneraliseerde schattingsvergelijkingen. Deze regressiemethoden worden vergeleken met de bootstrapmethode uitgebreid door Vanbelle and Albert (2008) maar werden niet veralgemeend tot de overeenstemming tussen een enkele beoordelaar en een groep van beoordelaars, en ook niet tussen twee groepen van beoordelaars