Niveau de préparation des diplômés à une carrière en médecine interne générale avant et après la reconnaissance de la surspécialité : objectifs atteints et besoins évolutifs dans le programme d’études

Background: A survey of General Internal Medicine (GIM) graduates published in 2006 revealed large training gaps that informed the development of the first national GIM objectives of training in 2010. The first recognized GIM certification examination was written by candidates in 2014. The landscape is again changing with the introduction in 2019 of competency-by-design (CBD) to GIM training. This study aims to examine pre-existing and emerging training gaps with standardization of GIM curricula and identify new training needs to inform CBD curricula.  Methods: GIM graduates from all 16 Canadian programs from 2014 -2019 were emailed a survey modeled after the original study published in 2006. Graduates were asked about their preparedness and importance ratings for various elements of practice. Results: Many of the previously identified gaps (difference between importance and preparedness ratings) have been resolved in specific clinical areas (obstetrical and perioperative medicine) and skills (exercise stress testing) although some still require ongoing work in areas such as substance use disorders. Importantly, gaps still exist in preparedness for some intrinsic roles (e.g. managerial skills). Conclusions:  The development of a national GIM curriculum has helped close some educational gaps but some still exist. Our study provides data needed to meet the evolving needs of our graduates.Contexte : Une enquête auprès des diplômés en médecine interne générale (MIG), publiée en 2006, a révélé d’importantes lacunes dans leur formation, menant à l’élaboration des premiers objectifs nationaux de formation en MIG en 2010. Le premier examen de certification en MIG a été organisé en 2014. Le paysage est à nouveau en train de changer avec l’introduction en 2019 de la compétence par conception (CPC) dans la formation en MIG. Cette étude vise à examiner les lacunes de formation préexistantes et émergentes avec la normalisation de la formation en MIG et à identifier les nouveaux besoins de formation pour éclairer la définition des programmes de formation selon l’approche fondée sur les compétences.  Méthodes : Les diplômés des 16 programmes canadiens en MIG entre 2014 et 2019 ont reçu par courriel un sondage inspiré de l’étude originelle publiée en 2006. Les diplômés ont été interrogés sur leur état de préparation et sur l’importance qu’ils accordaient à divers éléments de la pratique. Résultats : Un grand nombre des lacunes décelées précédemment (différence entre les cotes d’importance et de préparation) ont été comblées dans des domaines cliniques spécifiques (médecine obstétrique et périopératoire) et par rapport à des compétences spécifiques (tests de stress à l’effort); dans certains domaines, comme les troubles liés à l’utilisation de substances psychoactives, les efforts doivent être poursuivis. Il est important de noter que des lacunes subsistent dans la préparation à certains rôles intrinsèques (par exemple, les compétences de gestionnaire). Conclusion : L’élaboration d’un programme national de formation en MIG a permis de combler certaines lacunes en matière de formation, mais des carences subsistent. Notre étude fournit les données nécessaires pour répondre aux besoins évolutifs de nos diplômés

Transitioning towards senior medical resident: identification of the required competencies using consensus methodology

Background: Residency programs are facing significant restructuring through the “Competence by Design” (CBD) framework proposed by the Royal College of Physicians and Surgeons of Canada (RCPSC). Our goal was to establish the competencies to be acquired during the transition to a senior role within Internal Medicine (IM) training.     Methods: Using a modified Delphi technique, practicing IM physicians and recent graduates were polled to develop consensus on the required competencies to effectively transition from junior to senior medical resident. Participants rated each competency on a three-point Likert scale. Each competency was linked to an Entrustable Professional Activity (EPA) identified by the RCPSC IM Specialty Committee.Results: A total of eighteen participants took part in item generation (16% response rate) and nineteen in the initial ranking with seventeen completing all three iterations (89% completion rate). Eighty-three competencies were identified during questionnaire development. A final list of seventy-seven competencies reached consensus after three rounds. Most competencies matched to core of discipline EPAs.Conclusion: This consensus-based list of competencies will help create a framework and tools for the assessment of junior residents as they prepare to transition to the role of senior in the new CBD curricula for IM trainees at our institution.

Vais-je publier ce résumé? Déterminer les caractéristiques de résumés de présentations orales associés au potentiel de publication

Background: Prior studies have shown that most conference submissions fail to be published. Understanding factors that facilitate publication may be of benefit to authors. Using data from the Canadian Conference on Medical Education (CCME), our goal was to identify characteristics of conference submissions that predict the likelihood of publication with a specific focus on the utility of peer-review ratings. Methods: Study characteristics (scholarship type, methodology, population, sites, institutions) from all oral abstracts from 2011-2015 and peer-review ratings for 2014-2015 were extracted by two raters. Publication data was obtained using online database searches. The impact of variables on publication success was analyzed using logistic regressions. Results: Of 531 abstracts with peer-review ratings, 162 (31%) were published. Of the 9 analyzed variables, those associated with a greater odds of publication were: multiple vs. single institutions (odds ratio (OR) = 1.72), post-graduate research vs. others (OR=1.81) and peer-review ratings (OR=1.60). Factors with decreased odds of publication were curriculum development (OR=0.17) and innovation vs. others (OR=0.22).     Conclusion: Similar to other studies, the publication rate of CCME presentations is low. However, peer ratings were predictive of publication success suggesting that ratings could be a useful form of feedback to authors.  Contexte : Des études ont montré que la plupart des résumés soumis pour présentations orales ne sont pas ultérieurement publiés. Il pourrait être utile aux auteurs de comprendre les facteurs qui favorisent la publication. À l’aide de données provenant de la Conférence canadienne sur l’éducation médicale (CCÉM), notre objectif était d’identifier les caractéristiques des résumés permettant de prédire les chances de publication et en particulier l’utilité des cotes attribuées par les réviseurs. Méthodologie : Les caractéristiques des études (type de projet d’érudition, méthodologie, population, établissements, institutions) de tous les résumés de présentation orale soumis pour les conférences de 2011 à 2015 et les cotes attribuées par les réviseurs entre 2014 et 2015 ont été extraites par deux évaluateurs. On a obtenu des données de publication en faisant des recherches dans des bases de données en ligne.  L’effet des variables sur le potentiel de publication a été examiné à l’aide de régressions logistiques. Résultats : Au total, 953 résumés ont été révisé des années 2011 à 2015. Le taux de publication était de 30.5% (291/953) en somme. Des 531 résumés ayant été évalués des pairs, entre 2014 et 2015, 162 (31 %) ont été publiés. Parmi les neuf variables analysées, celles qui ont été associées à un nombre élevé de chances de publication étaient les suivantes : projet multi-institutionnel par rapport à institution unique (risque relatif (RR) = 1,72), travaux de recherche post-graduée par rapport à d’autres types (RR = 1,81) et présence de cotes attribuées par les réviseurs (RR = 1,6). Les facteurs associés à des moindres chances de publication étaient les suivants : articles portant sur le développement de cursus (RR = 0,17) et les innovations, par rapport à d’autres (RR = 0,22).     Conclusion :  Comme ce fut le cas pour d’autres études, le taux de publication à la suite d’une présentation au CCME est faible.  Cependant, les cotes attribuées par les réviseurs permettaient de prédire les chances de publication ce qui semble indiquer que les cotes pourraient constituer une forme de rétroaction utile aux auteurs

A comparative analysis of graduate preparedness for a career in General Internal Medicine before and after national subspecialty recognition to inform curricular changes: Have we met the mark?

Background: A survey of General Internal Medicine (GIM) graduates published in 2006 revealed large training gaps that informed the development of the first national GIM objectives of training in 2010. The first recognized GIM certification examination was written by candidates in 2014. The landscape is again changing with the introduction in 2019 of competency-by-design (CBD) to GIM training. This study aims to examine pre-existing and emerging training gaps with standardization of GIM curricula and identify new training needs to inform CBD curricula.Methods: GIM graduates from all 16 Canadian programs from 2014 -2019 were emailed a survey modeled after the original study published in 2006. Graduates were asked about their preparedness and importance ratings for various elements of practice.Results: Many of the previously identified gaps (difference between importance and preparedness ratings) have been resolved in specific clinical areas (obstetrical and perioperative medicine) and skills (exercise stress testing) although some still require ongoing work in areas such as substance use disorders. Importantly, gaps still exist in preparedness for some intrinsic roles (e.g. managerial skills).Conclusions: The development of a national GIM curriculum has helped close some educational gaps but some still exist. Our study provides data needed to meet the evolving needs of our graduates.Contexte : Une enquête auprès des diplômés en médecine interne générale (MIG), publiée en 2006, a révélé d’importantes lacunes dans leur formation, menant à l’élaboration des premiers objectifs nationaux de formation en MIG en 2010. Le premier examen de certification en MIG a été organisé en 2014. La formation est à nouveau en train de changer avec l’introduction en 2019 de la compétence par conception (CPC) dans la formation en MIG. Cette étude vise à examiner les lacunes de formation préexistantes et émergentes avec la normalisation de la formation en MIG et à identifier les nouveaux besoins de formation pour éclairer la définition des programmes de formation selon l’approche fondée sur les compétences.Méthodes : Les diplômés des 16 programmes canadiens en MIG entre 2014 et 2019 ont reçu par courriel un sondage inspiré de l’étude originelle publiée en 2006. Les diplômés ont été interrogés sur leur état de préparation et sur l’importance qu’ils accordaient à divers éléments de la pratique.Résultats : Un grand nombre des lacunes décelées précédemment (différence entre les cotes d’importance et de préparation) ont été comblées dans des domaines cliniques spécifiques (médecine obstétrique et périopératoire) et par rapport à des compétences spécifiques (tests de stress à l’effort); dans certains domaines, comme les troubles liés à l’utilisation de substances psychoactives, les efforts doivent être poursuivis. Il est important de noter que des lacunes subsistent dans la préparation à certains rôles intrinsèques (par exemple, les compétences de gestionnaire).Conclusion : L’élaboration d’un programme national de formation en MIG a permis de combler certaines lacunes en matière de formation, mais des carences subsistent. Notre étude fournit les données nécessaires pour répondre aux besoins évolutifs de nos diplômés

Avoid reinventing the wheel: implementation of the Ottawa Clinic Assessment Tool (OCAT) in Internal Medicine

Abstract Background Workplace based assessment (WBA) is crucial to competency-based education. The majority of healthcare is delivered in the ambulatory setting making the ability to run an entire clinic a crucial core competency for Internal Medicine (IM) trainees. Current WBA tools used in IM do not allow a thorough assessment of this skill. Further, most tools are not aligned with the way clinical assessors conceptualize performances. To address this, many tools aligned with entrustment decisions have recently been published. The Ottawa Clinic Assessment Tool (OCAT) is an entrustment-aligned tool that allows for such an assessment but was developed in the surgical setting and it is not known if it can perform well in an entirely different context. The aim of this study was to implement the OCAT in an IM program and collect psychometric data in this different setting. Using one tool across multiple contexts may reduce the need for tool development and ensure that tools used have proper psychometric data to support them. Methods Psychometrics characteristics were determined. Descriptive statistics and effect sizes were calculated. Scores were compared between levels of training (juniors (PGY1), seniors (PGY2s and PGY3s) & fellows (PGY4s and PGY5s)) using a one-way ANOVA. Safety for independent practice was analyzed with a dichotomous score. Variance components were generated and used to estimate the reliability of the OCAT. Results Three hundred ninety OCATs were completed over 52 weeks by 86 physicians assessing 44 residents. The range of ratings varied from 2 (I had to talk them through) to 5 (I did not need to be there) for most items. Mean scores differed significantly by training level (p < .001) with juniors having lower ratings (M = 3.80 (out of 5), SD = 0.49) than seniors (M = 4.22, SD = − 0.47) who had lower ratings than fellows (4.70, SD = 0.36). Trainees deemed safe to run the clinic independently had significantly higher mean scores than those deemed not safe (p < .001). The generalizability coefficient that corresponds to internal consistency is 0.92. Conclusions This study’s psychometric data demonstrates that we can reliably use the OCAT in IM. We support assessing existing tools within different contexts rather than continuous developing discipline-specific instruments

First year internal medicine residents’ self-report point-of-care ultrasound knowledge and skills: what (Little) difference three years make

Abstract Background With increasing availability of point-of-care ultrasound (POCUS) education in medical schools, it is unclear whether or not learning needs of junior medical residents have evolved over time. Methods We invited all postgraduate year (PGY)-1 residents at three Canadian internal medicine residency training programs in 2019 to complete a survey previously completed by 47 Canadian Internal Medicine PGY-1 s in 2016. Using a five-point Likert scale, participants rated perceived applicability of POCUS to the practice of internal medicine and self-reported skills in 15 diagnostic POCUS applications and 9 procedures. Results Of the 97 invited residents, 58 (60 %) completed the survey in 2019. Participants reported high applicability but low skills across all POCUS applications and procedures. The 2019 cohort reported higher skills in assessing pulmonary B lines than the 2016 cohort (2.3 ± SD 1.0 vs. 1.5 ± SD 0.7, adjusted p-value = 0.01). No other differences were noted. Conclusions POCUS educational needs continue to be high in Canadian internal medicine learners. The results of this needs assessment study support ongoing inclusion of basic POCUS elements in the current internal medicine residency curriculum

The implementation and evaluation of an e-Learning training module for observed structured clinical examination (OSCE) raters in Canada

The purpose of this study was to evaluate an e-Learning training module for OSCE raters who participated in the assessment of third-year medical students at the University of Ottawa, Canada. The effects of online training and those of traditional in-person (face-to-face) orientation were compared. Of the 90 physicians recruited as raters for this OSCE, 60 consented to participate (67.7%) in the study in March 2017. Of the 60 participants, 55 rated students during the OSCE, while the remaining 5 were back-up raters