La vraisemblance de patrons de réponses : étude de la précision des indices d'ajustement des scores individuels, de leurs points critiques et du taux optimal d'aberrance

Cette étude doctorale porte sur les indices d’ajustement des scores individuels dérivés de la Théorie des réponses aux items (TRI). Les deux concepts retenus dans le cadre de cette recherche sont les taux de détection et les points critiques. Le premier et le troisième article traitent des taux de détection tandis que le deuxième article traite des points critiques. Le premier article étudie la relation entre la puissance des indices et l’ajustement des modèles logistiques à 2 et à 3 paramètres de la TRI aux données. Les résultats suggèrent que pour que les indices soient puissants, un modèle qui correspond à la distribution des données doit être préféré à un modèle qui épouse les données. Dans le deuxième article, nous avons élaboré des points critiques pour la statistiques lz qui peuvent être utilisés dans des contextes semblables à ceux étudiés dans le cadre du premier article. Les résultats obtenus, dans le deuxième article, démontrent qu’il est possible de créer une table des points critiques. Les intervalles de confiance calculés pour chaque point critique indiquent que ces derniers sont précis. Lors de la mise à l’essai de ces points critiques, il a été observé que les taux d’erreur de type I sont conservateurs. Ceci est plus prononcé pour l’erreur de type I de 0,01. Quant aux taux de détection pour les niveaux d’erreur de type I de 0,05 et 0,10, ils sont légèrement inférieurs à ceux recensés dans la documentation. Dans le troisième article, il est question de la relation entre les taux de détection des indices d’ajustement des scores individuels et le taux d’aberrance des patrons de réponses. Les résultats de ce troisième article suggèrent l’existence du phénomène du taux d’aberrance optimal. Il y a une augmentation du taux de détection des indices d’ajustement des scores individuels avec l’augmentation du taux d’aberrance jusqu’à l’atteinte d’un sommet. Par la suite, une augmentation du taux d’aberrance entraîne une diminution du taux de détection. Ces derniers résultats nous permettre d’expliquer un phénomène qui n’avait jamais été formellement étudié auparavant.This doctoral research on Item Response Theory (IRT)-based Person-Fit Statistics (PFS) is comprised of three studies. This research was divided in such a way so we could study two key concepts: the detection rates and the critical values of PFS. In the first and third study, detection rates were studied. The second study focused on the critical values of a PFS. In the first article, we observed that the PFS were more accurate when they were used with parametric estimated ICCs (ML2P and ML3P), and this was independent of the sample size. It seems necessary to verify the model-data fit before carrying out appropriateness assessment with IRT-based PFS. Following the development of a table of critical values, in the second article, the degrees of confidence were calculated for each interval and these results lead us to believe that the critical values were precise. These critical values were tested and it was observed that the type I error rates were conservative but the detection rates observed for .05 and .10 type I error levels were slightly inferior to the detection rates found in the literature. In the third article, we investigated the optimal aberrance phenomenon, i.e., we observed an increase in the detection rate of PFS with an increase in the aberrance rate until a peak was reached and then an increase in the aberrance rate lead to a decrease in the detection rates of PFS. These last results help us to explain a phenomenon that was never previously studied

Strategies identified by program directors to improve adoption of the CanMEDS framework

Background: Challenges associated with the use of the CanMEDS physician competency framework (CanMEDS) have been the subject of several studies. Most of these have focused on the adoption of specific roles in an Anglophone context. This study aims to investigate how Francophone postgraduate medical education (PGME) program directors have integrated the CanMEDS framework into their programs.Methods: We invited Francophone PGME program directors to participate in group interviews aimed at exploring their experiences using the CanMEDS framework. We used an open-ended interview guide and realized a thematic analysis of the transcripts.  Results: We held five group interviews between February and December 2014 with 17 Francophone program directors representing 13 out of a maximum of 62 different specialties/subspecialties. Although program directors endorsed the framework, its integration was seen as challenging, particularly the assessment of non-medical expert roles. To overcome these challenges, they relied on common strategies including a longitudinal approach to the framework, improving inter-program collaboration, and subcontracting the teaching of certain roles.Conclusion: While integrating the CanMEDS framework into their programs, Francophone program directors struggled with teaching and assessing non-medical expert roles and ensuring their longitudinal integration over time.  Directors relied on various strategies, some of which (e.g., subcontracting) may ultimately limit the adoption of the framework as a whole.___Contexte: Les défis associés à l'utilisation du référentiel de compétences CanMEDS pour les médecins ont fait l'objet de plusieurs études. La plupart de ces études ont portées sur l'adoption de rôles spécifiques dans un contexte anglophone. Cette étude vise à explorer comment les directeurs de programmes d’études médicales postdoctorales (EMP) francophones ont intégré CanMEDS dans leurs programmes.Méthodes: Nous avons invité les directeurs de programmes EMP francophones à participer à des entrevues de groupe. Ces entrevues visaient à explorer leur expérience de l’utilisation du référentiel CanMEDS. Nous avons utilisé un guide d'entrevue ouvert et nous avons fait une analyse thématique des transcriptions. Résultats: Nous avons tenu cinq entrevues de groupe entre février et décembre 2014 avec 17 directeurs de programmes de 13 des 62 spécialités/sous-spécialités. Bien que les directeurs de programmes appuient le référentiel, son intégration a été perçue comme un défi, notamment en ce qui a trait à l'évaluation des rôles autres que celui d'expert médical. Pour surmonter ces défis, ils se sont appuyés sur des stratégies communes, notamment une approche longitudinale du référentiel, l'amélioration de la collaboration entre les programmes et la sous-traitance de l'enseignement de certains rôles.Conclusions: À travers le processus d’intégration du référentiel CanMEDS, les directeurs de programmes EMP francophones ont de la difficulté à enseigner et à évaluer les rôles autres que celui d'expert médical ainsi qu’à veiller à leur intégration respective et continue au fil du temps. Ils ont eu recours à diverses stratégies, dont certaines (p. ex., la sous-traitance) pourraient ultimement limiter l'adoption du référentiel dans son ensemble

La validité en tant qu’impératif social : perceptions d’utilisateurs et de leaders

Introduction: Recently, validity as a social imperative was proposed as an emerging conceptualization of validity in the assessment literature in health professions education (HPE). To further develop our understanding, we explored the perceived acceptability and anticipated feasibility of validity as a social imperative with users and leaders engaged with assessment in HPE in Canada. Methods: We conducted a qualitative interpretive description study. Purposeful and snowball sampling were used to recruit participants for semi-structured individual interviews and focus groups. Each transcript was analyzed by two team members and discussed with the team until consensus was reached. Results: We conducted five focus group and eleven interviews with two different stakeholder groups (users and leaders). Our findings suggest that the participants perceived the concept of validity as a social imperative as acceptable. Regardless of group, participants shared similar considerations regarding: the limits of traditional validity models, the concept’s timeliness and relevance, the need to clarify some terms used to characterize the concept, the similarities with modern theories of validity, and the anticipated challenges in applying the concept in practice. In addition, participants discussed some limits with current approaches to validity in the context of workplace-based and programmatic assessment. Conclusion: Validity as a social imperative can be interwoven throughout existing theories of validity and may represent how HPE is adapting traditional models of validity in order to respond to the complexity of assessment in HPE; however, challenges likely remain in operationalizing the concept prior to its implementation.Contexte : Une nouvelle manière de concevoir la validité en matière d’évaluation des apprentissages dans les programmes en sciences de la santé a récemment été proposée : la validité en tant qu’impératif social. Pour mieux la comprendre, nous avons exploré l’acceptabilité perçue et la faisabilité anticipée de la validité en tant qu’impératif social auprès d’utilisateurs et de leaders en matière d’évaluation en éducation des professions de la santé au Canada. Méthodes : Nous avons mené une étude qualitative descriptive interprétative. Pour recruter les participants aux entrevues individuelles semi-structurées et aux groupes de discussion, nous avons utilisé l’échantillonnage par choix raisonné et l’échantillonnage boule de neige. Les transcriptions ont été analysées par deux membres de l’équipe et discutées avec l’ensemble de l’équipe jusqu’à l’obtention d’un consensus. Résultats : Nous avons mené cinq groupes de discussion et onze entretiens avec deux groupes de parties prenantes, l’un composé d’utilisateurs, l’autre de leaders. Nos résultats suggèrent que les participants estiment acceptable le concept de validité comme impératif social. Quel que soit le groupe, les participants ont partagé des considérations similaires concernant : les limites des modèles de validité traditionnels, l’actualité et la pertinence du concept, la nécessité de clarifier certains termes utilisés pour définir le concept, les similitudes avec les théories modernes de la validité, et les défis anticipés de son application. En outre, les participants ont soulevé certaines limites des approches actuelles de la validité dans le contexte de l’évaluation en milieu de travail et de l’évaluation programmatique. Conclusion : La notion de validité comme impératif social peut être incorporée dans les théories existantes pour traduire l’adaptation des modèles traditionnels de la validité à la complexité de l’évaluation en éducation des professions de la santé; cependant, certains défis liés à l’opérationnalisation du concept seraient à résoudre avant sa mise en œuvre

Multiple tutorial-based assessments: a generalizability study

BACKGROUND: Tutorial-based assessment commonly used in problem-based learning (PBL) is thought to provide information about students which is different from that gathered with traditional assessment strategies such as multiple-choice questions or short-answer questions. Although multiple-observations within units in an undergraduate medical education curriculum foster more reliable scores, that evaluation design is not always practically feasible. Thus, this study investigated the overall reliability of a tutorial-based program of assessment, namely the Tutotest-Lite. METHODS: More specifically, scores from multiple units were used to profile clinical domains for the first two years of a system-based PBL curriculum. RESULTS: G-Study analysis revealed an acceptable level of generalizability, with g-coefficients of 0.84 and 0.83 for Years 1 and 2, respectively. Interestingly, D-Studies suggested that as few as five observations over one year would yield sufficiently reliable scores. CONCLUSIONS: Overall, the results from this study support the use of the Tutotest-Lite to judge clinical domains over different PBL units

L’évaluation de l’engagement à la réflexion : les perceptions des étudiants en médecine

Background: While developing reflection skills is considered important by educators, the assessment of these skills is often associated with unintended negative consequences. In the context of a mandatory longitudinal course that aims to promote the development of reflection on professional identity, we assessed students’ commitment to reflection. This study explores students’ perception of this assessment by their mentor. Methods: We conducted a qualitative descriptive study using semi-structured interviews with twenty-one 1st and six 2nd year medical students. Thematic analysis was informed by Braun and Clarke’s six-step approach. Results: We identified four main themes: 1- assessment as a motivator, 2- consequences on authenticity, 3- perception of inherent subjectivity, and 4 - relationship with the mentor. Conclusions: In the context of assessing reflection skills in future physicians, we observed that students –when assessed on the process of reflection– experienced high motivation but were ambivalent on the question of authenticity. The subjectivity of the assessment as well as the relationship with their mentor also raises questions. Nevertheless, this assessment approach for reflective skills appears to be promising in terms of limiting the negative consequences of assessment.Contexte : Malgré l’importance que les éducateurs attribuent à l’acquisition de compétences de réflexion, l’évaluation de ces compétences entraîne souvent des conséquences négatives involontaires. Dans le cadre d’un cours longitudinal obligatoire visant à promouvoir le développement de la réflexion sur l’identité professionnelle, nous avons évalué l’engagement des étudiants à cultiver leurs compétences de réflexion. Cette étude explore leur perception de cette évaluation menée par leur mentor. Méthodes : Nous avons réalisé une étude qualitative descriptive à l’aide d’entretiens semi-structurés avec vingt-et-un étudiants en médecine de première année et six étudiants en médecine de deuxième année. Notre analyse thématique repose sur l’approche en six étapes de Braun et Clarke. Résultats : Nous avons identifié quatre thèmes principaux : 1 – l’évaluation comme facteur de motivation, 2 – les conséquences sur l’authenticité, 3 – la perception de la subjectivité inhérente, et 4 – la relation avec le mentor. Conclusions : Dans le contexte de l’évaluation des compétences de réflexion des futurs médecins, focalisée plus particulièrement sur le processus de réflexion, les étudiants se sont montrés très motivés, mais incertains quant à son authenticité. La subjectivité de l’évaluation et la relation avec leur mentor soulèvent également des interrogations. Néanmoins, cette approche d’évaluation des compétences réflexives semble prometteuse dans la mesure où elle permet de limiter les conséquences négatives de l’évaluation

Exploration de l'utilisation par les étudiants en médecine des principes d'auto-explication et de réflexion structurée pendant l'externat

Background: While educators observe gaps in clerkship students’ clinical reasoning (CR) skills, students report few opportunities to develop them. This study aims at exploring how students who used self-explanation (SE) and structured reflection (SR) for CR learning during preclinical training, applied these learning strategies during clerkship. Methods: We conducted an explanatory sequential mixed-methods study involving medical students. With a questionnaire, we asked students how frequently they adopted behaviours related to SE and SR during clerkship. Next, we conducted a focus group with students to explore why they adopted these behaviours. Results:  Fifty-two of 198 students answered the questionnaire and five participated in a focus group. Specific behaviours adopted varied from 50% to 98%. We identified three themes about why students used these strategies: as “just in time” learning strategies; to deepen their understanding and identify gaps in knowledge; to develop a practical approach to diagnosis. A fourth theme related to the balance between learning and assessment and its consequence on adopting SE behaviours. Conclusions: Students having experienced SE and SR regularly in preclinical training tend to transpose these strategies into the clerkship providing them with a practical way to reflect deliberately and capture learning opportunities of the unpredictable clinical context.Contexte : Alors que les éducateurs observent des lacunes dans les compétences de raisonnement clinique (RC) des étudiants en externat, ces derniers font état de peu d'occasions de les développer. Cette étude vise à explorer comment les étudiants qui ont utilisé l'auto-explication (SE) et la réflexion structurée (SR) pour l'apprentissage du raisonnement clinique pendant la formation préclinique, ont appliqué ces stratégies d'apprentissage pendant l'externat. Méthodes : Nous avons mené une étude séquentielle explicative à méthodes mixtes auprès d'étudiants en médecine. À l'aide d'un questionnaire, nous avons demandé aux étudiants à quelle fréquence ils adoptaient des comportements liés à la SE et à la RS pendant l'externat. Ensuite, nous avons organisé un groupe de discussion avec les étudiants afin d'explorer les raisons pour lesquelles ils ont adopté ces comportements. Résultats : Cinquante-deux étudiants sur 198 ont répondu au questionnaire et cinq ont participé à un groupe de discussion. Les comportements spécifiques adoptés variaient de 50 % à 98 %. Nous avons identifié trois thèmes concernant les raisons pour lesquelles les étudiants ont utilisé ces stratégies : comme stratégies d'apprentissage "juste à temps" ; pour approfondir leur compréhension et identifier les lacunes dans les connaissances ; pour développer une approche pratique du diagnostic. Un quatrième thème concernait l'équilibre entre l'apprentissage et l'évaluation et ses conséquences sur l'adoption de comportements SE. Conclusions : Les étudiants qui ont fait l'expérience de l'ES et de la RS régulièrement au cours de leur formation préclinique ont tendance à transposer ces stratégies dans l'externat, ce qui leur fournit un moyen pratique de réfléchir délibérément et de saisir les opportunités d'apprentissage dans un contexte clinique imprévisible

Exploring medical students’ use of principles of self-explanation and structured reflection during clerkship

Background: While educators observe gaps in clerkship students’ clinical reasoning (CR) skills, students report few opportunities to develop them. This study aims at exploring how students who used self-explanation (SE) and structured reflection (SR) for CR learning during preclinical training, applied these learning strategies during clerkship. Methods: We conducted an explanatory sequential mixed-methods study involving medical students. With a questionnaire, we asked students how frequently they adopted behaviours related to SE and SR during clerkship. Next, we conducted a focus group with students to explore why they adopted these behaviours. Results:  Fifty-two of 198 students answered the questionnaire and five participated in a focus group. Specific behaviours adopted varied from 50% to 98%. We identified three themes about why students used these strategies: as “just in time” learning strategies; to deepen their understanding and identify gaps in knowledge; to develop a practical approach to diagnosis. A fourth theme related to the balance between learning and assessment and its consequence on adopting SE behaviours. Conclusions: Students having experienced SE and SR regularly in preclinical training tend to transpose these strategies into the clerkship providing them with a practical way to reflect deliberately and capture learning opportunities of the unpredictable clinical context

Assessing commitment to reflection: perceptions of medical students

Background: While developing reflection skills is considered important by educators, the assessment of these skills is often associated with unintended negative consequences. In the context of a mandatory longitudinal course that aims to promote the development of reflection on professional identity, we assessed students’ commitment to reflection. This study explores students’ perception of this assessment by their mentor. Methods: We conducted a qualitative descriptive study using semi-structured interviews with twenty-one 1st and six 2nd year medical students. Thematic analysis was informed by Braun and Clarke’s six-step approach. Results: We identified four main themes: 1- assessment as a motivator, 2- consequences on authenticity, 3- perception of inherent subjectivity, and 4 - relationship with the mentor. Conclusions: In the context of assessing reflection skills in future physicians, we observed that students –when assessed on the process of reflection– experienced high motivation but were ambivalent on the question of authenticity. The subjectivity of the assessment as well as the relationship with their mentor also raises questions. Nevertheless, this assessment approach for reflective skills appears to be promising in terms of limiting the negative consequences of assessment

To observe or not to observe peers when learning physical examination skills; That is the question

Background: Learning physical examination skills is an essential element of medical education. Teaching strategies include practicing the skills either alone or in-group. It is unclear whether students benefit more from training these skills individually or in a group, as the latter allows them to observing their peers. The present study, conducted in a naturalistic setting, investigated the effects of peer observation on mastering psychomotor skills necessary for physical examination. Methods. The study included 185 2§ssup§nd§esup§-year medical students, participating in a regular head-to-toe physical examination learning activity. Students were assigned either to a single-student condition (n = 65), in which participants practiced alone with a patient instructor, or to a multiple-student condition (n = 120), in which participants practiced in triads under patient instructor supervision. The students subsequently carried out a complete examination that was videotaped and subsequently evaluated. Student's performance was used as a measure of learning. Results: Students in the multiple-student condition learned more than those who practiced alone (8

Enjeux et défis de l’évaluation longitudinale : quelques pistes de réflexion préalables à son implantation

Contexte et problématique : La formation de futurs professionnels de la santé compétents est une préoccupation importante pour tous les membres de la communauté en pédagogie des sciences de la santé. À cet effet, on accorde beaucoup d’importance à l’évaluation comme agent régulateur de l’accès aux professions. En lien avec la perspective de l’approche par compétences, l’idée de structurer l’évaluation de façon longitudinale, autour des trajectoires de développement professionnelles, apparaît d’une grande pertinence. Exégèse : L’évaluation longitudinale fait référence à toutes les évaluations mises en place pour documenter le rendement et le progrès des apprenants selon une trajectoire de développement préétablie. Les éducateurs et chercheurs qui prônent l’implantation de l’évaluation longitudinale dans des programmes qui préparent à la pratique des professions en santé y voient de multiples avantages, parmi lesquels la facilitation de la rétroaction qui pourrait être plus authentique, une identification précoce des apprenants en difficulté et une augmentation de l’autonomie des apprenants dans leurs développements. Cependant, les preuves qui soutiennent les retombées positives associées à l’évaluation longitudinale sont « faibles » pour ne pas dire manquantes. Conclusion : Il est essentiel, en tant que communauté, de documenter les effets et l’impact de l’évaluation longitudinale de façon plus systématique, structurée et rigoureuse