Construction of a strategy to assess the clinical reasoning of internal medicine residents by using the Script Concordance Test plus Written Think Aloud

Abstract

Propósito: El razonamiento clínico (RC) es una competencia que debe ser enseñada y evaluada. El Script Concordance Test (SCT) evalúa el RC en condiciones de incertidumbre y su validez está demostrada. El Written Think Aloud (WTA) es complementario para entender el RC. Este estudio describe el desarrollo y aplicación del SCT-WTA en residentes de medicina interna de una universidad en Bogotá D.C, Colombia. Métodos Estudio de caso instrumental mixto. Durante la elaboración, aplicación y calificación del SCT-WTA, los investigadores llevaron diarios de campo donde consignaron sus percepciones, observaciones y experiencias. El SCT-WTA se aplicó a 11 expertos y 11 residentes. Se hizo codificación y categorización de la información cualitativa y estadística básica para los resultados cuantitativos. Resultados Los factores determinantes para la construcción de los casos y las preguntas del SCT fueron: guion de enfermedad, complejidad y resultados de aprendizaje, mientras que para su aplicación el formato de los casos y la escala Likert fueron determinantes. El tiempo de elaboración, respuesta y calificación fue una dificultad, sin embargo, los expertos y los residentes consideraron que el SCT evalúa contenido, organización y uso de la información. Las respuestas entre residentes y expertos fueron similares. El WTA mostró ser complementario al SCT. Conclusiones La organización de la información en guiones de enfermedad, la complejidad de las preguntas y los resultados de aprendizaje esperados; así como el formato del test y la claridad de las opciones de respuesta en una escala tipo Likert deben tenerse en cuenta para la construcción, aplicación y calificación del SCT-WTA, el cual es percibido como útil para evaluar el RC y como estrategia de evaluación formativa.Purpose: Clinical reasoning (CR) is a competency that should be taught and assessed. The Script Concordance Test (SCT) assesses CR under conditions of uncertainty, and its validity has been demonstrated. The Written Think Aloud (WTA) is complementary to understanding CR. This study describes the development and application of the SCT-WTA in internal medicine residents at a university in Bogotá, D.C., Colombia. Methods Mixed instrumental case study. During the development, application, and scoring of the SCT-WTA, the researchers kept field diaries where they recorded their perceptions, observations and experiences. The SCT-WTA was applied to 11 experts and 11 residents. Qualitative information and basic statistics were coded and categorized for the quantitative results. Results For the construction of the cases and questions of the SCT, it was crucial to have expected learning outcomes and disease scripts and to resort to cases of daily practice. The time investment in elaboration, response, and scoring was high; however, experts and residents considered that the SCT allowed evaluation content, organization, and use of information. Responses between residents and experts were similar. Conclusions The SCT format is attractive to experts and residents, who consider it an excellent tool to evaluate CR, a fundamental competence for the internist and which does not have a specific chair or evaluation. The SCT-WTA was perceived as complementary and valuable as a formative assessment