Global rating: a method for assessing clinical competence

Considerable effort has focused on developing methods to reliably assess undergraduate medical students' proficiency in clinical skills. There is strong evidence that global rating can be a feasible and reliable alternative for rating undergraduate medical students in the clinical setting. Professors have routinely assessed clinical competence with a subjective rating. This score, given by a specialist, is not objective and is subject to biases. The use of a well-designed instrument with various items rated on a scale offers the advantage of specifying what should be assessed, thus helping professors distinguish between different levels of performance. Using this method, faculty can express their global perception of the students in a more objective way in relation to two distinct spheres of technical competence (containing items like patient history, physical examination, medical knowledge, clinical knowledge, problem-solving, and work habits) and humanist competence (including communication with patients and families, respect, reflective skills, sensitivity to context, and teamwork).Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).14815

Clinical competence of medical students during clinical clerkship: a comparison of evaluation methods

OBJECTIVE: The objective was to compare four evaluation methods based on the grades received by fourth-year medical students in their clinical clerkship. METHOD: At the completion of the clinical clerkship in Obstetrics and Gynecology, Internal Medicine, and Pediatrics in primary care clinics, 106 fourth-year students were evaluated based on four methods, on a scale from 1 to 10: multiple-choice questions (MCQs), portfolio (P), real-case structured clinical assessment (RC-SCA), and global itemized rating (GIR). Statistical analysis used Cronbach alpha, Wilcoxon paired test, Pearson correlation coefficient, principal components analysis, and Euclidian distance. RESULTS: The lowest median scores were for MCQs and the highest for RC-SCA. The distribution of scores for all pairs of methods showed significant differences (P < 0,001). Agreement was strongest and highest between RC-SCA and GIR. Principal components analysis contrasted MCQs and P scores with those for RC-SCA and GIR. CONCLUSION: The various methods focused on different aspects of the expected clinical skills. RC-SCA and GIR appear to evaluate different skills as compared to P and MCQs. Thus, no method should be used alone to evaluate medical students in clinical clerkships.OBJETIVO: Comparar quatro métodos de avaliação com base nas notas obtidas por alunos do quarto ano de Medicina em estágio clínico. MÉTODO: Ao final do estágio clínico em Ginecologia e Obstetrícia, Clínica Médica e Pediatria, em unidades de atenção primária, 106 alunos do quarto ano foram avaliados com base em quatro métodos: Prova Teórica (Pt), Portfólio (Pf), Avaliação Estruturada do Atendimento Clínico (AE) e Conceito Global Itemizado (CGI), (escala 0-10). A análise estatística utilizou coeficiente alfa de Cronbach, teste de Wilcoxon para dados pareados, coeficiente de correlação de Pearson, análise de componentes principais e distância euclidiana. RESULTADOS: As medianas mais baixas foram de PT, e as mais altas, de AE. Houve diferença significativa nas distribuições das notas entre todos os pares de métodos (P < 0,001). A correlação mais forte e a maior concordância ocorreram entre as notas de AE e CGI. A análise de componentes principais contrastou as notas de Pt e Pf com as de AE e CGI. CONCLUSÃO: Cada método parece enfocar diferentes aspectos da competência clínica. AE e CGI parecem avaliar competências semelhantes, em oposição a Pf e Pt. Portanto, nenhum método deve ser utilizado isoladamente para avaliar os alunos em estágio clínico.12413

The different perspectives in the assessment of learners during supervised clinical clerkship

OBJECTIVE: To compare medical students' global itemized ratings (GIR) and real-case structured clinical assessment (RC-SCA), generated by faculty members from three different specialties (Gynecology-O&G, Internal Medicine-IM, Pediatrics-Ped). METHOD: 106 Y4 learners were assessed by one faculty member from each specialty, who filled in GIR, consisting of 6 technicaldomains (mean score GIRt) and 7 humanistic domains (mean score GIRh), on a 0-10 scale, and resultant RC-SCA, from direct attendance observation. Statistical analyses used Cronbach coefficient, Friedman and Wilcoxon paired tests, Pearson and Spearman correlation coefficients, Euclidean distances. Significance level=5%. RESULTS: High internal consistency was observed in the three GIR (> 0.92). Ratings were negatively skewed. Ped scores were significantly lower than O&G and IM (median differences between 0.50 and 0.67), with low correlations between them (-0.020,92). As distribuições das notas concentraram-se no extremo superior da escala. As notas de Ped foram significativamente inferiores às de GO e CM (diferenças de medianas entre 0,50 e 0,67), com correlações baixas entre elas (-0,02<R<0,48). Os domínios que tiveram maior impacto na confiabilidade do CGI foram: julgamento clínico (GO e Ped), solução de problemas (CM) e capacidade de auto-reflexão (Ped). As notas de GO e Ped mostraram a menor concordância; as de GIRt de Ped foram as mais discordantes das outras notas. CONCLUSÃO: As especialidades têm visões distintas sobre como avaliar alunos, mesmo utilizando instrumentos semelhantes, o que pode ser reflexo de cultura de cada uma delas. Permanece o desafio de minimizar tais diferenças com atividades de desenvolvimento docente.45846

Os diferentes olhares na avaliação de alunos em estágio clínico supervisionado

OBJETIVO: Comparar notas do Conceito Global Itemizado (CGI) e da Avaliação Estruturada (AE), atribuídas por três especialidades - Ginecologia e Obstetrícia (GO), Clínica Médica (CM) e Pediatria (Ped) - a alunos em final de estágio clínico nas unidades básicas de saúde. MÉTODOS: Cento e seis alunos do 4º ano médico foram avaliados por um docente de cada especialidade, utilizando CGI contendo seis domínios de habilidades técnicas (CGIt) e sete domínios humanísticos (CGIh), em escala 0-10, e pela AE resultante de observação de atendimento. Para análise estatística, utilizaram-se coeficientes de Cronbach, testes de Friedman e pareados de Wilcoxon, coeficientes de correlação de Spearman e Pearson e distâncias Euclidianas (p0,92). As distribuições das notas concentraram-se no extremo superior da escala. As notas de Ped foram significativamente inferiores às de GO e CM (diferenças de medianas entre 0,50 e 0,67), com correlações baixas entre elas (-0,02OBJECTIVE: To compare medical students' global itemized ratings (GIR) and real-case structured clinical assessment (RC-SCA), generated by faculty members from three different specialties (Gynecology-O&G, Internal Medicine-IM, Pediatrics-Ped). METHOD: 106 Y4 learners were assessed by one faculty member from each specialty, who filled in GIR, consisting of 6 technicaldomains (mean score GIRt) and 7 humanistic domains (mean score GIRh), on a 0-10 scale, and resultant RC-SCA, from direct attendance observation. Statistical analyses used Cronbach coefficient, Friedman and Wilcoxon paired tests, Pearson and Spearman correlation coefficients, Euclidean distances. Significance level=5%. RESULTS: High internal consistency was observed in the three GIR (> 0.92). Ratings were negatively skewed. Ped scores were significantly lower than O&G and IM (median differences between 0.50 and 0.67), with low correlations between them (-0.02<R<0.48). the domains that had greater impact on the reliability of GIR were: clinical judgment (O&G and Ped), problem-solving (IM), and self-reflective skills (Ped). O&G and Ped scores showed the smallest agreement; GIRt Ped scores showed the greatest disagreement with all the other scores. CONCLUSION: The specialties have different views on how to evaluate students' skills, inspite of using similar instruments, which can be a reflection of their "culture". the challenge remains to minimize these differences through faculty development activities