Self- and peer assessment may not be an accurate measure of PBL tutorial process

<p>Abstract</p> <p>Background</p> <p>Universidade Cidade de São Paulo adopted a problem-based learning (PBL) strategy as the predominant method for teaching and learning medicine. Self-, peer- and tutor marks of the educational process are taken into account as part of the final grade, which also includes assessment of content. This study compared the different perspectives (and grades) of evaluators during tutorials with first year medical students, from 2004 to 2007 (n = 349), from seven semesters.</p> <p>Methods</p> <p>The tutorial evaluation method was comprised of the students' self assessment (SA) (10%), tutor assessment (TA) (80%) and peer assessment (PA) (10%) to calculate a final educational process grade for each tutorial. We compared these three grades from each tutorial for seven semesters using ANOVA and a post hoc test.</p> <p>Results</p> <p>A total of 349 students participated with 199 (57%) women and 150 (42%) men. The SA and PA scores were consistently greater than the TA scores. Moreover, the SA and PA groups did not show statistical difference in any semester evaluated, while both differed from tutor assessment in all semesters (Kruskal-Wallis, Dunn's test). The Spearman rank order showed significant (p < 0.0001) and positive correlation for the SA and PA groups (r = 0.806); this was not observed when we compared TA with PA (r = 0.456) or TA with SA (r = 0.376).</p> <p>Conclusion</p> <p>Peer- and self-assessment marks might be reliable but not valid for PBL tutorial process, especially if these assessments are used for summative assessment, composing the final grade. This article suggests reconsideration of the use of summative assessment for self-evaluation in PBL tutorials.</p

Representação Social das Vivências de Estudantes no Curso de Medicina

RESUMO A medicina atua com a prevenção e a cura das doenças humanas num sentido amplo. Uma formação com enfoque em problemas permite ao estudante um poder de análise dos componentes das situações de saúde. O Programa de Integração em Saúde da Comunidade (Pisco) prevê levar estudantes e professores para a vivência da prática voltada à integralidade das ações, valorizando a prevenção e a promoção à saúde. O objetivo deste estudo foi analisar as vivências dos estudantes de Medicina no processo de avaliação das atividades do Pisco do primeiro ao quarto ano do curso e a sua relação com o projeto pedagógico do curso. Foi realizado um estudo descritivo quali-quantitativo. Foram produzidos registros escritos pelos estudantes ao final de cada encontro, de março de 2008 a dezembro de 2011, posteriormente analisados por meio do Discurso do Sujeito e pelo software QualiQuantiSoft®. Os resultados mostram diminuição do número de registros a partir da quinta etapa, pois a partir dela os alunos iniciam vivências em ambientes diferentes de prática médica e, assim, passam a desvalorizar as atividades no Programa de Saúde da Família

Avaliação dos conhecimentos e habilidades em ressuscitação cardiopulmonar assimilados por profissionais da atenção primária em saúde = Assessment of knowledge and skills in cardiopulmonary resuscitation assimilated by primary health care professionals

Objetivos: Avaliar a retenção do conhecimento teórico e as habilidades assimiladas por profissionais da atenção primária em saúde em treinamento de ressuscitação cardiopulmonar. Métodos: Estudo quantitativo, com participantes dos treinamentos sobre parada cardiorrespiratória realizados entre agosto de 2013 e julho de 2014. Para avaliação da retenção do conhecimento, foi reaplicado, após um ano, o mesmo teste de múltipla escolha sobre o conteúdo da capacitação, que havia sido aplicado imediatamente após o treinamento citado. As médias dos dois testes foram comparadas por meio do teste de Wilcoxon, com nível de significância de 5%. A habilidade assimilada foi avaliada por meio da ferramenta Objective Structured Clinical Examination, composta por quatro estações práticas com diferentes ações e duração máxima de oito minutos cada, de acordo com os objetivos a serem cumpridos pelos examinandos. Estação 1: sequência correta da ressuscitação cardiopulmonar no adulto; estação 2: realização eficaz das compressões torácicas no adulto; estação 3: uso correto do desfibrilador externo automático no adulto; estação 4: desobstrução eficaz da via aérea em um bebê. A soma das pontuações por estação correspondeu a dez pontos. Resultados: Entre os 89 profissionais que compuseram a casuística a maioria era do gênero feminino (87,6%) e a média de idade foi 37,3±9,9. Quarenta e oito (53,9%) eram atuantes como agentes comunitários de saúde. Na análise da retenção do conhecimento, observou-se queda do número médio de acertos comparando a média imediatamente após o treinamento (9,5±0,9) e um ano após (7,5±1,7) (p<0,001). Em relação à habilidade assimilada, as melhores médias finais obtidas pelos examinandos foram identificadas nas estações 2 (7,3±1,7) e 3 (7,3±1,6), seguidas da estação 1 (6,2±2,0) Na estação sobre desobstrução da via aérea do bebê, os profissionais apresentaram baixo desempenho (média final 3,2±1,8). Conclusões: A retenção do conhecimento teórico sobre ressuscitação cardiopulmonar pôde ser considerada parcialmente satisfatória, com diminuição um ano após o treinamento. Quanto à habilidade, os profissionais apresentaram bom desempenho nas estações práticas, com exceção dos cuidados relacionados à desobstrução da via aérea do beb

Serviço e comunidade, vetores para a formação em saúde: o curso de medicina da Uniderp

Este trabalho registra o processo de concepção, implantação e implementação do Programa Interinstitucional de Interação de Ensino, Serviço, Comunidade (Pinesc), uma parceria entre a universidade e a Prefeitura Municipal de Campo Grande, visando à realização de módulos curriculares longitudinais de ensino baseado na comunidade, desenvolvidos em oito semestres letivos do curso de medicina da Universidade para o Desenvolvimento do Estado e da Região do Pantanal (Uniderp, Anhanguera, MS). O relato inlcui o histórico, com seus pontos fortes e dificuldades, além de desdobramentos ão previstos, bem como aspectos operacionais do programa

Assessment of knowledge and skills in cardiopulmonary resuscitation assimilated by primary health care professionals

AIMS: To assess the theoretical knowledge retention and skills assimilation by primary health care professionals in cardiopulmonary resuscitation training.METHODS: Quantitative study involving participants in cardiorespiratory arrest training, held between August 2013 and July 2014. To assess the knowledge retention after one year, the same multiple-choice test on the training content that had been applied immediately after the training was reapplied. The averages of the two test scores were compared by means of the Wilcoxon test, significance being set at 5%. Skill assimilation was assessed using the Objective Structured Clinical Examination tool, which consists of four practical stations with different actions and a maximum length of eight minutes each, according to the objectives the students are expected to achieve. Station 1: correct sequence of cardiopulmonary resuscitation in adults; station 2: effective practice of chest compressions in adults; station 3: correct use of automated external defibrillator in adults; station 4: effective clearance of infant airway. The total score per workstation was ten points.RESULTS: Most of the 89 professionals in the sample were female (87.6%), with an average age of 37.3±9.9. Forty-eight professionals (53.9%) worked as community health agents. In the knowledge retention analysis, the mean number of right answers dropped when comparing the averages immediately after training (9.5±0.9) and one year later (7.5±1.7) (p<0.001). In the skills assimilation, the students’ best final averages were identified in stations 2 (7.3±1.7) and 3 (7.3±1.6), followed by station 1 (6.2±2.0). In the station about infant airway clearance, the professionals’ performance was low (final average 3.2±1.8).CONCLUSIONS: The theoretical knowledge retention on cardiopulmonary resuscitation could be considered partially satisfactory, with an observed drop one year after the training. Concerning the skills, the professionals performed well in the practical stations, except for the care related to infant airway clearance.OBJETIVOS: Avaliar a retenção do conhecimento teórico e as habilidades assimiladas por profissionais da atenção primária em saúde em treinamento de ressuscitação cardiopulmonar.MÉTODOS: Estudo quantitativo, com participantes dos treinamentos sobre parada cardiorrespiratória realizados entre agosto de 2013 e julho de 2014. Para avaliação da retenção do conhecimento, foi reaplicado, após um ano, o mesmo teste de múltipla escolha sobre o conteúdo da capacitação, que havia sido aplicado imediatamente após o treinamento citado. As médias dos dois testes foram comparadas por meio do teste de Wilcoxon, com nível de significância de 5%. A habilidade assimilada foi avaliada por meio da ferramenta Objective Structured Clinical Examination, composta por quatro estações práticas com diferentes ações e duração máxima de oito minutos cada, de acordo com os objetivos a serem cumpridos pelos examinandos. Estação 1: sequência correta da ressuscitação cardiopulmonar no adulto; estação 2: realização eficaz das compressões torácicas no adulto; estação 3: uso correto do desfibrilador externo automático no adulto; estação 4: desobstrução eficaz da via aérea em um bebê. A soma das pontuações por estação correspondeu a dez pontos.RESULTADOS: Entre os 89 profissionais que compuseram a casuística a maioria era do sexo feminino (87,6%) e a média de idade foi 37,3±9,9. Quarenta e oito (53,9%) eram atuantes como agentes comunitários de saúde. Na análise da retenção do conhecimento, observou-se queda  do número médio de acertos comparando a média imediatamente após o treinamento (9,5±0,9) e um ano após (7,5±1,7) (p<0,001). Em relação à habilidade assimilada, as melhores médias finais obtidas pelos examinandos foram identificadas nas estações 2 (7,3±1,7) e 3 (7,3±1,6), seguidas da estação 1 (6,2±2,0). Na estação sobre desobstrução da via aérea do bebê, os profissionais apresentaram baixo desempenho (média final 3,2±1,8).CONCLUSÕES: A retenção do conhecimento teórico sobre ressuscitação cardiopulmonar pôde ser considerada parcialmente satisfatória, com diminuição um ano após o treinamento. Quanto à habilidade, os profissionais apresentaram bom desempenho nas estações práticas, com exceção dos cuidados relacionados à desobstrução da via aérea do bebê