The reliability of in-training assessment when performance improvement is taken into account

During in-training assessment students are frequently assessed over a longer period of time and therefore it can be expected that their performance will improve. We studied whether there really is a measurable performance improvement when students are assessed over an extended period of time and how this improvement affects the reliability of the overall judgement. In-training assessment results were obtained from 104 students on rotation at our university hospital or at one of the six affiliated hospitals. Generalisability theory was used in combination with multilevel analysis to obtain reliability coefficients and to estimate the number of assessments needed for reliable overall judgement, both including and excluding performance improvement. Students’ clinical performance ratings improved significantly from a mean of 7.6 at the start to a mean of 7.8 at the end of their clerkship. When taking performance improvement into account, reliability coefficients were higher. The number of assessments needed to achieve a reliability of 0.80 or higher decreased from 17 to 11. Therefore, when studying reliability of in-training assessment, performance improvement should be considered

Influência de fatores estruturais e organizacionais no desempenho da atenção primária à saúde em Belo Horizonte, Minas Gerais, Brasil, na avaliação de gestores e enfermeiros

O objetivo do trabalho foi avaliar o desempenho da atenção primária à saúde (APS) em Belo Horizonte, Minas Gerais, Brasil, utilizando o questionário PCATool entre enfermeiros das equipes de saúde da família e gerentes. O escore total da APS foi 0,75 (bom); o primeiro contato (0,95), a longitudinalidade (0,83), a integralidade (0,83) e a coordenação (0,78) apresentaram melhor desempenho. O enfoque familiar, a orientação comunitária e o acesso receberam as piores pontuações (0,68, 0,56 e 0,45). Os fatores associados (p < 0,05) à melhor performance da APS foram: disponibilidade de equipamentos e outros insumos (RP ajustada = 1,57), formação dos profissionais em saúde da família (RP = 1,44), presença do médico por mais de 30 horas semanais (RP = 1,42) e quatro ou mais equipes por unidade básica de saúde (RP = 1,09). Os resultados revelaram a importância de fatores estruturais (sistemas logísticos adequados, formação da equipe em saúde da família) e organizacionais (médico em tempo integral, número de equipes da Estratégia Saúde da Família por unidades básicas de saúde) na performance da APS e na melhoria da qualidade