Construction and validation of a reference instrument for evaluation by competencies of technical-administrative servers in education of Brazilian Federal Universities

Objetivos: Construir um instrumento de referência para avaliação por competências dos servidores técnico-administrativos em educação das universidades federais brasileiras e avaliar as evidências de validade e a consistência interna das competências propostas. Métodos: Estudo quantitativo, exploratório, descritivo e metodológico realizado de 2017 a 2020, tendo por base o referencial psicométrico. O estudo foi desenvolvido em etapas, segundo Pasquali. Essas etapas foram executadas através dos Procedimentos Teóricos, Empíricos e Analíticos necessários ao seu objetivo final. Nos teóricos, objetivou-se fundamentar cientificamente a proposta do instrumento de referência para avaliação por competências, a ser elaborado com ações necessárias à prática competente dos servidores técnico-administrativos em educação. Foi realizada a investigação e a análise dos sistemas e instrumentos de avaliação de desempenho existentes nas universidades federais e construído o Perfil de Competência Profissional, alinhado às especificidades do técnico administrativo em educação, aos estudos existentes, à legislação e à opinião de experts, que consideraram a propriedade das ações ao desempenho competente do técnico administrativo em educação. O instrumento de avaliação da competência profissional foi organizado em três partes. Na primeira parte foram incluídos os dados de caracterização pessoal e profissional dos respondentes da pesquisa. Na segunda parte foram descritas as orientações necessárias para o preenchimento do questionário e apresentada a escala de avaliação do grau de competência profissional do servidor técnico-administrativo em educação. A terceira parte consistiu no questionário propriamente dito, no qual foram relacionadas as descrições dos referenciais de desempenho para avaliação quantitativa, por meio da escala em quatro níveis de competência. Nos Empíricos, foi realizada a aplicação do instrumento na equipe de enfermagem das unidades de internação do Hospital Universitário da Universidade Federal de São Paulo e a coleta dos dados, procedendo-se à validação de construto e análise da consistência interna do instrumento. Os Analíticos foram do tipo descritivo e inferencial. Resultados: A partir das 10 competências básicas, houve a descrição de 25 referenciais de desempenho representados por ações ou Questões Identificadoras geradoras do Perfil de Competência Profissional. Depois de verificada a evidência de validade baseada no conteúdo das Questões Identificadoras por meio da Técnica Delphi, buscou-se evidências de validade e de consistência interna do instrumento. Desse processo participaram 53 enfermeiros, 30 técnicos de enfermagem e 60 auxiliares de enfermagem, totalizando 143 instrumentos aplicados no Hospital Universitário. A análise fatorial confirmatória do instrumento baseado na estrutura de 10 competências apresentou bons índices de ajustamento com χ²/GL=1,706, SRMR=0,071, RMSEA= 0,070 e CFI= 0,906, conferindo a validade de construto. O alfa Cronbach foi de 0,924. Conclusão: Foi construído o instrumento de referência para avaliação por competências dos servidores técnico-administrativos em educação das universidades federais brasileiras com avaliação das evidências de validade ao longo de todo estudo.Objectives: To build a reference instrument for assessing the competences of technical-administrative servants in education at Brazilian federal universities and to evaluate the evidence of validity and the internal consistency of the proposed competencies. Methods: Quantitative, exploratory, descriptive and methodological study carried out from 2017 to 2020, based on the psychometric benchmark. The study was developed in stages, according to Pasquali. These steps were performed through the Theorical, Empirical and Analytical Procedures necessary for its final objective. As for the theorists, the objective was the construction to scientifically support the reference instrument for assessment by competences, to be elaborated with actions necessary for the competent practice of technical-administrative servants in education. Research and analysis of the performance evaluation systems and instruments existing at federal universities was carried out and the Professional Competence Profile was built, in line with the specificities of the administrative technician in education, existing studies, legislation and the opinion of experts, who considered ownership of the actions to the competent performance of the administrative technician in education. The professional competence assessment instrument was organized in three parts. In the first part, the personal and professional characterization data of the survey respondents were included. In the second part, the necessary guidelines for completing the questionnaire were described and the scale for assessing the degree of professional competence of the technical-administrative servant in education was presented. The third part consisted of the questionnaire itself, which listed the descriptions of the performance benchmarks for quantitative assessment, using the scale in four levels of competence. In the Empirical Experts, the instrument was applied to the nursing staff of the University Hospital of the Federal University of São Paulo and the data were collected, proceeding to construct validation and analysis of the instrument's internal consistency. The Analytical were of the descriptive and inferential type. Results: From the 10 basic competencies, there was a description of 25 performance benchmarks represented by actions or Identifying Issues that generate the Professional Competence Profile. After verifying the evidence of validity based on the content of the Identifying Questions using the Delphi Technique, evidence of validity and internal consistency of the instrument was sought. This process involved 53 nurses, 30 nursing technicians and 60 nursing assistants, totaling 143 instruments applied at the University Hospital. The confirmatory factor analysis of the instrument based on the structure of 10 competences showed good indexes of adjustment, with χ²/GL=1,706, SRMR=0,071, RMSEA= 0,070 and CFI= 0,906, conferring the construct validity. The Cronbach alpha was 0.924. Conclusion: The reference instrument for assessing the competences of technical-administrative civil servants in education at Brazilian federal universities was built, with an assessment of the validity evidence throughout the study