ANÁLISE SOBRE FERRAMENTAS DE APOIO PARA A GESTÃO DA PÓS-GRADUAÇÃO BRASILEIRA

Este trabalho pretende verificar a existência e uso de sistemas ou ferramentas automatizadas que auxiliam no gerenciamento e tomada de decisão no âmbito dos Programas de Pós-Graduação brasileiros, mais especificamente aqueles voltados para atender as demandas de avaliação externa e descrever os impactos de sua utilização. É realizada uma busca sistematizada nas bases de dados Web of Science e Scopus. A busca é efetuada partindo de consulta com descritores refinados após várias iterações, permitindo aderência dos resultados ao tema. Todos os documentos retornados foram utilizados como fonte de dados e são analisados individualmente. Inicialmente é avaliado o resumo de cada um e, quando apresentam aderência ao tema, são investigados a fundo, partindo para análise de suas metodologias e resultados obtidos. Cada documento é classificado quanto à pertinência ao tema proposto: assunto aderente, intermediário ou distante do objetivo. Também é fornecida uma descrição rápida de cada documento. Os principais trabalhos relatam uso de ferramentas simples apenas para coleta de dados, não existindo dinamismo ou disponibilidade em tempo real. Mostra uma importante lacuna no âmbito dos Programas de Pós-Graduação brasileiros e a possibilidade de desenvolvimento de uma ferramenta que integre informações para gestão

A avaliação CAPES como instrumento indutor de qualidade para a pós-graduação brasileira: limites e desafios

A avaliação da pós-graduação Brasileira realizada pela CAPES é uma ferramenta de indução cujo impacto atinge toda a comunidade científica e, consequentemente, toda a sociedade brasileira. A presente pesquisa teve por objetivo analisar criticamente a avaliação CAPES a partir de seu entendimento como ferramenta de política pública educacional. O estudo permitiu conhecer o mecanismo de funcionamento do processo avaliativo assim como discutir a sua relevância nos moldes atuais. Como fonte para os dados obtidos, foram usados relatórios extraídos da Plataforma Sucupira, que é banco de dados oficial da pós-graduação, artigos, documentos, além de entrevistas com atores de interesse em nível político e acadêmico (nacional e internacional). No primeiro capítulo são discutidos aspectos relacionados ao funcionamento da avaliação CAPES ao longo de seus principais marcos históricos, quais sejam, o momento de estruturação do Sistema de PósGraduação, o de preocupação com o aumento de eficácia e o de incentivo à produtividade. É também tratado o contexto no qual foi criada a CAPES e em seguida o seu modelo de avaliação, em especial a partir dos ideais de Anísio Teixeira, além de analisar o mecanismo de funcionamento do modelo a partir dos traços observados historicamente. O segundo capítulo discute o funcionamento do processo avaliativo com apresentação de seus principais atores e etapas. É apresentada a fundamentação que justifica a escolha do método de avaliação por pares e suas possíveis fragilidades. Também é investigado o comportamento da ferramenta avaliativa, sua relevância e adequabilidade em contraposição ao que pode ser observado dentre os países de tradição acadêmica. O terceiro capítulo, em complementação ao segundo, ilustra o funcionamento da avaliação CAPES estudando sua aplicação diante de programas específicos dentro da área do Direito, da Química e da Sociologia e identifica algumas das consequências possíveis à utilização da avaliação. Por fim, o quarto capítulo traz as expectativas do novo modelo de avaliação em construção pela agência em diálogo com a comunidade acadêmica e órgãos do governo. Em especial, são apresentadas as novas abordagens em relação à concepção de produtividade, da autoavaliação e do impacto e relevância econômica

A framework for monitoring scientific production behavior in Research evaluation systems based on journal ranking lists the brazilian case

A extensão e a qualidade dos resultados de pesquisa tornaram-se fatores-chave para a avaliação do desempenho da universidade. Vários países introduziram sistemas de avaliação de pesquisas que vinculam financiamento a indicadores de desempenho como forma de aumentar a prestação de contas. Em geral, classificações de periódicos são parte integrante desses sistemas. Esta tese aborda o desenvolvimento e a avaliação de um framework para monitorar o comportamento da produção científica em contextos em que as listas de classificação de periódicos estão no centro da avaliação. O principal objetivo do framework é permitir a identificação de padrões desejáveis e adversos na produção acadêmica. Considerando que o Brasil utiliza um sistema de classificação de periódicos (QUALIS) há mais de duas décadas, o framework foi aplicado numa análise de dez anos da produção científica brasileira em oito áreas distintas, tomando o banco de dados da Scopus como referência. Os resultados mostraram um declínio na proporção de artigos indexados na Scopus nas áreas de Ciências Sociais e Humanas (SSH). Um número restrito de periódicos, que permaneceu no sistema durante o período estudado, concentrou um número maior de artigos. No geral, esses periódicos tiveram sua classificação QUALIS inalterada ou melhorada ao longo das avaliações periódicas. Entretanto, na maioria, houve uma diminuição significativa no impacto de citação desses. Além disso, aqueles de menor impacto passaram para as categorias QUALIS mais altas ao longo dos anos, o que ocorreu simultaneamente com um aumento no número de artigos em periódicos de baixo impacto em todos as áreas. Esses resultados mostraram que o uso de listas de classificação de periódicos pode levar professores e alunos a publicarem em periódicos de alta classificação, apesar de terem um baixo impacto de citação. Quando os periódicos de baixo impacto alcançam uma classificação alta, eles também podem concentrar uma grande quantidade de artigos publicados. De certa forma, esses padrões são semelhantes a outros resultados encontrados na literatura, nos quais um aumento significativo de publicações foi seguido por um declínio no impacto. O efeito potencial desses modelos de avaliação é que eles podem incitar as pessoas a selecionar meios de publicação com uma pontuação mais alta de acordo com os critérios estabelecidos, independentemente de sua visibilidade. Além disso, esses efeitos podem intensificar-se quando os resultados da avaliação são vinculados a financiamento.The extent and quality of research output have become key factors for university performance evaluation. Several countries introduced research evaluation systems that link funding to performance indicators as a way to enhance accountability. In general, journal rankings are an integral part of these systems. This thesis approaches the development and evaluation of a framework for monitoring scientific production behavior in settings where journal-ranking lists are at the center of research assessment. The main goal of the framework is to enable the identification of desirable and adverse patterns in academic production. Considering that Brazil has been using a specific journal ranking system (QUALIS) for more than two decades, the framework was applied in the ten-year analysis of Brazilian scientific production in eight distinct subject fields and taking the Scopus database as a reference. Results showed a decline in the proportion of Scopus-indexed articles in the areas of Social Sciences and Humanities (SSH). A few journals that remained in the system during the whole evaluation period concentrated a larger number of published articles. Overall, these journals had their QUALIS classification unchanged or improved in the ranking over the periodic evaluations. However, in general, there was a significant decrease in their citation impact. Moreover, lower-impact journals moved to the highest QUALIS categories over the years, what happened simultaneously with an increase in the number of articles in low-impact journals in all fields. These results have shown that the use of journal ranking lists may lead faculty and students to submit their papers to highly ranked journals, even though may have a low citation impact. When low-impact journals reach a high rank, they may also concentrate a high amount of published articles. In a certain way, these patterns are similar to other results found in literature, in which a significant increase in publication productivity has been followed by an impact decline. The potential effect of these evaluation models is that they may incite people to select publication venues that make them score higher according to the established criteria, regardless of their publications’ visibility. Besides, this effect can be intensified once the evaluation results are linked to funds