Apresenta-se neste artigo um sistema de avaliação de produção de pesquisa em uso na Empresa Brasileira de Pesquisa Agropecuária (Embrapa). O sistema utiliza-se de medidas de produtividade e eficiência de produção com base na Análise de Envoltória de Dados. O processo de avaliação fornece uma ferramenta gerencial automatizada extremamente útil. Além de indicar direções de melhoria para a produção técnica e científica da empresa, serve ao propósito de identificar fatores causais de eficiência em bases estatísticas

GOMES, E. G.

SOUZA, G. da S. e

RCAAP - Repositório Científico de Acesso Aberto de Portugal

Um sistema de informação gerencial para a avaliação e o acompanhamento da produção de pesquisa agropecuária no Brasil.

Repository Open Access to Scientific Information from Embrapa

Um Sistema de Informação Gerencial para a Avaliação e o Acompanhamento da Produção de Pesquisa Agropecuária no Brasil   G. SOUZA Secretaria de Gestão e Estratégia, Embrapa Brasília, DF, 70770-901, Brasil  e  E. GOMES Secretaria de Gestão e Estratégia, Embrapa Brasília, DF, 70770-901, Brasil     RESUMO  Apresenta-se neste artigo um sistema de avaliação de produção de pesquisa em uso na Empresa Brasileira de Pesquisa Agropecuária (Embrapa). O sistema utiliza-se de medidas de produtividade e eficiência de produção com base na Análise de Envoltória de Dados. O processo de avaliação fornece uma ferramenta gerencial automatizada extremamente útil. Além de indicar direções de melhoria para a produção técnica e científica da empresa, serve ao propósito de identificar fatores causais de eficiência em bases estatísticas.  Palavras-chave: Pesquisa agropecuária, Eficiência, Avaliação, Informação gerencial, Variáveis contextuais.   1. INTRODUÇÃO  A mensuração do desempenho produtivo de uma instituição pública de pesquisa é de fundamental importância para sua gestão, em especial em tempos de competição por recursos e de restrições orçamentárias [9]. Uma melhor administração dos recursos disponíveis e a realização de padrões e objetivos pré-especificados são metas factíveis através do acompanhamento quantitativo do processo de produção.   A criação e a implementação de um sistema de avaliação em bases quantitativas é um processo complexo que exige cuidados administrativos especiais da organização que o adota. O processo para ter sucesso deve ser internalizado através do reconhecimento de sua importância e do entendimento completo de seus pontos positivos e negativos. Em princípio, nenhuma unidade produtiva sob avaliação sente-se confortável em ter pontos fracos expostos. Como esses aparecerão, com certeza, é de responsabilidade da administração superior da organização gerenciar o processo, corrigir falhas e estabelecer as metas de produção de curto e longo prazos, visando à adequação do comportamento produtivo das unidades sob avaliação.   A Empresa Brasileira de Pesquisa Agropecuária (Embrapa) criou o Sistema de Avaliação e Premiação por Resultados [5], que monitora e avalia, desde 1996, o processo de produção de seus centros de pesquisa. São monitorados indicadores que permitem o cálculo de um Índice de Desempenho Institucional. O processo de avaliação da Embrapa é original e não tem similar ao nível de conhecimento dos autores.   Este artigo descreve e analisa a evolução do sistema de avaliação da Embrapa no que tange a sua componente de produção.    2. PRODUÇÃO, PRODUTIVIDADE E EFICIÊNCIA TÉCNICA  No desenvolvimento do modelo de produção da Embrapa, uma de suas primeiras etapas foi a definição dos produtos e insumos usados no processo de produção da empresa. Para tanto, baseou-se inicialmente no conjunto de indicadores usado pela Embrapa para atender às demandas de acompanhamento de suas ações pelo Governo, em especial pelo Ministério da Agricultura, Pecuária e Abastecimento, ao qual é vinculada. Estes indicadores eram os existentes em relatórios de gestão, como aqueles usados para acompanhar a produção institucional e eram monitorados via os Planos Anuais de Trabalho (PATs) das unidades descentralizadas (centros de pesquisa) componentes da Embrapa.   Com base neste conjunto inicial de indicadores e em consultas internas, especialmente aos centros de pesquisa, definiu-se então um conjunto de cerca de trinta indicadores de produção, os quais foram agrupados em quatro categorias de produção: produção técnico-científica; produção de publicações técnicas; desenvolvimento de tecnologias, produtos e processos; transferência de tecnologia e promoção de imagem. Reconhecem-se com essas categorias as várias dimensões do trabalho na Embrapa: a dimensão acadêmica, através da produção técnico-científica; a dimensão da assistência técnica, da extensão rural e do marketing, por meio das categorias de transferência de tecnologia e imagem e de publicações técnicas; a dimensão de P&D, com a categoria de desenvolvimento de tecnologias, produtos e processos. No Manual de Indicadores do SAU - Sistema de Avaliação de Unidades [3], cada item de produção é descrito com detalhes.  Do ponto de vista dos insumos definiram-se aqueles diretamente relacionados ao processo de produção. Tais insumos foram assim definidos: a) Pessoal - gastos com salários e encargos sociais com os empregados efetivos da Unidade; b) Outros Custeios - gastos com material de consumo, serviços de terceiros, passagens, diárias, hotéis, consultorias etc.; c) Depreciação de Capital - valor da depreciação anual dos bens patrimoniais da Unidade, mais o custo de oportunidade da terra.  Como indicadores da atividade de produção (insumos e produtos) considerou-se um sistema de índices relativos adimensionais. A construção desses indicadores permite a definição de medidas de produção global e agregadas por categoria. O processo de agregação obtém-se através de ponderações definidas por um sistema de pesos adequado, em princípio variável por unidade.  Os índices relativos marginais de produção são calculados para cada atributo e para cada unidade de pesquisa, em cada ano, dividindo-se o quantitativo observado na atividade de produção para a unidade em questão, pela média por unidade do atributo. As médias consideradas pela Embrapa são tomadas dentro de anos, mas comparações absolutas no período também são levadas a efeito considerando-se um ano base, particularmente na avaliação da produtividade.   Embora todas as unidades produzam alguma quantidade de todas as variáveis de produção consideradas, e se utilizem dos mesmos tipos de insumo, essas têm percepções distintas sobre a importância relativa de cada categoria de produção. A Embrapa procurou resolver o problema das percepções distintas agregando o produto com o uso de um sistema de pesos variável por unidade de pesquisa [10]. A procura de pesos de agregação adequados para as categorias levou ao conceito de coeficiente de especialização.  A administração da Embrapa logo percebeu que o sistema de pesos poderia servir também como mecanismo orientador de diretrizes de pesquisa e os coeficientes de especialização como indicadores do cumprimento dessas metas no curto e no longo prazos. Com o objetivo de obter um sistema de pesos mais consoante com os objetivos administrativos da Empresa, o processo evoluiu para a captação de percepções de importância via modelos de escalagem psicossocial. Neste contexto foram consideradas variantes das técnicas AHP [6] e do modelo de comportamento mental sugerido por [17] e discutido em [8], [16], [18]   No caso da Embrapa, os pesos foram definidos exogenamente como resultado de um estudo que envolveu cerca de quinhentos pesquisadores e todos os administradores da Empresa. A cada participante da pesquisa amostral associada ao estudo pediu-se que manifestasse na escala 1 (menos importante) a 5 (mais importante), sua percepção sobre a importância de cada categoria de produção e de cada variável de produção em sua categoria respectiva. O modelo finalmente escolhido para a análise desses dados pertence a classe de modelos lineares generalizados [4] e é conhecido como Lei dos Julgamentos Categóricos. A análise relaciona-se com o artigo seminal de [17]. Mais detalhes sobre este processo encontram-se em[8], [11]. Uma nova pesquisa foi feita em 2006-2007 com uma amostra menor usando o AHP.  As medidas relativas de insumo representam proxies para quantitativos de pessoal, custeio e capital, respectivamente. Como já sugerido anteriormente, são medidas em valores relativos à média da Empresa em dado ano. Detalhes sobre o modelo de produção da Embrapa podem ser vistos em [9], [10], [11], [13].  Eficiência Técnica de Produção  Na Embrapa o processo de avaliação baseia-se fundamentalmente em medidas de eficiência de produção calculadas segundo modelos de Análise de Envoltória de Dados (Data Envelopment Analysis – DEA), com orientação a insumos [7]. De um modo geral uma medida de eficiência técnica é definida como segue. Denote por ( )1, , nY y y= …  a matriz s por n de produtos dos n centros de pesquisa ou firmas sob avaliação. Note-se que a coluna r desta matriz representa o vetor produto da firma r. Denote por ( )1, , nX x x= … a matriz m por n de uso de insumos. A coluna r desta matriz representa o uso de insumo da firma r.   Para a unidade r sua medida de eficiência é calculada por **, ,maxru v uy u u′ +  sujeito às restrições 1rx v′ = e *' 1 0.Y u X v u′ − + ≤  Restrições adicionais sobre as variáveis ,u v e *u geram as seguintes medidas de eficiência que satisfazem diferentes hipóteses sobre os retornos do processo de produção:  1. Retornos constantes: *, 0, 0.u v u≥ =  2. Retornos decrescentes: *, 0, 0.u v u≥ ≤  3. Retornos variáveis: *, 0,u v u≥ livre. 4. Retornos variáveis e disponibilidade fraca: 0u ≥  e *,v u livres.   No caso de apenas um insumo e um único produto a noção de eficiência de produção sob retornos constantes envolve uma idéia muito simples. A maior produtividade (relação y/x) do conjunto tem eficiência técnica unitária e as demais tem eficiência calculada de modo proporcional. Neste contexto simples, a medida de eficiência técnica representa a redução que se deve aplicar ao nível do insumo da unidade avaliada para que atinja o nível máximo de produtividade. De forma equivalente, neste caso, o inverso da eficiência técnica define o aumento de produto que deve ser realizado para a obtenção da produtividade máxima.   Para o monitoramento das variáveis de produção, produtividade e eficiência técnica foi desenvolvido o software SISAVEM [15] com base no software SAS.   3. RESULTADOS EMPÍRICOS  A Figura 1 mostra a evolução no período 1998-2009 da eficiência técnica mediana anual de produção da Embrapa, bem como os coeficientes de variação anuais das medidas de eficiência. As eficiências foram calculadas considerando um modelo DEA com retornos constantes à escala, com três insumos e um produto agregado. Nota-se uma tendência positiva para as eficiências e negativa para os coeficientes de variação, sugerindo o esforço crescente da direção da instituição na melhoria de sua produção e na redução de diferenças entre suas unidades. As quedas substanciais de eficiência nos anos 2005 e 2009 representam mudanças administrativas importantes ocorridas na instituição.   00,10,20,30,40,50,60,70,80,91998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009Eficiência Técnicamediana coef. variação Linear (mediana) Linear (coef. variação)  Figura 1: Evolução da eficiência técnica no período 1998-2006.   As variáveis contextuais de importância estudadas como causais de eficiência de produção foram captação de recursos, ações de parceria, impacto da pesquisa, racionalização de custos e melhoria de processos, ajustadas por tipo e tamanho de cada unidade. As respostas como medidas de eficiência foram consideradas nos contextos de custos – eficiência econômica, FDH – eficiência condicional estocástica e eficiência técnica como definida acima. As noções de eficiência econômica sob a ótica de custos e FDH não estão definidas no presente trabalho e podem ser encontradas em [1], [2], respectivamente.   Considerando um modelo dinâmico que postula correlação entre e dentro de anos e tendo como resposta a eficiência técnica, calculada com retornos variáveis, [13] concluem que tipo e tamanho são variáveis contextuais importantes e que captação de recursos, ações de parceria, racionalização de custos e melhoria de processos são marginalmente significantes. Observam também um efeito permanente importante de melhoria na evolução da medida de eficiência no período 2001-2003.  Ainda no contexto de modelos dinâmicos, [14] considerando como resposta a razão de medidas não condicionais e condicionais de eficiência técnica FDH, também concluem pela presença de efeito inercial na resposta e pela direção positiva de associação com as variáveis contextuais. Destas a mais importante é a determinada pela captação de recursos. O período analisado é 1999-2006.  Finalmente, [12] analisam a evolução da eficiência econômica dos  centros de pesquisa da Embrapa no período 1998-2006. De particular relevância nesta análise está a proposição de uma medida de eficiência custo, medida de forma determinística através de modelos tipo DEA. Foi calculada a partir de produtos múltiplos (quatro componentes de produção) normalizados pela escala de operação (variáveis per capita) e corrigidos pela presença de observações atípicas. A correção ex-ante de observações afastadas da massa de dados via análise exploratória de dados empresta robustez estatística e homogeneidade ao processo de produção. No período analisado o painel de centros de pesquisa da Embrapa se comporta de modo aproximadamente estacionário. É marcante a queda dos níveis de controle da produção como conseqüência de mudanças gerenciais. Chamam atenção para a necessidade de acompanhamento contínuo da eficiência do processo de produção como meta do controle estatístico de qualidade da pesquisa.    4. RESUMO FINAL E CONCLUSÕES  Mostra-se no artigo como foi modelado o processo de produção de pesquisa na Embrapa, a principal instituição responsável pela pesquisa agropecuária aplicada no Brasil. As variáveis de insumo e produto são combinadas num modelo não paramétrico de produção, gerando medidas de eficiência e produtividade que permitem o acompanhamento do processo gerencial de pesquisa em bases ótimas. De particular importância neste contexto é a determinação de variáveis contextuais que causam eficiência de produção. Em várias dimensões conclui-se que arrecadação de recursos, melhoria de processos, racionalização de custos e parcerias agem positivamente no aumento de eficiência. Mudanças administrativas por outro lado têm efeito negativo.   5. REFERÊNCIAS  [1] T.J. Coelli, D.S. Prasada Rao, C.J. O'Donnell, G.E. Battese, An Introduction to Efficiency and Productivity Analysis, 2nd Edition, New York: Springer, 2005. [2] C. Daraio, L. Simar, Advanced Robust and Nonparametric Methods in Efficiency Analysis, New York: Springer, 2007. [3] Embrapa, Manual dos indicadores de avaliação de desempenho das unidades descentralizadas da Embrapa: Metas quantitativas - Versão para ano base 2007. Brasília: Superintendência de Pesquisa e Desenvolvimento, 2006. 42p. [4] P. Mcgullagh, P., J.A. Nelder, Generalized linear models. New York: Chapman & Hall, 2nd ed., 1989. [5] A.D. Portugal, A.F.D. Avila, E. Contini, G.S. Souza, Sistema de avaliação e premiação por resultados. Revista do Serviço Público, Vol. 49, No. 3, 1998, pp. 59-83. [6] T.L. Saaty, The Fundamentals of Decision Making and Priority Theory with the Analytic Hierarchy Process. Pittsburgh: RWS Publication, 1994. [7] L.M. Seiford, R.M. Thrall, Recent developments in DEA, the mathematical programming approach to frontier analysis, Journal of Econometrics, Vol. 46, pp. 7-38, 1990. [8] G.S. Souza, The law of categorical judgement revisited, Brazilian Journal of Probability and Statistics, Vol. 16, 2002, pp. 123-140. [9] G.S. Souza, E. Alves, A.F.D. Avila, Technical efficiency in agricultural research, Scientometrics, Vol. 46, 1999, pp. 141-160. [10] G.S. Souza, E. Alves, A.F.D. Avila, E.R. Cruz, Produtividade e eficiência relativa de produção em sistemas de produção de pesquisa agropecuária, Revista Brasileira de Economia, Vol. 51, No. 3, 1997, pp. 281-307. [11] G.S. Souza, A.F.D. Avila, A psicometria linear da escalagem ordinal: uma aplicação na caracterização da importância relativa de atividades de produção em ciência e tecnologia, Cadernos de Ciência e Tecnologia, Vol. 17, No. 3, 2000, p. 11-27. [12] G.S. Souza, E.G. Gomes, Medida DEA de eficiência econômica dos centr os de pesquisa da Embrapa com correção de observações atípicas, Proceedings of the XIVLatin Ibero-American Congress on Operations Research, 2008. [13] G.S. Souza, E.G. Gomes, M.C. Magalhães, M.C., A.F.D. Avila, Economic efficiency of Embrapa’s research centers and the influence of contextual variables, Pesquisa Operacional, Vol. 27, No.1, 2007, pp. 15-26. [14] G.S. Souza, E.G. Gomes, R.B. Staub, Probabilistic measures of efficiency and the influence of contextual variables in nonparametric production models: an application to agricultural research in Brazil, International Transactions in Operational Research, Vol. 17, 2010, pp. 351-363. [15] G.S. Souza, G.F. von Borries, SISAVEM: Sistema de Avaliacao da Producao de Pesquisa da EMBRAPA (versao 3.2 Windows 95/NT). Brasilia: EMBRAPA-DIN, 1998. [16] J. Souza, Métodos de escalagem psicossocial. Brasília: Thesaurus, 1988. [17] L.L. Thurstone, A law of comparative judgment, Psychological Review, Vol. 34, 1927, pp. 273-286. [18] W.S. Torgenson, Theory and Methods of Scaling. New York: Riley, 1958.  

http://www.alice.cnptia.embrapa.br/alice/bitstream/doc/901258/1/Umsistemadeinformacaogerencialparaaavaliacao.pdf

Um sistema de informação gerencial para a avaliação e o acompanhamento da produção de pesquisa agropecuária no Brasil.

Abstract

Similar works

Full text

Available Versions

RCAAP - Repositório Científico de Acesso Aberto de Portugal

Repository Open Access to Scientific Information from Embrapa