[pt] UTILIZAÇÃO DA LÓGICA FUZZY NA META-AVALIAÇÃO: UMA ABORDAGEM ALTERNATIVA

Assegurar a qualidade de uma avaliação é um grande desafio para os avaliadores. A avaliação de um processo avaliativo denomina-se meta-avaliação. No Brasil já existe uma grande preocupação com a qualidade da avaliação, contudo o conceito de meta-avaliação ainda é uma novidade. Os profissionais discutem quais são os critérios de excelência que uma verdadeira avaliação deve atender tendo como base os padrões definidos pelo Joint Committee on Standards for Educational Evaluation (1994), que estão agrupados em quatro grandes categorias: utilidade, viabilidade, ética e precisão. Este trabalho propõe uma nova metodologia para meta-avaliação utilizando os conceitos de conjuntos fuzzy e da lógica fuzzy. A metodologia é composta por um instrumental de coleta de dados (lista de checagem para meta-avaliação de programas/projetos) e por um sistema de inferência fuzzy hierárquico para o tratamento de dados referentes à metaavaliação de programas/projetos. As principais vantagens de um sistema desse tipo são: (i) a possibilidade de trabalhar com regras lingüísticas; (ii) a utilização de ferramentas adequadas para trabalhar com a imprecisão intrínseca que existe em problemas complexos, como é o caso de processos de meta- avaliação; (iii) a incorporação de conhecimento subjetivo (de especialistas); (iv) a adaptabilidade do processo de inferência a situações específicas. A metodologia ora proposta utiliza um sistema hierárquico composto por trinta e seis bases de regras organizadas em três níveis: padrão (nível 1), categoria (nível 2), e meta-avaliação (nível 3). As principais características da metodologia desenvolvida são: (i) o instrumento de coleta de dados, que permite respostas intermediárias; (ii) a capacidade de adaptação do sistema de inferência fuzzy a necessidades específicas; (iii) a transparência obtida pela utilização de regras lingüísticas, o que facilita a discussão e o entendimento de todo o processo. Acredita-se que esta metodologia facilitará os processos de meta-avaliação. Este estudo pretende ser uma contribuição para a área da avaliação e para a prática da meta-avaliação.Assuring the quality of an evaluation is a great challenge to evaluators. The evaluation of an evaluative process is called meta- evaluation. In Brazil there is a great concern about evaluation quality, although the concept of metaevaluation is new. Evaluation professionals are still discussing the criteria of excellence that a true evaluation should attend. The standards defined by the Joint Committee on Standards for Educational Evaluation (1994) that are presented in terms of utility, feasibility, ethics and accuracy, enlighten on that discussion. This study presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic concepts. The methodology is composed of an instrument for data collection (checklist for the meta-evaluation of programs/projects) and of a hierarchical fuzzy inference system for treatment of data related to the metaevaluation of projects and programs. The main advantages of using such a system are: (i) the possibility of working with linguistic rules; (ii) the use of tools that deal with the intrinsic imprecision of complex problems, as is the case of metaevaluation; (iii) the incorporation of subjective knowledge (of specialists); (iv) the adaptability of the inference process to specific situations. This new methodology makes use of a system composed of 36 rule bases organized in three levels: standard (level 1), category (level 2), and meta- evaluation (level 3). The main features of the proposed methodology are: (i) the data collection instrument, that allows intermediate answers; (ii) the fuzzy system's capability of adaptation to specific needs; (iii) the transparency provided by the use of linguistic rules, which favours understanding and discussion of the whole process. It is believed that this methodology will make the meta-evaluation process easier. This study intends to be a contribution to evaluation as a subject and to meta- evaluation practice

O Desenvolvimento da Capacidade de Avaliação no Século XXI: enfrentando o desafio através da meta-avaliação

Meta-Avaliação é a avaliação da avaliação. O presente trabalho descreve o processo de meta-avaliação conduzido numa instituição universitária (Centro Universitário Newton Paiva, Minas Gerais, Brasil) pela Fundação Cesgranrio, Rio de Janeiro, Brasil, sendo o foco da meta-avaliação a auto-avaliação da referida instituição. O princípio desencadeador da tarefa foi o entendimento da meta-avaliação como atividade crucial para assegurar a integridade de uma avaliação, desde a sua concepção até seus resultados. Nesse sentido, a meta-avaliação verificou até que ponto a auto-avaliação em questão correspondeu às quatro categorias de standards ou padrões de programas avaliativos (JOINT COMMITEE ON STANDARDS FOR EDUCATIONAL EVALUATION, 1994) em termos de utilidade (atendendo às necessidades de informação dos interessados), viabilidade (sendo realística, prudente, diplomática e simples), ética (sendo legal e ética) e precisão (revelando de forma técnica e adequada informações sobre como o julgamento de mérito e de relevância foram feitos). Tais padrões foram verificados ao longo da avaliação em curso (meta-avaliação formativa) e ao final (meta-avaliação somativa). Os passos metodológicos (STUFFLEBEAM, 2000) incluíram a interação inicial com os envolvidos e interessados na missão, a escolha de uma equipe qualificada para a condução do processo, a definição das questões de meta-avaliação, o acordo quanto os padrões de julgamento da avaliação do Centro Universitário Newton Paiva, a elaboração do contrato de meta-avaliação, a coleta e revisão da informação acessível e necessária, a análise e interpretação de informações quantitativas e qualitativas à luz dos padrões, a elaboração de informes e a colaboração, junto à instituição-cliente e aos interessados em geral, na interpretação e aplicação de resultados. Tão importante quanto a constatação do sucesso na execução da avaliação do Centro Universitário Newton Paiva foi o fortalecimento da capacidade avaliativa entre os envolvidos, através de uma abordagem inovadora de empowerment (FETTERMAN, 2001) assegurada ao longo de toda a missão – um resultado que emerge como um dos maiores desafios da avaliação no século XXI

A fuzzy decision support system for meta-evaluation a new approach and a case study performed in Brazil

This paper presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic. It is composed of a data collection instrument and of a hierarchical fuzzy inference system. The advantages of the proposed methodology are: (i) the instrument, which allows intermediate answers; (ii) the inference process ability to adapt to specific needs; and (iii) transparency, through the use of linguistic rules that facilitate both the understanding and the discussion of the whole process. The rules are based on guidelines established by the Joint Committee on Standards for Educational Evaluation (1994) and also represent the view of experts. The system can provide support to evaluators that may lack experience in meta-evaluation. A case study is presented as a validation of the proposed methodology

Capturing the meaning of context for a meaningful evaluation

That an individual evaluee is a unique composition of attributes and needs is commonly understood. What is less obvious is that programs, too, have complex personalities of their own, like the individuals that compose them. They draw their needs from their own contexts, and draw meaning from an evaluation, operating in these unique contexts. What is meaningful to one program may not be so for another. Evaluation is influenced by the program's context. Reciprocally, it can influence the context too. The challenge is to fully discover the context with its needs, so results are meaningful to the program in its sphere of influence. Three types of evaluation contexts from the Brazilian experience will be illustrated and discussed in this paper - a high visibility program within a political context; a low visibility program with an unclear context; and a program context with two simultaneously active components