Uso da teoria de resposta ao item (TRI) para analisar a eqüidade do processo de avaliação do aprendizado discente

Este texto é parte de um capítulo da tese doutoral do autor, intitulada Detección del Funcionamiento Diferencial del Ítem (DIF) en Tests de Rendimiento. Aportaciones Teóricas y Metodológicas, defendida publicamente em 27 de novembro de 2002 no Departamento de Métodos de Investigación y Medidas en Educación (MIDE) da Universidad Complutense de Madrid (UCM).O texto relata os principais achados de uma pesquisa realizada com 29.777 estudantes inscritos no processo seletivo para os cursos de graduação da Universidade Federal do Ceará (UFC) no ano 2000, cujos objetivos foram: (i) verificar a presença de Funcionamento Diferencial do Item (DIF) entre os 30 itens componentes das provas de Língua Portuguesa e de Matemática, e (ii) comparar o grau de aprendizado dos alunos, tendo sido condicionado, em ambos os objetivos, o tipo de escola (particular versus pública). Para a análise da presença de DIF empregou-se o método Mantel-Haenszel (MH). Nesse âmbito, foram detectados 13 itens com DIF (72,2% do total) no teste de Português, sendo seis casos de DIF benigno aos alunos de escolas particulares. No teste de Matemática houve 12 casos de DIF (80% do total), sendo cinco deles benignos alunos de escolas particulares. Com respeito ao grau de aprendizado dos alunos, foram detectadas diferenças significativas favoráveis aos aprendizes de escolas particulares em todos os itens do teste de Português. Em apenas dois itens do teste de Matemática, as diferenças verificadas foram favoráveis aos discentes de escolas públicas

Utilização do modelo CIPP na avaliação de programas sociais: o caso do projeto educando para a liberdade da SECAD/MEC

O artigo relata o uso do Modelo CIPP para avaliar o 2º Ciclo do Projeto Educando para a Liberdade (SECAD/MEC), implementado em seis Estados brasileiros, e que considerou quatro dimensões: o Contexto (macro, meso e micro), os Insumos (humanos e materiais), os Processos e os Produtos. Para tal, foi desenhada pesquisa ex post-facto direcionada a obter dados relevantes acerca das dimensões referidas, a partir das seguintes audiências: gestores e agentes de unidades prisionais; professores; alunos reclusos; técnicos estaduais envolvidos com a educação prisional. Os resultados demonstram que a efetividade social das atividades educacionais está consubstanciada nas mudanças qualitativas de natureza individual, que vêm sendo verificadas pelos vários protagonistas sociais que lidam com os alunos reclusos

Propostas estatais voltadas à avaliação do ensino superior brasileiro: breve retrospectiva histórica do período 1983-2008

O texto apresenta breve retrospectiva histórica acerca das propostas estatais surgidas nos últimos 25 anos, que se voltaram à avaliação do Ensino Superior brasileiro. Neste espaço de tempo, destacam-se: o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), proposto no início da década de 1990; o Exame Nacional de Cursos (ENC), apresentado em meados da década de 1990; e o Sistema Nacional de Avaliação da Educação Superior (SINAES), proposto em 2003 e aprovado pelo Congresso Nacional em 2004 (Lei 10.861 de 14 de abril), passando, assim, de Política de Governo à Política de Estado. No entanto, iniciamos o artigo descrevendo o Programa de Avaliação da Reforma Universitária (PARU), visto que este foi, de fato, a primeira iniciativa, no nível governamental, pensada para avaliar as Instituições de Ensino Superior (IES) brasileiras. Ao final do artigo apresentam-se os pontos em comum às três propostas avaliativas descritas, bem como suas principais diferenças

Fatores institucionais associados aos resultados do exame nacional de desempenho estudantil (ENADE): estudo dos cursos de graduação da Universidade Federal do Ceará (UFC)

A pesquisa ora detalhada objetivou identificar fatores institucionais associados aos resultados dos discentes de cursos de graduação no Exame Nacional de Desempenho dos Estudantes (ENADE). Para tal, foi efetivado estudo de campo, do tipo ex-post facto, com 1.337 discentes matriculados nos cursos de graduação da Universidade Federal do Ceará (UFC). Detectou-se a existência de seis fatores associados aos resultados dos discentes dos cursos de graduação da UFC que obtiveram conceitos 4 e 5 no ENADE: a) Adequação das instalações físicas, que foram consideradas amplas, arejadas, bem iluminadas e com mobiliário desejável à formação universitária vislumbrada (Dimensão Física); b) Adequação da maioria dos espaços pedagógicos (salas de aula e laboratórios) ao número de alunos usuários (Dimensão Física); c) Adequação dos equipamentos de informáticas e laboratoriais aos objetivos de formação pretendidos pelo curso (Dimensão Organizacional); d) Disponibilidade dos docentes para orientações extra sala de aula (Dimensão da Gestão Pedagógica); e) Participação dos discentes em projetos de pesquisa ou de extensão, coordenados por professores do curso, conforme relatado pelos egressos (Dimensão Científica e Cultural); f) Proporção significativa de discentes integralmente satisfeitos com os seus respectivos cursos, o que supõe elevado grau de motivação para o aprendizado (Dimensão Motivacional). A investigação fornece, assim, relevantes aportes à área que estuda os fatores institucionais associados aos desempenhos dos discentes dos cursos de graduação no ENAD

Estudo de egressos de cursos de graduação: subsídios para a autoavaliação e o planejamento institucionais

O texto relata estudo com 586 egressos de cursos de graduação, através do uso de questionário online, no qual se focou a obtenção de informações acerca: (a) da situação laboral; (b) do grau de satisfação com a área de inserção laboral e com a remuneração; (c) das opiniões a respeito da adequação do currículo às expectativas pessoais e às demandas do mercado de trabalho; (d) da necessidade de aprimorar a formação recebida no âmbito da graduação. Os resultados identificaram elevada proporção de egressos inseridos no mercado de trabalho, atuando na mesma área de formação e com renda mensal individual variando de 1,5 a três salários mínimos. Ademais, proporcionaram informações sobre o reconhecimento majoritário dos egressos quanto à qualidade: (i) da formação recebida; (ii) da gestão acadêmica do curso; (iii) da adequação curricular para o exercício profissional; (iv) do estágio curricular obrigatório; (v) das salas de aula e espaços de convivência

APRESENTAÇÃO DOS RESULTADOS PARCIASI RELATIVOS ÀS ANÁLISES DOS ITENS DO TESTE DE RACIOCÍNIO NUMÉRICO (RN)

Trata-se de apresentar os resultados parciais da pesquisa que objetiva a Construção de Teste de Raciocínio Numérico (RN), parte integrante da Bateria de Testes de Raciocínio Diferencial (BTRD) que está atualmente sendo elaborada para os estudantes secundaristas brasileiros. Utilizando-se uma amostra de 275 estudantes secundaristas, determinou-se as características dos itens, compreendendo (1) a eficiência das alternativas, (2) o índice de dificuldade e (3) o índice de discriminação. Também foi determinada a precisão para a forma de 54 itens do Teste RN, adotando-se o coeficiente Alfa de Cronbach, cujo valor resultante foi de 0,97, significativo adotando-se p.<.001. A validade referente ao critério foi determinada através do coeficiente de correlação de Pearson entre as variáveis série escolar e quantidade de acertos nos itens do Teste RN, resultando num r = 0.35, significativo adotando-se <.001

Avaliação do aprendizado discente: estudo com professores de Escolas Públicas

O texto relata os resultados de um estudo efetivado com 40 professores do Sistema Educacional do Estado do Ceará, no qual foram sondados acerca das potencialidades e dificuldades inerentes à avaliação do aprendizado dos alunos. Os resultados da pesquisa sugerem que os professores: a) usam o diálogo com os alunos e os recursos audiovisuais como duas estratégias para motivá-los para o aprendizado; b) compreendem a aprendizagem como processo cognitivo de internalizar e aplicar os conhecimentos adquiridos; c) crêem que  são totalmente responsáveis pelo progresso dos discentes; d) dão ênfase à participação dos alunos nas atividades de sala de aula, ao desempenho destes em provas escritas, em pesquisas escolares e em trabalhos em grupo. Alegam, no entanto, que os principais empecilhos ao aprendizado são a falta de interesse dos alunos, a indisciplina em sala de aula, bem como o distanciamento da família da escola. De posse dos resultados das avaliações da aprendizagem, os professores geralmente revisam os conteúdos nos quais houve baixo nível de rendimento dos discentes, bem como tendem a refletir acerca dos erros mais cometidos pelos discentes. Com base nessas informações alguns professores alegam modificar as estratégias de ensino, bem como usar estratégias pedagógicas mais variadas

Doce motivos favorables a la adopción del Examen Nacional de la Enseñanza de Nivel Medio (ENEM) por las Instituciones Federales de Enseñanza de Nivel Superior (IFES)

O texto aborda alguns motivos favoráveis à adoção do Exame Nacional do Ensino Médio (ENEM) pelas Instituições Federais de Ensino Superior (IFES) como mecanismo de seleção dos seus candidatos. Com esse fim, traz breve histórico do exame do ENEM, suas principais características e diferenças marcantes com respeito ao novo modelo de ENEM proposto pelo Ministério da Educação (MEC). Os principais motivos favoráveis ao novo ENEM foram organizados com base nas seguintes demandas: a) uma nova sociedade que está em constante transformação e que é afetada pelas rápidas mudanças científicas; b) uma Universidade que acalenta por ter um universitário que saiba fazer uso inteligente, racional e inovador de informações oriundas dos rápidos avanços científicos e tecnológicos; c) um país que necessita incrementar substancialmente a proporção de jovens entre 18 e 24 anos no Ensino Superior.The text discusses some reasons in favor of the adoption of the National Examination of Secondary Education (ENEM) by Federal Institutions of Higher Education (IFES) as a mechanism for selecting their candidates. With this aim, it provides brief historical survey of ENEM, its main features and significant differences regarding the new model of ENEM proposed by the Ministry of Education (MEC). The main reasons in favor of the new ENEM were organized based on the following requests: a) a new society that is constantly changing and is affected by rapid scientific changes; b) a University that cherishes for having a student who knows how to make use of intelligent rational and innovative information from the rapid advances in science and technology; c) a country that needs to substantially increase the proportion of 18 to 24 years old people in higher education.El artículo aborda algunos motivos favorables a la adopción del Examen Nacional de la Enseñanza de Nivel Medio (ENEM) por parte de las Instituciones Federales de Enseñanza de Nivel Superior (IFES) como mecanismo de selección de los candidatos. Para ello, se presenta breve histórico del ENEM, sus principales características y las principales diferencias respecto al nuevo modelo del ENEM propuesto por el Ministerio de Educación (MEC). Los principales motivos favorables al nuevo ENEM se organizaron a partir de las siguientes demandas: a) una sociedad que está en constante cambio y que se ve afectada por las rápidas transformaciones científicas; b) una Universidad que desea un universitario que sepa hacer uso inteligente, racional e innovador de las informaciones oriundas de los avances científicos y tecnológicos; c) un país que necesita incrementar sustancialmente la proporción de jóvenes entre 18 y 24 años en la Enseñanza de Nivel Superior

EXPANSÃO E INTERIORIZAÇÃO DA UNIVERSIDADE FEDERAL DO CEARÁ (UFC): OPINIÕES DE ALUNOS E PROFESSORES ACERCA DAS REPERCUSSÕES EDUCACIONAIS E SOCIAIS

Este trabalho teve como propósito avaliar sobre as opiniões de professores e alunos acerca das repercussões educacionais e sociais decorrentes da expansão e da interiorização da Universidade Federal do Ceará (UFC). Inclui-se nesse panorama a trajetória da UFC em direção aos municípios do interior cearense. No que concerne aos procedimentos metodológicos que nortearam a investigação, esta pesquisa, bibliográfica e documental a um só tempo, classificou-se como de natureza exploratória e descritiva. A técnica de pesquisa análise do conteúdo foi utilizada na categorização das unidades textuais contidas na superfície linguística das respostas dos pesquisados, as quais receberam uma abordagem qualitativa. A avaliação das repercussões educacionais e sociais motivadas pela expansão e interiorização da UFC incluiu dados secundários, oriundos da amostra de docentes e discentes dos municípios interioranos onde os campi foram instalados. A análise realizada permitiu o delineamento do processo de interiorização da UFC, bem como a sua reiteração como premente e imprescindível ao desenvolvimento regional, o que abrangeu desde os benefícios por ele trazidos até os eventuais entraves a ser superados

Development of a prototype of a computerized system for the evaluation of the performance of the university teaching: presentation of partial results

O trabalho relata o desenvolvimento de um sistema informatizado para a avaliação da atuação do docente da Universidade Federal do Ceará (UFC) em quatro dimensões: planejamento e gestão das atividades de ensino; didática empregada no desenvolvimento das atividades de ensino; comunicação e interação com os alunos; formas e uso dos resultados oriundos da avaliação do aprendizado discente. Com esse objetivo elaborou-se um questionário composto por 26 perguntas versando sobre as quatro dimensões já mencionadas, que foi, posteriormente, pré-testado (análise semântica e análise métrica). A estrutura fatorial revelou tratar-se de um instrumento de medida unifatorial (fator extraído explica cerca de 30% da variância total, com cargas mínimas de 0,35 dos 26 itens no referido fator), contando com elevada consistência interna (alpha de Cronbach = 0,91). Com essas características métricas o questionário passará, agora, a integrar um Sistema Informatizado para a Avaliação da Atuação do Docente da UFC nos cursos de graduação.El trabajo relata el desarrollo de un sistema informatizado para evaluar la actuación del docente universitario en cuatro dimensiones pedagógicas: planeamiento y gestión de las actividades de enseñanza; didáctica empleada en el desarrollo de las actividades de enseñanza; comunicación, actitud e interacción con los alumnos; formas y usos de los resultados oriundos de la evaluación del aprendizaje discente. Para ello, fueron elaboradas 26 cuestiones y sometidas a análisis cualitativa (validez semántica) y cuantitativa (pre-test con una muestra de 220 alumnos). Posteriormente, con una muestra dev732 alumnos fueron determinados la validez factorial del nuevo instrumento de 24 ítems (un factor explicando el 27,15% de la varianza total de los escores) y la consistencia interna (Alpha de Cronbach = 0,88). Ahora, con el cuestionario desarrollado se pasará al test de un sistema informatizado de evaluación del docente universitario.The work relates the development of a computerized system to evaluate the performance of the University teacher in four-dimensional teaching: planning and management of teaching activities; teaching methods used in the development of teaching activities; communication, attitude and interaction with the students; forms and uses of natives results from the evaluation of the learner learning. To do so, were developed 26 questions that also were subjected to qualitative (semantic validity) and quantitative (pre-test with a sample of 220 students)analysis. Later, with a sample dev732 students were determined the validity factor of the new instrument of 24 items (a factor explaining 27,15% of the total variance of scores them) and internal consistency (Alpha Cronbach = 0.88). Now, with the questionnaire developed it will be a test of a computerised system of evaluation of University teaching.Trabalho apresentado na V Reunião Anual da Associação Brasileira de Avaliação Educacional (ABAVE), realizada em junho de 2009, em Salvador (BA) - Financiado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Observatório da Educação - (Projeto 106 - OBEDUC/2010)