Da palavra à construção de conhecimento científico: um olhar reflexivo e meta-avaliativo sobre o guião de entrevista

Este estudo insere-se no âmbito do projeto de investigação «Impacto e Efeitos da Avaliação Externa nas Escolas do Ensino não Superior» – AEEENS e procura contribuir para o alargamento do conhecimento científico na área das metodologias qualitativas, nomeadamente ao nível da meta-análise. Procurando realizar um olhar reflexivo e meta-avaliativo sobre o guião de entrevista, a análise de conteúdo e análise do discurso (que o inquérito por entrevista potencia), partimos da seguinte questão: «Quais são os procedimentos desejados / desejáveis para a utilização da técnica de recolha de dados “inquérito por entrevista” numa investigação científica?». O objetivo primordial é a produção e apresentação de um instrumento meta-avaliativo, sob a forma de ‘lista de verificação’ ou checklist avaliativa, destinado a ser usado como ferramenta de apoio na construção e na validação de guiões de entrevista e que integra catorze indicadores. As principais conclusões evidenciam que essa validação consiste num ato de atribuição de ‘qualidade’ a esse instrumento investigativo. A meta-avaliação de um guião de entrevista semiestruturada pode revelar-se de extrema pertinência e validade, uma vez que da validação do guião dependerá, em última instância, o resultado mais ou menos conseguido da tarefa investigativa. O estudo revelou ainda a necessidade de os investigadores envolvidos neste tipo de processos perfilharem o mesmo ponto de vista, uma vez que, tratando-se de uma análise de dados qualitativa, a análise de conteúdo dever estar em permanente revisão, processando-se de forma cíclica e circular, necessitando do olhar e da atenção do investigador para dos dados extrair significados. / The study integrates the research project "Impact and Effects of External Evaluation in Schools of Higher Education not» - AEEENS and it seeks to contribute to the expansion of scientific knowledge in the area of qualitative methodologies, particularly in terms of meta-analysis. We propose to offer a reflective look and meta-evaluation on the interview guide, content analysis and discourse analysis (that the interview increases). We start with the following question: 'What are the desired / desirable procedures for the use of the technique of data collection "Interview Survey" in scientific research?', having as main objective the production and presentation of a meta-evaluation method in the form of evaluative checklist, designed to be used as a support tool in the construction and validation of interview guides. Thus, we present an evaluation checklist that includes fourteen indicators to allow the assignment of more or less quality to the interview guide analysed. The main findings show that this validation is an act of allocating 'quality' in this investigative tool. A meta-evaluation of a semi-structured interview script may demonstrate its extreme relevance and validity, since the more or less successfully result of the investigative task will depend on the validation of the interview guide. The study also revealed the need for researchers involved in these processes share the same point of view, since, in the case of an analysis of qualitative data, content analysis should be kept under review, continuously and circularly, requiring the look and the attention of the investigator to extract meaning from data

Apoio à autoavaliação organizacional em escolas do Alentejo: balanço e propostas de uma intervenção amiga

Este texto pretende dar conta de um projeto de apoio a algumas escolas da região Alentejo, no âmbito da sua avaliação interna organizacional. Apesar de a autoavaliação da escola ser obrigatória em Portugal desde 2002 (Lei n.º31/2002, de 20 de dezembro), vários estudos, projetos de investigação financiados (e.g. Avaliação Externa de Escolas do Ensino não Superior - http://webs.ie.uminho.pt/avaliacaoexternaescolas/projeto.html; Auto-Avaliação em Agrupamentos: Relação com Qualidade e Melhoria da Educação - http://paginas.fe.up.pt/~gei05010/arqme/; Sucesso escolar e perfis organizacionais. Um olhar a partir dos relatórios de avaliação externa - http://www.cies.iscte.pt/projectos/ficha.jsp?pkid=408&a=1433867364427), dissertações de mestrado e teses de doutoramento, permitiram-nos verificar que, em muitas escolas, a apropriação da intenção e do sentido da autoavaliação, enquanto processo sustentado que conduz à melhoria, e que é empreendido pela própria organização educativa, ainda não está apropriado. Assim, reconhecida a importância da autoavaliação como instrumento decisivo para a melhoria da qualidade do ensino e da aprendizagem e como estratégia de desenvolvimento das escolas e pretendendo dar resposta às seguintes questões «Quais as dificuldades das escolas na conceção e implementação dos processos de autoavaliação?» e «Quais as dificuldades das escolas na concretização de planos de ação que possibilitem a melhoria?», um grupo de docentes e investigadores da Universidade de Évora tem prestado apoio (teórico e prático) a algumas escolas, na linha de um paradigma sociocrítico, assumindo-se que uma investigação-ação deve conter em si uma intenção de mudança e de produção de conhecimento emancipatório, que conduza os sujeitos a operar ativamente na transformação da realidade (Coutinho, 2005). Trata- -se, assim, na perspetiva do modelo de amigo crítico (Leite, 2002; Swaffield, 2003, 2004), de apoiar a “investigação, a ação e a formação” (Coutinho et al., 2009) por parte dos protagonistas da avaliação, veiculando a mudança e a melhoria da prática (Latorre, 2003). Este texto pretende refletir sobre os processos de capacitação dos atores escolares em torno destes temas, já experimentados pelos autores em diversos agrupamentos de escolas e, simultaneamente, apresentar uma linha de intervenção formativa nas escolas, que visa a capacitação dos atores escolares nestes domínios. Assim, apresentar-se-á um programa de formação em contexto profissional fundado no diagnóstico de necessidades realizado a partir da experiência concreta dos investigadores enquanto académicos e/ou peritos externos da Inspeção Geral da Educação e Ciência no âmbito do Programa de Avaliação Externa das Escolas, cujos conteúdos convocam saberes da sociologia, da psicologia e das ciências da educação e servem o propósito de reforçar as competências dos principais atores para participarem ativa e eficazmente nos processos de autoavaliação e de avaliação externa da sua organização escolar

Da palavra à construção de conhecimento. Meta-avaliação de um Guião de Entrevista semi-estruturada

The study is based on the intention to contribute to the expansion of scientific knowledge in the area of qualitative methodologies, particularly in terms of meta-analysis, proposing a reflective look and meta-evaluation on the interview guide, the content analysis and analysis of discourse (that the interview increases) and is part of the research project "Impact and Effects of External Evaluation in Schools of not Higher Education». We start from the question: 'What are the desired / desirable procedures for the use of the technique of data collection "Interview Survey" in scientific research?', having as main objective the production and presentation of a meta-evaluation method in the form of 'checklist' or evaluative checklist, designed to be used as a support tool in the construction and validation of interview guides. Thus, we present an evaluation checklist that includes fourteen indicators to allow the assignment of more or less quality to the interview guide for analysis. The main findings show that the validation of an interview guide is an act of allocating of 'quality' in this investigative tool. A meta-review of a scripted semi-structured interview may demonstrate its extreme relevance and validity, since the more or less successfully result of the investigative task will depend on the validation of the interview guide. O estudo funda-se na intencionalidade de contribuir para o alargamento do conhecimento científico na área das metodologias qualitativas, nomeadamente ao nível da meta- -análise, propondo um olhar reflexivo e meta-avaliativo sobre o guião de entrevista, a análise de conteúdo e análise do discurso (que o inquérito por entrevista potencia) e insere-se no âmbito do projeto de investigação «Impacto e Efeitos da Avaliação Externa nas Escolas do Ensino não Superior» – AEEENS. Partimos da questão: «Quais são os procedimentos desejados / desejáveis para a utilização da técnica de recolha de dados “inquérito por entrevista” numa investigação científica?», tendo como objetivo primordial a produção e a apresentação de um instrumento meta-avaliativo, sob a forma de ‘lista de verificação’ ou checklist avaliativa, destinado a ser usado como ferramenta de apoio na construção e na validação de guiões de entrevista. Assim, apresenta-se uma checklist avaliativa que integra catorze indicadores capazes de permitirem a atribuição de mais ou menos qualidade ao guião em apreço. As principais conclusões evidenciam que a validação de um guião de entrevista consiste num ato de atribuição de ‘qualidade’ a esse instrumento investigativo. A meta-avaliação de um guião de entrevista semiestruturada pode revelar-se de extrema pertinência e validade, uma vez que da sua validação dependerá, em última instância, o resultado mais ou menos conseguido da tarefa investigativa. O estudo revelou ainda a necessidade de os investigadores envolvidos no processo perfilharem o mesmo ponto de vista, uma vez que, tratando-se de uma análise de dados qualitativa, a análise de conteúdo dever estar em permanente revisão, processando-se de forma cíclica e circular, necessitando do olhar e da atenção do investigador para dos dados extrair significados

Efeitos da avaliação externa das escolas nos resultados escolares e na qualidade do serviço educativo prestado

A escola é hoje entendida como um locus privilegiado para potenciar desenvolvimento a médio e longo prazo, considerando-se a sua capacidade para intervir no crescimento sustentável da sociedade, por via da prestação de um serviço educativo de qualidade, focalizado, sobretudo, nos resultados escolares dos alunos. O referencial avaliativo do programa de Avaliação Externa das Escolas (AEE), levado a cabo pela Inspeção-Geral de Educação e Ciência (IGEC), integra atualmente três domínios, subdivididos em fatores. Da AEE resulta um Relatório enviado para as escolas. O trabalho que apresentamos integra a nossa Tese de Doutoramento, a qual se insere num estudo maior, desenvolvido no âmbito de um projeto de investigação nacional em curso, intitulado «Impacto e Efeitos da Avaliação Externa nas Escolas do Ensino não Superior». Centrámo-nos nos domínios «Resultados» e «Prestação do Serviço Educativo», para, a partir da análise dos Relatórios, procurarmos respostas para a questão central: Quais os efeitos que a Avaliação Externa das Escolas operou nos resultados educativos e na qualidade do serviço educativo prestado? (domínios «Resultados» e «Prestação do Serviço Educativo» do Quadro de Referência da AEE do 1.º ciclo avaliativo). Metodologicamente, privilegiámos a análise qualitativa de dados: análise de conteúdo das entrevistas semiestruturadas levadas a cabo em 10 escolas do Alentejo (avaliadas externamente em 2006/07) e dos Relatórios da AEE, à luz de bibliografia de referência e legislação vigente. Os principais resultados evidenciam que, em geral, os Relatórios produzem impactos e efeitos maioritariamente positivos, sendo globalmente assumidos como um instrumento potenciador de autorregulação escolar e de aprendizagem e melhoria contínuas, abrangendo três grandes aspetos: 1) Conhecimento das alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo; 2) Identificação dos padrões de alteração registados nas unidades de gestão alvo de estudo, potenciadores da eficiência, eficácia e qualidade organizacionais; e 3) Explicação das divergências e/ou similitudes provocadas pelo impacto do processo da Avaliação Externa

EVALUATION OF SCHOOL ORGANIZATIONS IN PORTUGAL: THE REFLECTIVE STUDY OF THE REPORTS OF EXTERNAL EVALUATION IN ALENTEJO REGION. AVALIAÇÃO DE ORGANIZAÇÕES ESCOLARES EM PORTUGAL: ESTUDO REFLEXIVO DOS RELATÓRIOS DA AVALIAÇÃO EXTERNA NA REGIÃO ALENTEJO

Objetivos: analisar relatórios da avaliação externa de 10 escolas na região Alentejo, relativamente aos resultados escolares e identificar os fatores basilares de uma avaliação positiva. Metodologia: estudo analítico de tipo ensaio reflexivo, incluindo o estudo de revisão de literatura em base de dados, livros e trabalhos de investigação e a análise dos Relatórios da Avaliação Externa das Escolas, da responsabilidade da Inspecção-Geral da Educação. Resultados: existe uma estreita relação entre avaliação externa e interna, os dois pilares da avaliação das escolas. A análise cruzada entre a classificação obtida pelas diferentes escolas analisadas e a identificação do número de indicadores avaliativos de bons desempenhos organizacionais, extraídos dos relatórios da avaliação externa das escolas, indiciou uma valorização diversificada destes indicadores, por parte das equipas de avaliação. Foram identificados alguns indicadores cuja ausência conduziu a uma avaliação menos positiva, a qual surge associada ao valor relativo de responsabilização dos diferentes atores organizacionais nas avaliações das escolas, o que se manifesta no número de indicadores encontrados. Conclusão: Revela-se necessário que todos os actores organizacionais demonstrem capacidade de utilização dos dados quer das avaliações externas, quer da própria auto-avaliação, quer ainda da investigação sobre a temática

Efeitos da avaliação externa das escolas nos resultados escolares e na qualidade do serviço educativo prestado

O trabalho que apresentamos integra a tese de Doutoramento da primeira autora. Centrámo-nos nos domínios «Resultados» e «Prestação do Serviço Educativo», para, a partir da análise dos relatórios, procurarmos respostas para a questão central: Quais os efeitos que a Avaliação Externa das Escolas operou nos resultados educativos e na qualidade do serviço educativo prestado?. Metodologicamente, recorremos à análise de conteúdo das entrevistas semiestruturadas levadas a cabo em 10 unidades orgânicas do Alentejo, avaliadas externamente em 2006/2007, juntamente com o cruzamento dos dados que a leitura dos relatórios da AEE possibilitou. Os principais resultados evidenciam que, em geral, os relatórios produzem impactos e efeitos maioritariamente positivos, sendo globalmente assumidos como um instrumento potenciador de autorregulação escolar e de aprendizagem e melhoria contínuas, abrangendo três grandes aspetos: 1) Conhecimento das alterações que surgiram nas escolas, em consequência do processo de Avaliação Externa (AE), no que concerne aos “Resultados” e à “Prestação do Serviço Educativo; 2) Identificação dos padrões de alteração registados nas unidades de organização alvo de estudo, potenciadores da eficiência, eficácia e qualidade organizacionais; e 3) Explicação das divergências e/ou similitudes provocadas pelo impacto do processo da Avaliação Externa./ The work we present is part of the PhD thesis of the first author. We focused on the areas 'Results' and 'Provision of Educational Services', for, from the analysis of the reports, we seek answers to the central question: What were the effects of the External Evaluation of Schools (EES) operated in educational outcomes and the quality of the educational service provided?. Methodologically, we carried out a content analysis of semi-structured interviews conducted in 10 schools in the Alentejo, externally evaluated in 2006/2007, proceeding to the intersection of the data from the reports of the EES. The main results show that, in general, the reports produce some impacts and have mostly positive effects, generally assumed to be an enhancer of school and self - regulation of learning and continuous improvement tool, covering three major aspects: 1) Knowledge of changes in schools that emerged as a result of the process of External Evaluation (EES), in relation to the "Results" and "Provision of Educational Services; 2) Identification of the patterns of change recorded in the schools, enhancers of efficiency, effectiveness and organizational quality; and 3) Explanation of differences and / or similarities caused by the impact of the process of external assessment

Modelos e práticas de (auto)avaliação em escolas do Alentejo

Em Portugal, apesar de a autoavaliação ser obrigatória desde 2002 (com a publicação da Lei n.º 31/2002), foi sobretudo a partir do lançamento do Programa de Avaliação Externa das Escolas (AEE) - em 2006, na fase piloto, de 2007 a 2011, no seu primeiro ciclo avaliativo e, atualmente, a dar início a um novo ciclo -, que as escolas despertaram para o imperativo e necessidade de desenvolverem a sua autoavaliação. Neste sentido, dado que terminou o primeiro ciclo da AEE, que a legislação não propõe nenhum modelo de autoavaliação nem existem recomendações concretas que forneçam às escolas indicações sobre a forma como devem organizar o processo, importa traçar um retrato das práticas organizacionais avaliativas das organizações escolares. Tendo por questão de partida As escolas assumem práticas de autoavaliação? Que tipo de práticas implementam? Adotam modelos específicos ou criam os seus próprios modelos, optou-se por realizar um estudo centrado na realidade das escolas do Alentejo, que se socorreu da análise dos dados constantes nos Relatórios de Escola, produzidos pela Delegação Regional do Alentejo da Inspeção Geral de Educação (IGE) e nos Contraditórios – ambos redigidos no âmbito da AEE e publicitados na página da IGE. A análise realizada visou responder à problemática, de acordo com os objetivos traçados para a investigação, a saber: (i) compreender se as escolas estão ou não a implementar a autoavaliação institucional; (ii) conhecer as práticas (e a sua natureza) de autoavaliação das escolas do Alentejo; e (iii) identificar os modelos/referenciais de avaliação adotados. É certo que a autoavaliação institucional não faz parte da cultura portuguesa e que as escolas, na tentativa de se apropriarem desta modalidade de avaliação e darem resposta a este desafio de olhar introspetivo, têm vindo a experimentar percursos diversos, na tentativa de encontrarem o caminho mais adequado à sua realidade. Algumas escolas (poucas) parecem ter já conseguido explorar as potencialidades da autoavaliação, mas são ainda muitas as que continuam numa fase de experimentação, aparentemente sem rumo

Relatórios internacionais e europeus, um olhar sobre a AEE em Portugal

Ao longo das duas últimas décadas, em contextos sociopolíticos muito diversos, a avaliação das organizações escolares, assumindo diferentes configurações e domínios de incidência, tem ocupado um lugar de destaque na agenda das políticas educativas. O Programa de Avaliação Externa das Escolas (PAEE), instituído em Portugal desde 2007, sob a responsabilidade da Inspeção Geral da Educação e Ciência (IGEC), resultou de um percurso, com mais de uma década, em programas e em projetos, nacionais e internacionais. A experiência portuguesa no que concerne aos processos de avaliação externa é ainda muito curta quando comparada com a de outros países da Europa. Todavia, o caminho percorrido tem conduzido à alteração de algumas práticas e evidenciou potencialidades e fragilidades nos processos de avaliação, que têm vindo a ser divulgadas em diversos estudos, pareceres e relatórios sobre a avaliação externa das escolas, tanto em Portugal como no restante espaço europeu. Nesta comunicação, apresentamos os resultados de uma análise desenvolvida no âmbito de um projeto de investigação financiado pela Fundação para a Ciência e Tecnologia (FCT) - Impacto e Efeitos da Avaliação Externa nas Escolas do Ensino não Superior (PTDC/CPE-CED/116674/2010), que teve como objetivos: i) identificar relatórios europeus com informação sobre o PAEE; ii) estabelecer comparações entre o PAEE e programas de avaliação externa, aplicados noutros países; e iii) identificar pontos fortes, pontos fracos e recomendações do/para o PAEE. Foram identificados quatro relatórios, publicados entre 2009 e 2012, que nos conduzem a um questionamento sobre o PAEE, com evidenciação de potencialidades ao nível da consolidação de boas práticas reconhecidas internacionalmente e da reformulação e melhoria de alguns aspetos menos bem conseguidos, que devem ser revistos ou melhorados.FC

O Programa de Avaliação Externa das Escolas em Portugal à luz de relatórios internacionais

Ao longo das duas últimas décadas, em contextos sociopolíticos muito diversos, a avaliação das organizações escolares, assumindo diferentes configurações e domínios de incidência, tem ocupado um lugar de destaque na agenda das políticas educativas. O Programa de Avaliação Externa das Escolas (PAEE), instituído em Portugal desde 2007, sob a responsabilidade da Inspeção Geral da Educação e Ciência (IGEC), resultou de um percurso, com mais de uma década, em programas e em projetos, nacionais e internacionais. A experiência portuguesa no que concerne aos processos de avaliação externa é ainda muito curta quando comparada com a de outros países da Europa. Todavia, o caminho percorrido tem conduzido à alteração de algumas práticas e evidenciou potencialidades e fragilidades nos processos de avaliação, que têm vindo a ser divulgadas em diversos estudos, pareceres e relatórios sobre a avaliação externa das escolas, tanto em Portugal como no restante espaço europeu. Nesta comunicação, apresentamos os resultados de uma análise desenvolvida no âmbito de um projeto de investigação financiado pela Fundação para a Ciência e Tecnologia (FCT) - Impacto e Efeitos da Avaliação Externa nas Escolas do Ensino não Superior (PTDC/CPE-CED/116674/2010), que teve como objetivos: i) identificar relatórios europeus com informação sobre o PAEE; ii) estabelecer comparações entre o PAEE e programas de avaliação externa, aplicados noutros países; e iii) identificar pontos fortes, pontos fracos e recomendações do/para o PAEE. Foram identificados quatro relatórios, publicados entre 2009 e 2012, que nos conduzem a um questionamento sobre o PAEE, com evidenciação de potencialidades ao nível da consolidação de boas práticas reconhecidas internacionalmente e da reformulação e melhoria de alguns aspetos menos bem conseguidos, que devem ser revistos ou melhorados

INTERAÇÃO ESCOLA, FAMÍLIA E COMUNIDADE NO PROCESSO DE AUTOAVALIAÇÃO DAS ESCOLAS: SINAIS DE MUDANÇAS EDUCACIONAIS

A modernização do sistema educativo passa, para alguns autores, pela sua descentralização e por um investimento nas escolas como lugares de formação, como espaços de autonomia pedagógica, curricular e profissional, o que implica um esforço de compreensão do papel dos estabelecimentos educativos como organizações que têm forçosamente de adquirir agilidade e flexibilidade incompatíveis com a inércia burocrática e administrativa que as tem caracterizado. Para certos estudiosos, as mudanças educacionais desejadas e desejáveis passam pela assunção clara da escola enquanto organização peculiar que tem como premissa a interação entre as pessoas para a promoção da educação e formação humanas. A instituição escolar caracteriza-se por ser um sistema de relações humanas e sociais com particularidades de interação que a diferenciam das empresas convencionais. Não pode deixar de ser considerada um organismo social que reúne pessoas que interagem mutuamente por meio de estruturas e processos organizativos exclusivos, visando alcançar os objetivos educacionais. Afigura-se essencial que na escola haja lugar a uma gestão holística e sustentável nas áreas da estratégia, criatividade e inovação, da gestão do capital humano e do conhecimento. Para que tal aconteça, parece ser necessário investir fortemente em áreas tais como a da formação, da comunicação e informação e, centralmente, da autorregulação ou autoavaliação. Parece necessário proceder à gestão da mudança educativa, construir uma outra cultura organizacional, investir na comunicação, desenvolver as capacidades dos atores organizacionais e intensificar as interações entre escola, família e comunidade. Assim sendo, este estudo parte da questão: De que forma participam as famílias e a comunidade envolvente no processo de autoavaliação das organizações escolares? e, através dos dados constantes nos Relatórios da Avaliação Externa das Escolas, visa conhecer o grau de participação das famílias e da comunidade na concretização do processo de autoavaliação das escolas e identificar boas práticas nas interações entre as escolas, famílias e comunidade escolar, extra-escolar e educativa, nomeadamente em áreas como as da formação e da comunicação e informação