Differential effect of university entrance scores on graduates’ performance: the case of degree completion on time in Portugal

Degree completion on theoretical time is a phenomenon seldom explored in the higher education literature. We applied variance components models and random coefficients models to the microdata of an entire entrant cohort of first-time, full-time undergraduate students who completed their three-year programme at a Portuguese institution during the theoretical period. The study showed that the variance partition coefficient is 0.27, considering the hierarchical structure of students nested in programmes. The differential effect of students’ university entrance scores on degree completion grade point average is stronger across programmes than across faculties, controlling for students’ sociodemographic background (gender, age and parents’ level of education), social scholarship granted, and preference regarding the institution and programme attended. The fixed effects related to the areas of study and type of institution (e.g. university or polytechnic) were also quantified. The estimates indicated that secondary school preparation is the most important predictive factor for the final grade point average of degree completion among the variables at enrolment. Moreover, differences based on gender, age, and areas of study were found.info:eu-repo/semantics/publishedVersio

http://www.ice.deusto.es/rinace/reice/vol1n1/FerraoyFernandes.pdf

O objectivo principal do presente trabalho é apresentar uma resenha de investigações empíricas realizadas sobre o efeito-escola no Brasil ao longo dos últimos 7 anos, bem como enunciar os principais factores, escolares e familiares, associados aos resultados escolares e que são passíveis de mudança no curto-médio prazo, sobretudo no que se refere à educação dos alunos com déficit educacional sistemático. O texto aponta pistas de como a actuação da escola e da família pode ser corrigida e articulada de modo a produzir a melhoria efectiva nos resultados escolares. É enfatizada a importância do acompanhamento de resultados e recuperação atempada dos alunos em risco de repetência, da necessidade de reforço educativo nas turmas com maior proporção de alunos repetentes (para que os conteúdos programáticos possam ser integralmente cumpridos), a importância de que a implementação das políticas para a correcção do desfasamento idade-série seja acompanhada de medidas complementares e estruturantes que confiram estabilidade ao sistema, a importância de que as famílias usem o seu capital social a favor da educação

Analysis of grade repetition through multilevel models: A study from Portugal

This paper investigates grade repetition in Portugal using microdata. Drawing on multilevel models, we analyse the number of times the student repeated a grade in compulsory education – our dependent variable – in association with children’s individual characteristics, household sociodemographic and economic background, and children’s living conditions – our covariates. Furthermore, we also attempt to shed light on the impact of schools on the endogenous variable. Our results confi rm the importance of individual, family, and neighbourhood characteristics on the rate of grade repetition. In terms of schools, the results obtained show that the student’s probability of failure vary across schools, demonstrating the importance of the impact of the school itself on grade repetition.Este artigo investiga a retenção escolar em Portugal usando microdados. Com a aplicação de modelos multinível, analisa-se o número de retenções no ensino obrigatório – variável explicada –, considerando como potenciais variáveis explicativas – características individuais do aluno, seu contexto familiar em termos sociodemográfi cos e econômicos e suas condições de vida. Também se investiga o impacto da escola de per si na variável endógena. Os resultados obtidos confi rmam a importância das características individuais e familiares e das condições de vida na retenção escolar. A análise empírica mostra que a probabilidade de reprovação de um aluno varia de escola para escola, demonstrando a importância do impacto da escola de per si na retenção escolar.info:eu-repo/semantics/publishedVersio

Persistence and academic expectations in higher-education students

Background: The article focuses on the relationship between students’ expectations and persistence in the context of higher education. It explores the role that high expectations play in increasing the probability of adult students’ persistence, controlling for individual sociodemographic attributes, skills preparation, values, and commitments. Method: A multilevel logistic model was applied to data on 2,697 first-year students who were enrolled in 54 programmes at a Portuguese public university during 2015-2016. Results: The findings suggest that high academic expectations are relevant to older students, since such expectations increase their likelihood of persistence. Being admitted to their first-choice programmes and differences in their study habits also contribute to increasing the probability of persistence. In the presence of such motivational and behavioural attributes, we did not find statistically significant differences according to students’ socioeconomic background or gender. Our results also suggest that the relationship between prior academic achievement and persistence varies randomly across programmes. Conclusions: This institutional research study gives evidence towards the relevance of taking into account the level of programmes/courses in order to support interventions that effectively meet the students´ expectations and, thus, could increase the probability of persistence for all students entering HE.The first author was partially supported by the Project CEMAPRE/REM - UIDB/05069/2020 - financed by FCT/MCTES through national funds

Issues of gender, age, socio-cultural background, expectations, and program choice

The purpose of this article is to characterize and contribute to the debate on the democratization of Portuguese higher education, both in terms of access and the performance of students enrolled in a public university. The analyses concern the sociodemographic characteristics and schooling trajectory of the 2,697 students enrolled for the first time in the University of Minho in the academic year 2015/16. The relationships between such characteristics and the choice of program, expectations regarding higher education, the criteria of admission, and the association with their permanence and performance in the first year of studies are explored as well. Several statistical tests were applied, such as those based on multivariate analysis of variance, chi-squared test for the independence between variables, or the tStudent test for the comparison of means of two independent samples. Results suggest that student’s gender, socio-cultural background and schooling trajectory are related to the choice of the programe, university entrance score and the entrance option. The multivariate analysis of variance of student’s grade point average at the end of the first year suggests the influence of the interaction between the fixed term of scientific-disciplinary area of the program attended and the program option of access to higher education. We did not find any statistically significant association between socio-cultural background and permanence in higher education; i.e, the socio-cultural origin of the students does not seem to influence the decision to abandon, suspend or transfer program, at least during their first year of studies. Our findings suggest student’s resilience and/or institutional action meaning a step further on the path for social equity in the Portuguese higher education.O artigo tem o propósito de caracterizar e contribuir para o debate sobre a democratização do Ensino Superior português, quer no que se refere ao acesso como ao desempenho dos estudantes matriculados numa universidade pública. Analisam-se características sociodemográficas e percurso escolar dos 2697 alunos inscritos pela 1ªvez no 1ºano no ano letivo 2015/16 e a sua associação à escolha do curso, às expectativas sobre o ensino superior, condições de ingresso, bem como a associação com o desempenho ao longo do 1º ano. Os principais resultados indicam que o sexo, a origem socio-cultural das famílias e o percurso escolar estão associados à escolha do curso, à nota de candidatura e à opção de entrada. A análise de variância multivariada da classificação no final do 1º ano sugere que, ao nível de significância de 5%, o termo fixo de área científico-disciplinar e os termos de interacção entre opção do curso e área científica-disciplinar são estatisticamente diferentes de zero. Não foi encontrada associação estatisticamente significativa de origem socio-cultural com persistência no ensino superior. A origem dos estudantes parece não influenciar a decisão de abandonar, suspender ou transferir-se de curso, pelo menos durante o 1º ano. Os resultados associados ao percurso escolar sugerem a resiliência e/ou a acção institucional na promoção da equidade no ensino superior.info:eu-repo/semantics/publishedVersio

Utility-driven assessment of anonymized data via clustering

In this study, clustering is conceived as an auxiliary tool to identify groups of special interest. This approach was applied to a real dataset concerning an entire Portuguese cohort of higher education Law students. Several anonymized clustering scenarios were compared against the original cluster solution. The clustering techniques were explored as data utility models in the context of data anonymization, using k-anonymity and (ε, δ)-differential as privacy models. The purpose was to assess anonymized data utility by standard metrics, by the characteristics of the groups obtained, and the relative risk (a relevant metric in social sciences research). For a matter of self-containment, we present an overview of anonymization and clustering methods. We used a partitional clustering algorithm and analyzed several clustering validity indices to understand to what extent the data structure is preserved, or not, after data anonymization. The results suggest that for low dimensionality/cardinality datasets the anonymization procedure easily jeopardizes the clustering endeavor. In addition, there is evidence that relevant field-of-study estimates obtained from anonymized data are biased.info:eu-repo/semantics/publishedVersio

Web application for the analysis of assessment tests

Introduction: An assessment test enables the evaluation of an individual’s competence or ability. Such tests are important for both teaching and professional training institutions, as well as for the recruiting of human resources in the enterprise. Objectives: The present paper introduces the “Evaluate” web application, for the analysis of assessment tests. Methods: The design and implementation of the application is described, which allows the management of assessment items, used to constitute evaluation tests, upon which results the main descriptive statistic values used under the classical test theory in the analysis of assessment tests are calculated. The application was developed in Python, within the Django framework, and tested with real assessment tests. Results: Scores are assigned to each assessment item, and various statistics — such as difficulty and discrimination index, point-biserial correlation, test internal consistency coefficient — can be obtained upon the answers of the subjects, as well as a graphic analysis of the performance of each subject on each assessment item, as well as on the test as a whole. Conclusion: The “Evaluate” application makes a meaningful contribution to a better knowledge of assessment tools used in competence evaluation, by allowing the detection of inconsistencies and the consequent improvement in the process.Introdução: Um teste de aferição permite a avaliação de uma dada competência ou capacidade de um individuo. Estes testes são importantes quer no âmbito de instituições de ensino, quer no âmbito empresarial para o recrutamento de recursos humanos. Objetivos: O artigo tem como principal objectivo apresentar a aplicação web designada "Evaluate" para a análise de testes de aferição. Métodos: Descreve-se o desenho e implementação da aplicação que permite fazer a gestão de questões ou itens de aferição, a partir dos quais é possível a construção de testes de avaliação. A partir dos resultados dos alunos na resolução desses testes, são calculadas as principais estatísticas descritivas usadas na análise de testes de aferição das aprendizagens ao abrigo da teoria clássica dos testes. A aplicação “Evaluate” foi desenvolvida em Python usando a framework Django e foi testada com provas de aferição reais. Resultados: Para cada teste são atribuídas cotações aos itens e, a partir das respostas dos alunos, são obtidas diversas estatísticas tais como: índice de dificuldade e de discriminação, correlação ponto-bisserial, coeficiente de consistência interna do teste. A aplicação permitir ainda a análise gráfica do desempenho dos alunos por cada item e no teste como um todo. Conclusões: A aplicação “Evaluate” é uma ferramenta que contribui para um melhor conhecimento dos instrumentos de aferição usados na avaliação de conhecimentos, permitindo identificar inconsistências e consequentemente introduzir melhorias no processo.Introducción: Una prueba de evaluación permite la evaluación de una determinada competencia de un individuo. Estas pruebas son importantes tanto en el ámbito de las instituciones de enseñanza, tanto en el ámbito empresarial para la contratación de recursos humanos. Objetivo: El artículo tiene como principal objetivo presentar la aplicación web designada “Evaluate” para análisis de pruebas de evaluación. Métodos: Se describe el diseño e implementación de la aplicación que permite hacer la gestión de cuestiones, a partir de los cuales es posible la construcción de pruebas de evaluación. A partir de los resultados de los alumnos en la resolución de estas pruebas, son calculadas las principales estadísticas descriptivas utilizadas en el análisis de pruebas de evaluación de los aprendizajes bajo la teoría clásica de las pruebas. La aplicación “Evaluate” fue desarrollada en Python usando el framework Django y fue probada con pruebas de evaluación real. Resultados: Para cada prueba se asignan cotizaciones a los ítems y, a partir de las respuestas de los alumnos, se obtienen diversas estadísticas por cada ítem e por cada prueba. La aplicación permite además el análisis gráfico del desempeño de los alumnos por cada ítem y en la prueba como un todo. Conclusiones: La aplicación “Evaluate” es una herramienta que contribuye a un mejor conocimiento de los instrumentos de medición usados en la evaluación de conocimientos, permitiendo identificar inconsistencias y consecuentemente introducir mejoras en el proceso.info:eu-repo/semantics/publishedVersio

A Measure of Child Exposure to Household Material Deprivation: Empirical Evidence from the Portuguese EU-SILC

Although monitoring and evaluating child poverty has been recognized as important, there is little statistical information focused on children. Because the annual EUStatistics on Income and Living Conditions (EU-SILC) survey does not include child-specific information on an annual basis, this study proposes a measure of child exposure to household material deprivation based on this dataset. The study considers four domains of deprivation that have a direct impact on child development: housing conditions, household financial capacity, household durable goods, and environmental living conditions. Although developing a child-centered measurement of child deprivation is important, the EU-SILC considers the household as the unit of measurement. Therefore, our proposal is household-based, allowing annual monitoring of children’s exposure to deprivation—an important insight for social policy purposes to tackle the problem of child poverty. Using the 2017 Portuguese sample, we applied graded response models to assess the psychometric properties of the EU-SILC items and fit separate indexes per domain and the composite index. Item selection was based on their characteristic curves and information functions. The results allow for the selection of more informative items for every domain to obtain the composite index. In general, the empirical analysis confirmed the theoretical approach for item selection. The methodology may be directly applied to the full EU dataset or to each country individually.info:eu-repo/semantics/publishedVersio

Multiple imputation in big identifiable data for educational research: An example from the Brazilian education assessment system

Almost all quantitative studies in educational assessment, evaluation and educational research are based on incomplete data sets, which have been a problem for years without a single solution. The use of big identifiable data poses new challenges in dealing with missing values. In the first part of this paper, we present the state-of-art of the topic in the Brazilian education scientific literature, and how researchers have dealt with missing data since the turn of the century. Next, we use open access software to analyze real-world data, the 2017 Prova Brasil , for several federation units to document how the naïve assumption of missing completely at random may substantially affect statistical conclusions, researcher interpretations, and subsequent implications for policy and practice. We conclude with straightforward suggestions for any education researcher on applying R routines to conduct the hypotheses test of missing completely at random and, if the null hypothesis is rejected, then how to implement the multiple imputation, which appears to be one of the most appropriate methods for handling missing data.Quase todos os estudos quantitativos em aferição, avaliação e pesquisa educacional são baseados em conjuntos de dados incompletos, que têm sido um problema há anos sem solução única. O uso de grandes dados identificáveis apresenta novos desafios para lidar com valores ausentes. Na primeira parte deste artigo, apresentamos o estado-da-arte do tópico na literatura científica educacional brasileira e como os pesquisadores têm tratado os dados omissos. Em seguida, usamos o software de acesso livre para analisar dados do mundo real, a Prova Brasil 2017, para várias unidades da federação, e documentamos como pressuposto de dados omissos completamente aleatórios pode afetar os resultados estatísticos, as interpretações e implicações subsequentes para políticas e práticas. Concluímos com sugestões diretas para qualquer pesquisador de Educação sobre a aplicação de rotinas R para realizar o teste de hipóteses de dados omissos completamente aleatórios e, se a hipótese nula for rejeitada, como implementar a imputação múltipla, que parece ser um dos métodos mais apropriados para manipular dados ausentes.Casi todos los estudios cuantitativos en evaluación, evaluación e investigación educativa se basan en conjuntos de datos incompletos, que han sido un problema desde hace años sin solución única. El uso de grandes datos identificables presenta nuevos desafíos para manejar los valores ausentes. En la primera parte de este artículo, presentamos el estado del arte del tópico en la literatura científica educativa brasileña y cómo los investigadores han tratado los datos omisos. A continuación, utilizamos el software de acceso libre para analizar datos del mundo real, la Prueba Brasil 2017, para varias unidades de la federación, y documentamos cómo la asunción de datos omisos completamente aleatorios puede afectar los resultados estadísticos, las interpretaciones e implicaciones subsecuentes para políticas y prácticas. Concluimos con sugerencias directas para cualquier investigador de Educación sobre la aplicación de rutinas R para realizar la prueba de hipótesis de datos omisos completamente aleatorios y, si la hipótesis nula es rechazada, cómo implementar la imputación múltiple, que parece ser uno de los métodos más apropiados para manipular datos ausentes.Centro-01-0145-FEDER-000019-C4-Centro de Competências em Cloud Computing and by the Brazilian Coordination for the Improvement of Higher Education Personnel Foundation, through a post-doc fellowship for a research project, which took place at the Faculty of Sciences of the University of Beira Interior, Portugal (Capes-PVE88881.169888/2018-01), and partially supported by the Brazilian National Council for Scientific and Technological Development (CNPq-process 440172 / 2017-9).info:eu-repo/semantics/publishedVersio

Uma década da Prova Brasil: evolução do desempenho e da aprovação

O artigo analisa os dados originados pela aplicação da Prova Brasil, a fim de responder duas perguntas: no período de dez anos, houve avanços na qualidade da educação em termos de aprendizado e aprovação no ensino fundamental 1 e 2? Quem são os alunos que melhoraram (ou não), segundo recortes territoriais e características sociais? São apresentadas estatísticas descritivas dos níveis de proficiência e da autodeclaração sobre a reprovação dos alunos do 5º e 9º anos de 2007 a 2017. Os resultados mostram uma melhora contínua dos dois indicadores de qualidade em todas as regiões e grupos sociais. Porém, pelos critérios adotados, as diferenças entre os grupos sociais e regiões do país são importantes para entender os entraves no avanço global do aprendizado e na redução da reprovação.info:eu-repo/semantics/publishedVersio