Modelling for understanding AND for prediction/classification - the power of neural networks in research

Two articles, Edelsbrunner and, Schneider (2013), and Nokelainen and Silander (2014) comment on Musso, Kyndt, Cascallar, and Dochy (2013). Several relevant issues are raised and some important clarifications are made in response to both commentaries. Predictive systems based on artificial neural networks continue to be the focus of current research and several advances have improved the model building and the interpretation of the resulting neural network models. What is needed is the courage and open-mindedness to actually explore new paths and rigorously apply new methodologies which can perhaps, sometimes unexpectedly, provide new conceptualisations and tools for theoretical advancement and practical applied research. This is particularly true in the fields of educational science and social sciences, where the complexity of the problems to be solved requires the exploration of proven methods and new methods, the latter usually not among the common arsenal of tools of neither practitioners nor researchers in these fields. This response will enrich the understanding of the predictive systems methodology proposed by the authors and clarify the application of the procedure, as well as give a perspective on its place among other predictive approaches

Predicting key educational outcomes in academic trajectories: a machine-learning approach

Predicting and understanding different key outcomes in a student's academic trajectory such as grade point average, academic retention, and degree completion would allow targeted intervention programs in higher education. Most of the predictive models developed for those key outcomes have been based on traditional methodological approaches. However, these models assume linear relationships between variables and do not always yield accurate predictive classifications. On the other hand, the use of machine-learning approaches such as artificial neural networks has been very effective in the classification of various educational outcomes, overcoming the limitations of traditional methodological approaches. In this study, multilayer perceptron artificial neural network models, with a backpropagation algorithm, were developed to classify levels of grade point average, academic retention, and degree completion outcomes in a sample of 655 students from a private university. Findings showed a high level of accuracy for all the classifications. Among the predictors, learning strategies had the greatest contribution for the prediction of grade point average. Coping strategies were the best predictors for degree completion, and background information had the largest predictive weight for the identification of students who will drop out or not from the university programs.Fil: Musso, Mariel Fernanda. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Saavedra 15. Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental "Dr. Horacio J. A. Rimoldi". Grupo Vinculado CIIPME - Entre Ríos - Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental "Dr. Horacio J. A. Rimoldi"; ArgentinaFil: Rodríguez Hernández, Carlos Felipe. Katholikie Universiteit Leuven; BélgicaFil: Cascallar, Eduardo C.. Katholikie Universiteit Leuven; Bélgic

Predicting general academic performance and identifying the differential contribution of participating variables using artificial neural networks

oai:flr.journals.publicknowledgeproject.org:article/13Many studies have explored the contribution of different factors from diverse theoretical perspectives to the explanation of academic performance. These factors have been identified as having important implications not only for the study of learning processes, but also as tools for improving curriculum designs, tutorial systems, and students’ outcomes. Some authors have suggested that traditional statistical methods do not always yield accurate predictions and/or classifications (Everson, 1995; Garson, 1998). This paper explores a relatively new methodological approach for the field of learning and education, but which is widely used in other areas, such as computational sciences, engineering and economics. This study uses cognitive and non-cognitive measures of students, together with background information, in order to design predictive models of student performance using artificial neural networks (ANN). These predictions of performance constitute a true predictive classification of academic performance over time, a year in advance of the actual observed measure of academic performance. A total sample of 864 university students of both genders, ages ranging between 18 and 25 was used. Three neural network models were developed. Two of the models (identifying the top 33% and the lowest 33% groups, respectively) were able to reach 100% correct identification of all students in each of the two groups. The third model (identifying low, mid and high performance levels) reached precisions from 87% to 100% for the three groups. Analyses also explored the predicted outcomes at an individual level, and their correlations with the observed results, as a continuous variable for the whole group of students. Results demonstrate the greater accuracy of the ANN compared to traditional methods such as discriminant analyses.  In addition, the ANN provided information on those predictors that best explained the different levels of expected performance. Thus, results have allowed the identification of the specific influence of each pattern of variables on different levels of academic performance, providing a better understanding of the variables with the greatest impact on individual learning processes, and of those factors that best explain these processes for different academic levels

Artificial neural networks in academic performance prediction: Systematic implementation and predictor evaluation

The applications of artificial intelligence in education have increased in recent years. However, further conceptual and methodological understanding is needed to advance the systematic implementation of these approaches. The first objective of this study is to test a systematic procedure for implementing artificial neural networks to predict academic performance in higher education. The second objective is to analyze the importance of several well-known predictors of academic performance in higher education. The sample included 162,030 students of both genders from private and public universities in Colombia. The findings suggest that it is possible to systematically implement artificial neural networks to classify students’ academic performance as either high (accuracy of 82%) or low (accuracy of 71%). Artificial neural networks outperform other machine-learning algorithms in evaluation metrics such as the recall and the F1 score. Furthermore, it is found that prior academic achievement, socioeconomic conditions, and high school characteristics are important predictors of students’ academic performance in higher education. Finally, this study discusses recommendations for implementing artificial neural networks and several considerations for the analysis of academic performance in higher education.Fil: Rodríguez Hernández, Carlos Felipe. Katholikie Universiteit Leuven; BélgicaFil: Musso, Mariel Fernanda. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Saavedra 15. Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental Dr. Horacio J. A. Rimoldi; ArgentinaFil: Kyndt, Eva. Swinburne University Of Technology; Australia. Universiteit Antwerp; BélgicaFil: Cascallar, Eduardo. Katholikie Universiteit Leuven; Bélgic

Determinantes genéticos de los resultados de un programa de entrenamiento cognitivo en niños

Introducción: Los trabajos de entrenamiento cognitivo, específicamente de la memoria de trabajo y su transferencia a otros aprendizajes, ha sido controversial en los últimos 10 años. Si bien algunos estudios señalan efectos de entrenamiento de la memoria de trabajo, de la atención y control de los impulsos, y mejora de la inteligencia fluida, cuidadosos meta-análisis señalan que dichos entrenamientos se limitan a la automatización de ciertos procedimientos y tareas específicas, con poco efecto sobre la transferencia lejana a nuevos aprendizajes. Diferencias individuales podrían estar modulando este efecto, entre ellas variaciones en ciertos genes que sintetizan diferentes proteínas asociadas con variaciones en funciones ejecutivas. El objetivo del presente trabajo es presentar evidencia acerca de la contribución de marcadores genéticos específicos en las ganancias de un programa de entrenamiento cognitivo para niños, modelando redes neuronales artificiales (RNA) que pudieran clasificar con alta precisión, quienes mejorarían en su MT e inteligencia fluida. Metodología: Se consideró una muestra de 66 niños que fueron entrenados en un estudio previo (Combita- Merchan, 2014; Combita et al., 2017), varones= 54.2%, edades entre 50.9 y 75.9 meses (M= 63.07; SD= 7.31), de Granada (España). El grupo control tenía las mismas características sociodemográficas (n=34). Criterio de inclusión: capacidades sensoriales normales o corregidas, no poseer historia de enfermedades crónicas y/o psicopatológicas, y no haber estado bajo tratamiento farmacológico. El programa computarizado de entrenamiento fue administrado durante cuatro semanas (10 sesiones; 45 minutos por sesión), incluyendo 14 ejercicios en 6 categorías (Rastreo/Anticipación; Atención focalizada/Discriminación; Monitoreo del conflicto/Resolución; Control inhibitorio; Alternancia, y Atención sostenida). Fueron tomadas muestras de marcadores genéticos involucrados en la regulación de la dopamina (COMT, DAT1, DRD4), serotonina (5HTT), norepinefrina (MAOA3), acetilcolina (CHRNA4), y otros (SNAP, DBH), junto a medidas de memoria de trabajo (Sub-test Span del WISC-III) e inteligencia fluida (K-BIT; Kaufman & Kaufman, 1990). Se modelaron RNA (multilayer perceptron) utilizando un algoritmo backpropagation, en una fase de entrenamiento de la red y de testeo, maximizando la precisión en la clasificación. Se le dio igual peso tanto a precisión como a la sensibilidad de la red (medidas de la calidad de los resultados de las redes). Resultados: Se obtuvo un modelo que logró clasificar con un 83.3% de precisión a los niños que mejoraron en su inteligencia fluida, y con un 100% a los que no se beneficiaron del programa. COMT haplotype, la edad, género y presencia/ausencia del alelo 10r del DAT1 fueron los más importantes predictores para dicha red. El género y la presencia/ausencia del alelo 10r del DAT1 se encontraron asociados. La mayoría de los chicos del grupo beneficiado eran varones (70%) y portadores de este alelo (94.1%). Por otro lado, se obtuvo un modelo que logró un 80% de precisión en la clasificación de los niños que mejoraron en su memoria de trabajo y un 100% de precisión para los niños que no se beneficiaron. La edad, presencia/ausencia del alelo 3r de la MAOA, SNP rs6269, y un haplotype incluyendo SNPs rs6269, rs4633, rs4818, rs4680 del COMT, fueron los predictores más importantes para esta red. Discusión: los hallazgos sugieren que variaciones particulares de genes que involucran la neurotransmisión dopaminergica y de la norepinefrina, afectan la susceptibilidad para beneficiarse de un programa de entrenamiento cognitivo, patrones que son consistentes con estudios previos (Brehmer et al., 2009; Combita-Merchan, 2014; Söderqvist, 2012).Fil: Musso, Mariel Fernanda. Universidad Argentina de la Empresa; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Saavedra 15. Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental Dr. Horacio J. A. Rimoldi; ArgentinaFil: Cascallar, Eduardo C.. Katholikie Universiteit Leuven; BélgicaXVII Reunión Nacional y VI Encuentro Internacional de la Asociación Argentina de Ciencias del ComportamientoPosadasArgentinaAsociación Argentina de Ciencias del Comportamient

The well-fit for the FET model : understanding training transfer factors in Spain

Learning transfer evaluation is a necessary process for practitioners to assess the effectiveness of training, and the outcomes of training produces in workers' behaviors. In this paper, we explore an alternative way to evaluate transfer: through the study of transfer facilitators and barriers. Our aim is to validate the Factors to Evaluate Transfer (FET) model in a large sample of Spanish employees using confirmatory factor analysis. We applied the Spanish version of the FET scale to a sample of 2,745 Spanish workers of public service institutions and private companies. The results show a seven-factor model as the best choice according to the adjustment indices presented in the paper. We obtained a shorter version of the instrument, with adequate construct validity as well as good reliability and internal consistency. This model is a step forward in the measurement of indirect transfer and allows keeping working on the FET model to diagnosis transfer factors and increase the probabilities of higher learning transfer levels.L'avaluació de la transferència de l'aprenentatge és un procés necessari perquè els professionals avaluïn l'eficàcia de la formació i els seus resultats en els treballadors. Aquest article explora una forma alternativa d'avaluar la transferència: a través de l'estudi de facilitadors i obstacles de la transferència. L'objectiu és validar el model FET (factors per avaluar la transferència), en una mostra de treballadors espanyols amb una anàlisi factorial confirmatòria. Es va aplicar l'escala FET en espanyol a una mostra de 2.745 treballadors espanyols de l'Administració pública i l'empresa privada. Els resultats mostren un model de set factors com la millor opció sobre la base dels índexs d'ajust presentats en l'article. Vam obtenir una versió més reduïda de l'instrument, amb una validació de constructe adequada, així com una bona fiabilitat i consistència interna. Aquest model és un pas endavant en la mesura de la transferència indirecta i permet seguir treballant en el model FET per utilitzar-lo com a diagnosi de factors de transferència i augmentar la probabilitat de nivells més alts de transferència de l'aprenentatge.La evaluación de la transferencia del aprendizaje es un proceso necesario para que los profesionales evalúen la eficacia de la formación y sus resultados en los trabajadores. Este artículo explora una forma alternativa de evaluar la transferencia: a través del estudio de facilitadores y obstáculos de la transferencia. Su objetivo es validar el modelo FET (factores para evaluar la transferencia), en una muestra de empleados españoles con un análisis factorial confirmatorio. Se aplicó la escala FET en español a una muestra de 2.745 trabajadores españoles de la Administración pública y la empresa privada. Los resultados muestran un modelo de siete factores como la mejor opción sobre la base de los índices de ajuste presentados en el artículo. Obtuvimos una versión más reducida del instrumento, con una validación de constructo adecuada, así como una buena fiabilidad y consistencia interna. Este modelo es un paso adelante en la medición de transferencia indirecta y permite seguir trabajando en el modelo FET para usarlo como diagnóstico de factores de transferencia y aumentar la probabilidad de mayores niveles de transferencia del aprendizaje

Memoria de trabajo y atención ejecutiva: buscando patrones en sus contribuciones al desempeño de resolución de problemas

Introducción: Durante los últimos 50 años, el concepto de memoria de trabajo (MT) ha cobrado gran relevancia distanciándose de las características de un modelo pasivo de memoria a corto plazo para avanzar hacia modelos que focalizan sobre los mecanismos de control activo y de procesamiento. Tareas complejas que incluyen interferencia (lectura, operaciones, espaciales) han permitido explorar esta capacidad de MT, y su desempeño se ha encontrado fuertemente asociado a un amplio rango de habilidades cognitivas. Objetivo: presentar una serie de estudios desarrollados en los últimos 5 años en Argentina desde distintas aproximaciones metodológicas, para comprender la participación e interacciones de la memoria de trabajo y control ejecutivo en el desempeño matemático (DM) y de resolución de problemas complejos (RPC).Fil: Musso, Mariel Fernanda. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Saavedra 15. Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental "Dr. Horacio J. A. Rimoldi". Grupo Vinculado CIIPME - Entre Ríos - Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental "Dr. Horacio J. A. Rimoldi"; ArgentinaFil: Cascallar, Eduardo C.. Katholikie Universiteit Leuven; BélgicaXVII Reunión Nacional y VI Encuentro Internacional de la Asociación Argentina de Ciencias del ComportamientoPosadasArgentinaAsociación Argentina de Ciencias del Comportamient

Modeling the contribution of genetic variation to cognitive gains following training with a machine learning approach

The objective of this research was to develop robust predictive models of the gains in working memory (WM) and fluid intelligence (Gf) following executive attention training in children, using genetic markers, gender, and age variables. We explore the influence of genetic variables on individual differences in susceptibility to intervention. Sixty-six children (males: 54.2%) aged 50.9-75.9 months participated in a four-weeks computerized training program. Information on genes involved in the regulation of dopamine, serotonin, norepinephrine, and acetylcholine was collected. The standardized pre- to post-training gains of two dependent measures were considered: WM Span backwards condition (WISC-III) and the IQ-f factor from the Kaufman Brief Intelligence Test (K-BIT). A machine-learning methodology was implemented utilizing multilayer perceptron artificial neural networks (ANN) with a backpropagation algorithm. Both ANN models reached high overall accuracy in their predictive classification. Variations in genes involved in dopamine and norepinephrine neurotransmission affect children's susceptibility to benefit from executive attention training, a pattern that is consistent with previous studies

Identificación del "Gendarme modelo" utilizando machine learning

Si bien existen antecedentes en el ámbito de selección y entrenamiento de las fuerzas armadas y de seguridad, son escasas las investigaciones en nuestro país y en América Latina que validaron procedimientos para la selección de candidatos a cadetes para fuerzas de seguridad nacional. Los estudios reportados en Europa y USA utilizaron aproximaciones estadísticas clásicas que si bien fueron útiles para la predicción del desempeño en este tipo de puestos, no contemplan la complejidad del fenómeno. Además, estos métodos no demostraron ser precisos ni buenos detectores de los mejores candidatos a mediano/largo plazo. En Argentina, los procesos de selección siguen criterios poco estandarizados y con insuficiente evidencia de validez empírica. Esto puede tener graves consecuencias, no solo por los altos costos del entrenamiento en instituciones con régimen de internado, sino también por los riesgos de vida que conlleva un inadecuado desempeño en estos puestos. Este estudio presenta resultados preliminares de un proyecto actual que busca desarrollar un sistema predictivo robusto utilizando machine learning para una selección más precisa de los mejores candidatos a gendarme. Las redes neuronales artificiales (RNA) han sido muy utilizadas en campos como la ingeniería, meteorología, oceanografía, economía, lucha contra el terrorismo y últimamente en la educación. Objetivo: Desarrollar un sistema predictivo que permita seleccionar con alta precisión a aquellos candidatos que mejor se ajusten al perfil apropiado de un gendarme (en un momento preciso de su carrera), aplicando machine-learning con RNA. El primer objetivo fue identificar al grupo de mejor desempeño al finalizar el primer año en el lugar destino (puesto de oficial en la primera jerarquía de la carrera).Método: Participaron 207 Subalfereces, ambos sexo (Masculino: 79.7%), edades entre 18 y 23 años, cohorte 2014. Se registraron el promedio académico de egreso del instituto universitario, el promedio académico del cuarto año universitario realizado en un CEPE, la calificación de desempeño de ese mismo año, y la calificación del primer año en el puesto (2018). Se realizaron cluster análisis (método K-medias) utilizando la calificación de destino 2018 para establecer los grupos de pertenencia. Se llevaron a cabo análisis de regresión logística (RL) y RNA (multilayer perceptron) con un algoritmo de retro-alimentación para obtener una clasificación predictiva del grupo con la mejor calificación en el primer año de destino. Resultados: Después de 7 iteraciones, el cluster análisis halló cuatro grupos significativamente distintos en cuanto al desempeño en el lugar de destino (F= 408.793; p< .001). El análisis de RNA logró identificar con un 100% de precisión al grupo de mejor calificación (n=47, verdaderos positivos) y al grupo no target (verdaderos negativos) tanto en la fase de entrenamiento como en la de testing, y con un 90.9% de precisión total en la fase de validación. El modelo de RL resultó significativo (x2=41.773, p< .001; gl=4) y logró un adecuado ajuste pero sólo un 27% de la variancia fue explicada por los predictores (Nagelkerke?s R2=.27). Si bien la RL logró una precisión total de 82.6% presentó un mayor porcentaje de falsos negativos (60%) y solamente un porcentaje de 40.4% de los verdaderos positivos. Discusión: Estos modelos preliminares de RN demostraron que es una metodología robusta para la identificación del grupo de gendarmes con mejor desempeño y de aquellos factores que más influyen (de los disponibles en este momento). Este es un primer paso para continuar luego con la selección de aquella información preliminar de los candidatos a gendarmería, asociada con los predictores de este estudio, ampliando la validez y efectividad de la clasificación con el agregado de información proveniente de diversas fuentes y que esté disponible al momento que la persona presente su aplicación como candidato a gendarme.Fil: Musso, Mariel Fernanda. Consejo Nacional de Investigaciones Científicas y Técnicas. Oficina de Coordinación Administrativa Saavedra 15. Centro Interdisciplinario de Investigaciones en Psicología Matemática y Experimental Dr. Horacio J. A. Rimoldi; Argentina. Universidad Argentina de la Empresa; ArgentinaFil: Romero, M.. Instituto Universitario de Gendarmeria Nacional Argentina; ArgentinaFil: Cascallar, Eduardo C.. Katholikie Universiteit Leuven; BélgicaXVII Reunión Nacional y VI Encuentro Internacional de la Asociación Argentina de Ciencias del ComportamientoPosadasArgentinaAsociación Argentina de Ciencias del Comportamient

Intention to Transfer and Transfer Following eLearning in Spain

Acord transformatiu CRUE-CSICUnderstanding vocational learning and transfer is vital to European citizens. We need to understand how transfer works, which factors influence it, and how these factors affect employee behaviour. Research in online training specific to Southern Europe is needed to move the field forward. The Unified Model of Motivation for Training Transfer (MTT) was proposed to understand behaviour change after training. It conceives three phases: (1) forming transfer intentions, (2) actualizing implementation intentions for transfer, and (3) strengthening transfer commitment. We analysed initial transfer intention and transfer following online training in three Spanish organisations. We used an ex post facto prospective design with one group (n = 204). We applied the online version of the Initial Transfer Intention questionnaire (ITI) three days before the training, and the Transfer Questionnaire (TrQ) three to four months after the training. Training consisted of 22 online courses offered by the three participating organisations. A cluster analysis and post hoc analysis were performed. We identified three groups (k = 3), indicating that there were significant differences in the means between employees with low and high intention to transfer. Results showed a greater difference in the factor profile between participants with LowPT and HighPT. We identified common characteristics among people with low levels of transfer; this information can help understand what type of employee will transfer less and provide cues on how to prevent this from happening in future training activities. Limitations and recommendations for research and practice are discussed