Towards highly informative learning analytics

Among various trending topics that can be investigated in the field of educational technology, there is a clear and high demand for using artificial intelligence (AI) and educational data to improve the whole learning and teaching cycle. This spans from collecting and estimating the prior knowledge of learners for a certain subject to the actual learning process and its assessment. AI in education cuts across almost all educational technology disciplines and is key to many other technological innovations for educational institutions. The use of data to inform decision-making in education and training is not new, but the scope and scale of its potential impact on teaching and learning have silently increased by orders of magnitude over the last few years. The release of ChatGPT was another driver to finally make everyone aware of the potential effects of AI technology in the digital education system of today. We are now at a stage where data can be automatically harvested at previously unimagined levels of granularity and variety. Analysis of these data with AI has the potential to provide evidence-based insights into learners’ abilities and patterns of behaviour that, in turn, can provide crucial action points to guide curriculum and course design, personalised assistance, generate assessments, and the development of new educational offerings. AI in education has many connected research communities like Artificial Intelligence in Education (AIED), Educational Data Mining (EDM), or Learning Analytics (LA). LA is the term that is used for research, studies, and applications that try to understand and support the behaviour of learners based on large sets of collected data

Caractérisation de la couverture d'information : une approche computationnelle fondée sur les asymétries

De nos jours, la production accélérée d’information demande à toute personne d’adopter des stratégies de sélection d’information, d’exclusion d’information répétée et même de fusion d’information, afin de construire un panorama complet d’une thématique. Ces stratégies correspondent bien au processus de couverture d’information qui devient un exercice de plus en plus quotidien, mais aussi de plus en plus complexe. Des techniques de Traitement Automatique de Langue Naturelle (TALN) tentent de réaliser la couverture d’information de façon automatique. Dans cette thèse, nous abordons la couverture d’information avec une approche computationnelle basée sur les asymétries. Nous avons appliqué notre analyse en deux scenarios différents : Dans le premier scénario, nous avons analysé la couverture d’information dans les dissertations d’étudiants en vérifiant la présence des concepts qui proviennent des sources bibliographiques officielles telles que suggérées dans le syllabus du cours. Nous réalisons cette analyse à l’aide d’un coefficient de couverture qui utilise de l’information lexico-sémantique. Cette caractéristique hybride nous permet de capturer les différentes formes de surface lexicale qu’un étudiant peut utiliser pour exprimer un même concept. Pour déterminer si les concepts d’un livre sont couverts dans le contenu des dissertations, nous mettons en oeuvre une stratégie d’alignement de texte. Notre approche est en mesure de détecter une dissertation avec un faible degré de couverture d’information parmi un groupe de dissertations qui ont une meilleure couverture. Pour corroborer les interprétations de nos résultats, nous avons conduit une évaluation qualitative avec les enseignants du cours. Cette évaluation a fait constater que les résultats de nos analyses coïncident avec les notes octroyées aux dissertations. Conséquemment, la couverture des concepts dans les dissertations d’étudiants permet d’expliquer la note qui est attribuée aux dissertations par les enseignants. Dans le deuxième scénario, nous avons analysé la couverture d’information dans les textes journalistiques de type narratif. Dans ce type de texte, des événements, qui se produisent dans le monde, sont racontés et discutés par les journalistes. Les événements deviennent notre intérêt dans ce cas. Un événement présente une structure, celle-ci peut trouver sa forme dans les réponses des questions : qui a fait quoi ? À qui ? Où ? Et quand ? Afin de capturer le plus d’information concernant un événement, nous avons conçu un coefficient de couverture d’information basé sur des patrons linguistiques linéaires. Ces patrons, bien que simples, essaient de capturer la structure d’un événement. Nous avons aussi utilisé une stratégie de pondération des patrons afin de privilégier un patron en particulier. Nous abordons la couverture d’information, dans ce cas, avec une approche de détection de la nouvelle information, qui correspond à l’information non couverte par les autres sources. Dans l’évaluation quantitative, notre approche asymétrique est en mesure de performer aussi bien que les mesures symétriques de l’état de l’art. En plus, notre approche offre l’avantage d’expliquer l’origine de la nouvelle information grâce à la stratégie de pondération des patrons

A Study about Placement Support Using Semantic Similarity

This paper discusses Latent Semantic Analysis (LSA) as a method for the assessment of prior learning. The Accreditation of Prior Learning (APL) is a procedure to offer learners an individualized curriculum based on their prior experiences and knowledge. The placement decisions in this process are based on the analysis of student material by domain experts, making it a time-consuming and expensive process. In order to reduce the workload of these domain experts we are seeking ways in which the preprocessing and selection of student submitted material can be achieved with technological support. This approach can at the same time stimulate research about assessment in open and networked learning environments. The study was conducted in the context of a Psychology Course of the Open University of the Netherlands. The results of the study confirm our earlier findings regarding the identification of the ideal number of dimensions and the use of stopwords for small-scale corpora. Furthermore the study indicates that the application of the vector space model and dimensionality reduction produces a well performing classification model for deciding about relevant documents for APL procedures. Together we discuss methodological issues and limitations of our study whilst also providing an outlook on future research in this area

A Study about Placement Support Using Semantic Similarity

This paper discusses Latent Semantic Analysis (LSA) as a method for the assessment of prior learning. The Accreditation of Prior Learning (APL) is a procedure to offer learners an individualized curriculum based on their prior experiences and knowledge. The placement decisions in this process are based on the analysis of student material by domain experts, making it a time-consuming and expensive process. In order to reduce the workload of these domain experts we are seeking ways in which the preprocessing and selection of student submitted material can be achieved with technological support. This approach can at the same time stimulate research about assessment in open and networked learning environments. The study was conducted in the context of a Psychology Course of the Open University of the Netherlands. The results of the study confirm our earlier findings regarding the identification of the ideal number of dimensions and the use of stopwords for small-scale corpora. Furthermore the study indicates that the application of the vector space model and dimensionality reduction produces a well performing classification model for deciding about relevant documents for APL procedures. Together we discuss methodological issues and limitations of our study whilst also providing an outlook on future research in this area