A Systematic Review of Process Modelling Methods and its Application for Personalised Adaptive Learning Systems

This systematic review work investigates current literature and methods that are related to the application of process mining and modelling in real-time particularly as it concerns personalisation of learning systems, or yet still, e-content development. The work compares available studies based on the domain area of study, the scope of the study, methods used, and the scientific contribution of the papers and results. Consequently, the findings of the identified papers were systematically evaluated in order to point out potential confounding variables or flaws that might have been overlooked or missing in the current literature. In turn, a critical structured analysis of the studies was done in order to rate the value of the stated works and the outcomes. Theoretically, the results of the investigated papers were summarized and empirically represented, in order to help draw conclusions as well as provide recommendations for future researches. Indeed, the investigations and findings from the papers show that one of the key challenges in developing personalised adaptive intelligent systems for learning is to build an effectively represented users profile, learning styles or objects, and behaviours to help support reasoning about each learner. Perhaps, the resultant information systems need to be able to describe and support real world (i.e. semantic or metadata) interpretation about the different learners, and provide effective ways to adapt the information about each user based on the existing knowledge or data especially as it concerns references to and/or discovery of the different patterns that can be found within the knowledge-base

Computer screenshot classification for boosting ADHD productivity in a VR environment

Individuals with ADHD face significant challenges in their daily lives due to difficulties with attention, hyperactivity, and impulsivity. These challenges are especially pronounced in the workplace or educational settings, where the ability to sustain attention and manage time effectively is crucial for success. Virtual reality (VR) software has emerged as a promising tool for improving productivity in individuals with ADHD. However, the effectiveness of such software depends on the identification of potential distractions and timely intervention. The proposed computer screenshot classification approach addresses this need by providing a means for identifying and analyzing potential distractions within VR software. By integrating Convolutional Neural Networks (CNNs), Optical Character Recognition (OCR), and Natural Language Processing (NLP), the proposed approach can accurately classify screenshots and extract features, facilitating the identification of distractions and enabling timely intervention to minimize their impact on productivity. The implications of this research are significant, as ADHD affects a substantial portion of the population and has a significant impact on productivity and quality of life. By providing a novel approach for studying, detecting, and enhancing productivity, this research has the potential to improve outcomes for individuals with ADHD and increase the efficiency and effectiveness of workplaces and educational settings. Moreover, the proposed approach holds promise for wider applicability to other productivity studies involving computer users, where the classification of screenshots and feature extraction play a crucial role in discerning behavioral patterns.Les persones amb TDAH s’enfronten a reptes importants en la seva vida diària a causa de les dificultats d’atenció, hiperactivitat i impulsivitat. Aquests reptes són especialment pronunciats al lloc de treball o en entorns educatius, on la capacitat de mantenir l’atenció i gestionar el temps de manera eficaç és crucial per a l’èxit. El software de realitat virtual (RV) s’ha revelat com a eina prometedora per millorar la productivitat de les persones amb TDAH. Tanmateix, l’eficàcia del software esmentat depèn de la identificació de distraccions potencials i de la intervenció oportuna. L’enfocament de classificació de captures de pantalla d’ordinador proposat aborda aquesta necessitat proporcionant un mitjà per identificar i analitzar les distraccions potencials dins del programari de RV. Mitjançant la integració de xarxes neuronals convolucionals (CNN), el reconeixement òptic de caràcters (OCR) i el processament del llenguatge natural (NLP), l’enfocament proposat pot classificar amb precisió les captures de pantalla i extreure’n característiques, facilitant la identificació de les distraccions i permetent una intervenció oportuna per minimitzar-ne l’impacte en la productivitat. Les implicacions d’aquesta investigació són importants, ja que el TDAH afecta una part substancial de la població i té un impacte significatiu a la productivitat i la qualitat de vida. En proporcionar un enfocament nou per estudiar, detectar i millorar la productivitat, aquesta investigació té el potencial de millorar els resultats per a les persones amb TDAH i augmentar l’eficiència i l’eficàcia dels llocs de treball i els entorns educatius. A més, l’enfocament proposat promet una aplicabilitat més gran a altres estudis de productivitat en què participin usuaris d’ordinadors, en què la classificació de captures de pantalla i l’extracció de característiques tenen un paper crucial a l’hora de discernir patrons de comportament

Toolkits for the Development of Hybrid Games: from Tangible Tabletops to Interactive Spaces

Durante los últimos años, los dispositivos tabletop han sido considerados el entorno ideal para los juegos híbridos, los cuales combinan técnicas de juego tradicional, como el uso de objetos físicos para interactuar con el juego de una forma natural, con las nuevas posibilidades que los tabletops ofrecen de aumentar el espacio de juego con imágenes digitales y audio.Sin embargo, los juegos híbridos no se restringen simplemente a tabletops, pudiéndose jugar también en entornos más amplios en los que convergen otros paradigmas de interacción. Por esta razón, el uso de juegos híbridos en Espacios Interactivos está ganando fuerza, pero el número y heterogeneidad de dispositivos y estilos de interacción que se encuentran en estos entornos hace que el diseño y prototipado de juegos sea una tarea difícil. Por lo tanto, el gran reto se encuentra en ofrecer a diseñadores y desarrolladores herramientas apropiadas para la creación de estas aplicaciones.En esta línea de trabajo, el grupo Affective Lab lanzó el proyecto JUGUEMOS (TIN2015-67149-C3-1R), un proyecto nacional centrado en el desarrollo de juegos híbridos en entornos interactivos. Esta Tesis Doctoral se enmarca en este proyecto.El primer paso de la realización de esta tesis fue establecer los dos objetivos principales (Capítulo 1):1) El primer objetivo que se estableció fue profundizar en el uso de tabletops tangibles en terapia con niños con necesidades especiales. Durante los últimos años el grupo Affective Lab había visto la potencialidad de los tabletops tangibles para el trabajo con niños pequeños, pero todavía era necesario llevar a cabo más experiencias y evaluaciones en el ámbito terapéutico, así como explorar si otros grupos de usuarios (adultos con problemas cognitivos) podían beneficiarse de las características de los tabletops.2) El segundo objetivo consistió en diseñar e implementar un toolkit para el desarrollo de juegos híbridos para espacios interactivos. Se decidió que el toolkit estuviera dirigido a desarrolladores para facilitar su trabajo a la hora de crear este tipo de aplicaciones.Una vez establecidos los objetivos, se realizó un estado del arte a su vez dividido en dos partes (Capítulo 2):1) Se realizó una categorización de juegos híbridos para entender y extraer sus principales características, así como los principales retos que surgen al desarrollar este tipo de juegos. También se estudiaron toolkits cuyo objetivo era el desarrollo de juegos híbridos.2) Se estudiaron juegos híbridos desarrollados para niños con necesidades especiales y adultos con problemas cognitivos que hacían uso de la Interacción Tangible y tabletops, así como toolkits dirigidos a terapeutas o educadores para ayudarles en la creación de actividades para sus pacientes.Para llevar a cabo las experiencias y evaluaciones relacionadas con el primer objetivo, se hizo uso del tabletop tangible NIKVision, desarrollado previamente por el grupo Affective Lab, y el toolkit KitVision, una herramienta dirigida a profesionales sin conocimientos de programación para la creación de actividades tangibles y que fue desarrollado durante el Proyecto Final de Carrera de la autora. En el Capítulo 3 de esta Tesis se comenta brevemente el tabletop NIKVision y la arquitectura de KitVision, se describen las evaluaciones que se llevaron a cabo con terapeutas con el objetivo de mejorar y probar la utilidad del toolkit, y se explica una experiencia de un año durante la cual una terapeuta ocupacional de ASAPME, una asociaciónque trabaja con adultos con problemas cognitivos, estuvo usando el tabletop y el toolkit sin supervisión.En el Capítulo 4 se describen diferentes experiencias con KitVision que se llevaron a cabo:- Gracias a una colaboración con la Residencia Romareda, NIKVision y KitVision fueron instalados provisionalmente en la residencia y, tras una evaluación inicial, se desarrollaron tres nuevas actividades para los usuarios de la residencia.- Gracias a la colaboración con ENMOvimienTO y con uno de los centros de Atención Temprana del Instituto Aragonés de Servicios Sociales (IASS), ambos enfocados a trabajar con niños con problemas de aprendizaje, se pudieron realizar evaluaciones que nos permitieron mejorar KitVision y crear nuevas actividades específicamente diseñadas para ellos.- Finalmente, gracias a una colaboración con Atenciona, pudimos evaluar actividades con niños con Trastorno por Déficit de Atención e Hiperactividad (TDAH) y extraer una serie de directrices para diseñar actividades para este tipo de niños. También pudimos llevar a cabo una experiencia de Diseño Participativo con estos niños.El completo desarrollo del toolkit JUGUEMOS, para la creación de juegos híbridos en espacios interactivos, se explica en el Capítulo 5. En este apartado primero se describe el Espacio Interactivo JUGUEMOS que sirvió de base para desarrollar el toolkit. Después se explican con detalle las decisiones de diseño que se tomaron, el modelo de abstracción que se usó para diseñar los juegos, y la arquitectura del toolkit. También se detallan las distintas fases de implementación que se llevaron a cabo, basadas en los tres retos que se extrajeron en el estado del arte: (1) integrar diferentes dispositivos, (2) gestionar salidas gráficas diversas y (3) facilitar la codificación del juego. Finalmente, se presentan dos prototipos de juegos que se desarrollaron durante las dos estancias de investigación que la autora realizó.Finalmente, en el Capítulo 6 se describen los tres casos de uso que se realizaron para tener una primera valoración de la usabilidad del toolkit JUGUEMOS: (1) una evaluación con estudiantes de Máster en la que se implementó un juego completamente funcional para el Espacio Interactivo JUGUEMOS, (2) un juego que fue completamente desarrollado usando el toolkit JUGUEMOS una vez que éste se acabó de implementar, (3) una experiencia que involucró a dos grupos multidisciplinares compuestos por diseñadores y desarrolladores, en la que tuvieron que colaborar para diseñar e implementar dos prototipos de juegos híbridos para el espacio interactivo.<br /

THE IMPLEMENTATION OF THE IVA-2 AND NEUROFEEDBACK AS SUPPLEMENTARY SUPPORT FOR ELEMENTARY STUDENTS

Many general education students within the public-school setting are struggling to meet the rigorous academic demands of current school systems. The lack of specificity in school-based assessments and interventions impedes an accurate determination of how students with auditory and visual processing difficulties are learning. As a result, students are being misidentified or are receiving supports that do not meet their needs. Public schools across California implement systems of supports Response to Intervention (RTI), Multi-Tier Systems of Supports (MTSS), and Positive Behavior Intervention (PBIS) for all students to make adequate academic progress and experience behavioral and social-emotional needs. Based on student need, implementing an approach that identifies visual and auditory processing needs may facilitate improved monitoring and implementation of individualized interventions in the general education setting. Within these support systems, we can address academic concerns through a more cost-effective manner to reduce referrals to special education. The purpose of this study was to determine whether the implementation of the Integrated Visual and Auditory Continuous Performance Test (IVA-2) assessment and the neurofeedback intervention is an effective method to reduce unnecessary referrals to special education in an elementary setting. Elementary students were administered pre- and post-test assessments measuring their visual and auditory processing strengths and weakness, and self-rating scales of a social-emotional well-being. A team of educators through the Student Support System (SST) participated in identifying students at risk for academic intervention. Stakeholders included school administrators, classroom teachers, and parents of the identified students. Collaboration was central to the effective implementation of this research study

Learning ecologies in online students with disabilities

E-Learning environments are enhancing both their functionalities and the quality of the resources provided, thus simplifying the creation of learning ecologies adapted for students with disabilities. The number of students with disabilities enrolled in online courses is so small, and their impairments are so specific that it becomes difficult to quantify and identify which specific actions should be taken to support them. This work contributes to scientific literature with two key aspects: 1) It identifies which barriers these students encounter, and which tools they use to create learning ecologies adapted to their impairments; 2) It also presents the results from a case study in which 161 students with recognised disabilities evaluate the efficiency and ease of use of an online learning environment in higher education studies. The work presented in this paper highlights the need to provide multimedia elements with subtitles, text transcriptions, and the option to be downloadable and editable so that the student can adapt them to their needs and learning style

A Semantic Rule-based Approach Supported by Process Mining for Personalised Adaptive Learning

Currently, automated learning systems are widely used for educational and training purposes within various organisations including, schools, universities and further education centres. There has been a big gap between the extraction of useful patterns from data sources to knowledge, as it is crucial that data is made valid, novel, potentially useful and understandable. To meet the needs of intended users, there is requirement for learning systems to embody technologies that support learners in achieving their learning goals and this process don’t happen automatically. This paper propose a novel approach for automated learning that is capable of detecting changing trends in learning behaviours and abilities through the use of process mining techniques. The goal is to discover user interaction patterns within learning processes, and respond by making decisions based on adaptive rules centred on captured user profiles. The approach applies semantic annotation of activity logs within the learning process in order to discover patterns automatically by means of semantic reasoning. Therefore, our proposed approach is grounded on Semantic Modelling and Process Mining techniques. To this end, it is possible to apply effective reasoning methods to make inferences over a Learning Process Knowledge-Base that leads to automated discovery of learning patterns or behaviour

Learning ecologies in online students with disabilities

E-Learning environments are enhancing both their functionalities and the quality of the resources provided, thus simplifying the creation of learning ecologies adapted for students with disabilities. The number of students with disabilities enrolled in online courses is so small, and their impairments are so specific that it becomes difficult to quantify and identify which specific actions should be taken to support them. This work contributes to scientific literature with two key aspects: 1) It identifies which barriers these students encounter, and which tools they use to create learning ecologies adapted to their impairments; 2) It also presents the results from a case study in which 161 students with recognised disabilities evaluate the efficiency and ease of use of an online learning environment in higher education studies. The work presented in this paper highlights the need to provide multimedia elements with subtitles, text transcriptions, and the option to be downloadable and editable so that the student can adapt them to their needs and learning style