Elaboración de un marco de trabajo para cuantificar el nivel de usabilidad y experiencia de usuario de plataformas de soporte al proceso de aprendizaje

Debido a que la Usabilidad y Experiencia de Usuario (UX) han tomado relevancia en el software con el transcurrir de los años, han aparecido métodos de evaluación para medir estos factores, garantizando una buena satisfacción en los usuarios. Sin embargo, la mayoría de estos métodos de evaluación son generales (no se enfocan en un dominio en específico), costosas, subjetivas, y – especialmente – cualitativas. Con la finalidad de obtener resultados más objetivos, se opta por una evaluación cuantitativa. Este tipo de evaluación proporciona un valor numérico que representa el nivel de usabilidad del producto, generando un mejor análisis al momento de comparar productos de software del mismo tipo/dominio. Por otro lado, la tecnología ha permitido la aparición de herramientas para apoyar al proceso del aprendizaje (LMS) en los estudiantes. Por ello, se propone crear un marco de trabajo que permita evaluar cuantitativamente la usabilidad y UX en este tipo de herramientas. El marco consiste en un conjunto de ítems de verificación que evalúa las características que deben cumplir los LMS para lograr su objetivo. Para ello, se recurrió a la revisión de la literatura, entrevistas, cuestionarios, y juicio de expertos a profesionales del campo de HCI y educación. Asimismo, se recurrió a métodos estadísticos para la validación de los resultados. Finalmente, los resultados obtenidos de la propuesta – luego de su aplicación en una plataforma de aprendizaje – fueron prometedores, ya que se acercaron mucho a los valores obtenidos por cuestionarios como SUS y SUMI

User experience of academic lecturing staff in the use of a learning management system tool : a case study at an open distance learning institution in South Africa

The teaching model in Open Distance Learning is moving towards fully integrated information and communication technology applications, therefore, academic lecturers need to have a strong comfort level with the use of technology tools. The academic lecturers are qualified and experienced subject matter experts but this does not translate to having the necessary technical competencies to do online teaching. They consequently could experience feelings of incompetency to facilitate courseware on a technology platform. The study identified the factors that influence the user experience when using a Learning Management System (LMS) in an academic institution. The research design comprises a convergent, parallel design mixed-method case study. A literature review was conducted to abstract the factors that influence the user experience into a conceptual framework. An expert review was conducted to validate the conceptual framework and then a questionnaire-driven survey was performed. The quantitative analysis of the survey results revealed that eight of the nine factors proposed in the conceptual framework do have an influence on the perceived user experience of the academic when using the LMS. The qualitative analysis revealed that all nine of the identified factors do have an influence on the perceived user experience of the academic when using the LMS. The contribution of this study is to present a conceptual framework of the factors that influence the user experience of the academic when using an LMS to improve our understanding of the experience of the academic and the practical challenges involved for academics that have to facilitate learning in an online environment The findings should be of interest to developers of LMSs and to institutions in support and training of academics that have to use the LMS.School of ComputingM. Sc. (Computing

Aplicación de técnicas de usabilidad sobre cursos MOOCs

Los Massive Open Online Course (MOOC) son cursos masivos de aprendizaje en línea, que cada vez son más populares por la ventaja que en ellos ven proveedores y estudiantes. Al ser una modalidad nueva de enseñar, no existen muchos estudios de usabilidad al respecto. Son evidentes varios problemas para estudiar tal característica en un contexto de proveedores, plataformas y modelos de cursos heterogéneos, y de usuarios diversos, dispersos y cambiantes. Una cuestión que parece fundamental es la adaptación de las técnicas existentes para estudiar la usabilidad en este contexto. El objetivo de este trabajo es integrar técnicas adecuadas de usabilidad propias de IPO (Interacción Persona-Ordenador) para el desarrollo software en el proceso de desarrollo de MOOCs, adaptándolas de forma apropiada al correspondiente contexto, con el fin de evaluar y mejorar la usabilidad y tratar así de reducir la deserción de estudiantes que actualmente caracteriza a dichos cursos. Se propone una aproximación para la solución del problema, y se presenta un ejemplo de adaptación de técnicas de usabilidad a un caso práctico de evaluación de MOOCs reales. Analizando con una búsqueda sistemática la literatura actual existente sobre la aceptación de la usabilidad de los MOOCs, se llega a la conclusión de que no existen artículos relacionados con la temática de interés, por lo que se realizan búsquedas sobre el tema en documentaciones de congresos y otras fuentes menos formales de Internet. Los resultados obtenidos en estas segundas exploraciones fueron igual de infructuosas que las primeras, por lo que se puede afirmar que no hay trabajos académicos ni otras referencias sobre usabilidad y MOOC. Una vez verificado que no hay literatura relacionada con la usabilidad de los MOOCs, se plantea realizar un estudio de usabilidad sobre alguna de las plataformas existentes más comunes, para lo que se analizan las características más importantes de las plataformas MOOC existentes y las técnicas de usabilidad aplicables. Para ello se seleccionan las plataformas más populares a la hora de realizar MOOCs. Se lleva a cobo un análisis exhaustivo de los cursos impartidos y del número de estudiantes en cada uno ellos, para compararlos después. Además, se establecen las características que se tendrán en cuenta para el análisis de usabilidad posterior, generando una caracterización de plataformas y cursos según una de las clasificaciones de MOOCs más extendida, que considera dos tipos cMOOC y xMOOC. En este trabajo, se han revisado también las técnicas de usabilidad para actividades IPO, que se han clasificado teniendo en cuenta tipos genéricos de actividades de la disciplina Ingeniería del Software (IS): ingeniería de requisitos, diseño y evaluación. Posteriormente, se han seleccionado y propuesto adaptaciones a varias de esas técnicas para poder aplicarlas sobre MOOCs, teniendo siempre en cuenta que se trata de cursos masivos y realizados a través de internet. Las técnicas adaptadas de ingeniería de requisitos son: card sorting, perfiles de usuario y Personas, brainstorming, prototipos online. La técnica de usabilidad de diseño adaptada para MOOCs es: análisis de impacto. Dentro de las técnicas de usabilidad de evaluación existen tres grandes grupos de técnicas para evaluar la usabilidad: evaluación por expertos, pruebas de usabilidad y estudios de seguimiento de los sistemas instalados. Las técnicas del último tipo que se adaptado para MOOCs son: pensar en voz alta, grabación de vídeo y grabación de audio, uso de registros, focus groups, evaluación a distancia, cuestionarios y encuestas. Para probar la eficacia de algunas de las técnicas adaptadas, se han seleccionado dos que se han aplicado en cinco cursos MOOC implementados e impartidos por la Universidad Autónoma de Madrid a través de UAMx utilizando la plataforma de edX durante el segundo cuatrimestre del curso académico 2015-2016. Los cursos sobre los que se han aplicado las técnicas adaptada son: Equidad, Renal, Química, Idealismo y Seguridad Alimentaria. Las técnicas de análisis de la usabilidad escogidas son la técnica de cuestionario y la técnica de encuesta, en este caso la denominada SUS, dado que se trata de técnica fáciles de adaptar y aplicar, cortas, claras, concisas y que se aplican sobre sistemas instalados. Considerando los resultados de la aplicación de las técnicas sobre los cursos MOOCs mencionados, se comprueba que todos los cursos tienen una usabilidad aceptable, aunque se identifican ciertas mejoras a realizar en futuras ediciones de los cursos analizados. Estas mejoras se relacionan con el rediseño de la interfaz y con el diseño de la interacción, y se manifiestan con independencia de las características de los usuarios participantes. Según los resultados de la encuesta de evaluación de usabilidad realizada a todos los estudiantes que llegaron hasta el final del curso y se prestaron a ello, los valores promedios obtenidos son aceptables por lo que se considera que los todos los cursos son usables. Con todo ello se consigue el objetivo general de este TFM que es integrar técnicas de usabilidad propias de IPO para el desarrollo software en el proceso de desarrollo de los MOOCs, adaptándolas de forma adecuada al correspondiente contexto, con el fin de evaluar y mejorar la usabilidad de tales cursos e intentar reducir con ello la deserción de estudiantes que los caracterizan. De forma que para conseguirlo se ha: investigado el estado del arte, los antecedentes y el estado actual respecto a MOOCs, Interacción Persona-Ordenador y Usabilidad; analizado los tipos de MOOCs, plataformas para su implementación y cursos ofrecidos desde ellas, caracterizando dichos cursos; estudiado las técnicas de usabilidad aplicables al desarrollo de MOOCs; adaptado algunas de ella para su utilización práctica; y aplicado algunas de las técnicas sobre cursos reales de ese tipo.Massive Open Online Course (MOOC) are massive online learning courses, which are becoming more popular by the advantage seen in them by suppliers and students. As a new teaching mode, there are not many usability studies about it. Several problems are evident to study such a feature in a context of vendors, platforms and heterogeneous models courses and diverse, scattered and changing users. One issue that seems fundamental is the adaptation of existing techniques to study the usability in this context. The aim of this work is to integrate appropriate techniques from HCI (Human Computer Interaction) for software development in the MOOCs development process, adapting appropriately to the right context, in order to assess and improve usability and so try to reduce the dropout students that currently characterizes such courses. An approach to solving the problem is proposed, and an example of adaptation of usability techniques in a case study to evaluate real MOOCs. Analysing with a systemic search the actual existing literature on the acceptance of usability on MOOCs nowadays, we reach the conclusion that there are no studies related with the subject that is being carried out, so searches about the subject were done through congress documentations and other less formal sources on the Internet. The results obtained in these second scans were as fruitless as the first, so we can say that there are no academic papers or other references about usability and MOOC. Once verified that there is no literature regarding the usability of MOOCs, we propose to conduct a usability study on some of the most common existing platforms, for which the most important features of existing MOOC platforms and usability techniques applicable are analysed. To do this, the most popular platforms to take MOOCs are selected. A thorough analysis is done about the number of courses and the number of students in each one of them, later to be compared. In addition, the features that will be considered for further analysis of usability are established, generating a characterization of platforms and courses according to the most extended MOOC classification, that considers two types cMOOC and xMOOC. In this work, we have also reviewed the usability techniques for IPO activities, which have been fitted considering generic types of activities Software Engineering discipline (SE): requirements engineering, design and evaluation. Later, the usability techniques have been selected and proposed the following technical adjustments to be applied on MOOCs, always taking into account that courses are massive and made through the Internet. The modified techniques are engineering requirements: card sorting, user profiles and Persona, brainstorming, online prototyping. The usability technique of design adapted to MOOCs is: impact analysis. Within the usability evaluation techniques there are three major groups of techniques to evaluate the usability: expert evaluation, usability testing and follow-up studies of installed systems. The techniques of the latter type, which have been adapted for MOOCs are: thinking aloud, video recording and audio recording, use of records, focus groups, remote evaluation, questionnaires and surveys. To test the effectiveness of some of the techniques adapted, we selected two of them, which have been implemented in five MOOC courses implemented and delivered by UAM (Universidad Autónoma de Madrid) institution through UAMx using edX platform during the second semester of the academic year 2015-2016. The courses on which adapted techniques have been applied are: Equidad, Renal, Química, Idealismo and Seguridad Alimentaria. The analysis techniques picked are questionnaire and survey, in this case SUS, since they are easy to apply, short, clear, concise, and are applied on installed systems. Considering the results of the application of the aforementioned techniques MOOCs courses, it is checked that all courses have an acceptable usability, although certain improvements are identified to be made in future editions of related courses. These improvements are related to the redesign of the interface and interaction design, and manifest themselves regardless of the type of user. According to the results of the evaluation survey conducted usability to all users that completed the course, the mean values obtained are acceptable so it is considered that the courses are still usable. Therefore, the general aim of this work is achieved, that is to integrate the usability techniques proper of HCI software development in the process of MOOC development, adapting them to the context in the right way, with the aim to evaluate an improve the usability of the courses and reduce the abandon rates of this type of courses. To achieve this: the state of the art about MOOCs, HCI and Usability has been investigated, the MOOC types, platforms to implement them and courses offered have been analysed and characterized; studying the usability techniques applicable to the development of MOOCs, adapting some of them to use them in practice, and apply some of the techniques on real courses of these type

Scaffolding for social personalised adaptive e-learning

This work aims to alleviate the weaknesses and pitfalls of the strong modern trend of e-learning by capitalising on and taking advantage of theoretical and implementation advances that have been made in the fields of adaptive hypermedia, social computing, games research and motivation theories. Whilst both demand for and supply of e-learning are growing, especially with the rise of MOOCs, the problems that it faces remain to be addressed, notably isolation, de-personalisation and lack of individual navigation. This often leads to poor learning experience. This work explores an innovative method of combining, threading and balancing the amount of adaptation, social interaction, gamification and open learner modelling for e-learning techniques and technologies. As a starting point, a novel combination of classical adaptation based on user modelling, fine-grained social interaction features and a Facebook-like appearance is explored. This has been shown to be able to ensure a high level of effectiveness, efficiency and satisfaction amongst learners when using the e-learning system. Contextual gamification strategies rooted in Self-Determination Theory (SDT) are then proposed, which have been shown to be able to ensure learners of the system adopt desirable learning behaviours and achieve pre-specified learning goals, thus providing a high level of motivation. Finally, a multifaceted open social learner modelling is proposed. This allows visualising both learners’ performance and their contributions to a learning community, provides various modes of comparison, and is integrated and adapted to learning content. Evidence has shown that this can provide a high level of effectiveness, efficiency and satisfaction amongst learners. Two innovative social personalised adaptive e-learning systems including Topolor and Topolor 2 are devised to enable the proposed approach to be tested in the real world. They have been used as online learning environments for undergraduate and postgraduate students in Western and Eastern Europe as well as Middle Eastern universities, including the University of Warwick, UK, Jordan University, Jordan, and Sarajevo School of Science and Technology, Bosnia and Herzegovina. Students’ feedback has shown this approach to be very promising, suggesting further implementation of the systems and follow-up research. The worldwide use of Topolor has also promoted international collaborations