Technology-enhanced Assessment of Thinking Skills in Engineering Sciences

Assessment gilt allgemein als eines der wichtigsten Elemente in der Aus und Weiterbildung. Mit dem Einzug digitaler Technologien in Assessment-Prozesse (auch als E-Assessment bezeichnet), wurden neue Möglichkeiten für personalisierte, unmittelbare und eindrucksvolle Erfahrungen beim Assessment eröffnet. In Zeiten, in denen hochentwickelte, digitale Lernplattformen die Art und Weise verändern, was, wann und wie gelernt werden kann, ist es umso verwunderlicher, wie eingeschränkt die vorhandenen Methoden für die technologie-gestützte Bewertung des Lernens sind. Deutlich wird dies durch die Tatsache, dass aktuelle E-Assessment-Systeme sich größtenteils auf das Replizieren von traditionellen Tests mit Stift und Papier beschränken. Folglich bedarf es neuer Lösungen für die Identifikation, Sammlung, Analyse und Interpretation von Informationen über das individuelle Lernen. Die Berücksichtigung der Anforderungen an das Lernen im 21. Jahrhundert spielt dabei eine entscheidende Rolle. In Erkenntnis dieser Notwendigkeit präsentiert diese Arbeit ein neuartiges Architekturmodell für personalisierte und interaktive E-Assessment-Systeme und -Werkzeuge. Es erlaubt die Integration und Nutzung von interaktiven und immersiven Werkzeugen (z.B. Simulationen oder Animationen) innerhalb von Fragen und Tests, und ermöglicht diesen, sich an die individuellen Charakteristiken der Prüflinge (z.B. Vorwissen, Kontext und Vorlieben) anzupassen. Während das erste Hauptmerkmal (Didaktische Interaktivität) der Annahme gerecht wird, dass Lernen ein Ergebnis von Interaktionen sowie der aktiven Auseinandersetzung mit der jeweiligen Thematik ist, adressiert das zweite Hauptmerkmal (Personalisierung) die bei vielen E-Assessment-Systemen vorherrschende one-size-fits-all Strategie. Die Arbeit beschreibt die Struktur der grundlegenden Komponenten des Architekturmodells. Ein konsistentes Nutzermodell, ein generisches Domänenmodell sowie ein flexibles Adaptionsmodell bilden den zentralen Kern des Gesamtmodells und repräsentieren die Basis für das adaptive Verhalten. Komplettiert wird das Architekturmodell durch eine Komponente für die Modellierung von Fragen sowie einer Komponente für die Durchführung der spezifiierten Adaptionen. Darüber hinaus präsentiert die Arbeit die Implementierung des Architekturmodells durch das webbasierte E-Assessment-System askMe! sowie deren Erprobung und Evaluation nach pädagogischen (Lernunterstützung) sowie technischen (Gebrauchstauglichkeit und Nutzungserlebnis) Gesichtspunkten. Die Ergebnisse dieser Arbeit eröffnen neue Möglichkeiten für zukunftsweisende (E-Assessment-)Systeme, welche in der Lage sind, die Bedürfnisse und Charakteristiken Einzelner zu berücksichtigen sowie mehr Kreativität bei der Beantwortung durch Interaktion mit digitalen Werkzeugen ermöglichen.Assessment is generally recognized as one of the most important elements of an educational experience. Since digital technologies found their way into assessment processes (referred to as technology-enhanced assessment or eassessment), newpossibilities for more personalized, immediate and engaging assessment experiences were opened up. However, especially in current times when sophisticated digital learning environments, mostly enriched by multimedia, virtual/augmented reality technologies, change the way what can be learned, when and how, the methods of assessing students’ learning that have so far been developed are surprisingly limited. This can be demonstrated by the fact that current e-assessment practices simply imitate or replicate traditional pen-and-paper assessments. Consequently, new solutions are needed to identify, gather, analyze and interpret information about students’ learning, especially considering the requirements of the 21st century. In recognizing this need, this thesis proposes a novel architectural model for personalized and interactive e-assessment systems and tools. It allows integrating and using interactive and immersive tools (e.g., simulations or animations) into questions and tests, and enables tailoring them to students’ individual characteristics (e.g., prior knowledge, context and preferences). While the former key feature (didactic interactivity) takes into account the assumption that learning is the result of interaction and the active engagement with the subject matter, respectively, the latter one (personalization) tackles the one-size-fits-all approach mostly applied in traditional e-assessment settings. Furthermore, the thesis describes the structure and the constituent components of the architectural model. A consistent user model, a generic domain model and a flexible adaptation model build up the central part of the overall model and represent the fundamental basis for the adaptive behavior. Each model is managed by an own component and has well-defined interfaces to each other. Additionally, the architectural model is complemented by a question modeling component responsible for representing (interactive) questions, responses, etc. and finally, an adaptive testing engine component that performs the actual adaptations. Moreover, this thesis presents the implementation of the architectural model by the web-based e-assessment system askMe!. It also describes how this system was trialed and evaluated from a pedagogical (learning support) and technical (usability and user experience) point of view. The research and development performed in this thesis open up new opportunities for advanced e-assessment systems, which are able to consider the needs and characteristics of students and allow for more creativity in answering by interacting with digital tools in a variety of ways

Sistemática para a implantação de testes adaptativos informatizados baseados na teoria da resposta ao item

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2011Essa tese apresenta uma sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item (SITAI), com a finalidade de servir como um suporte para a orientação nas etapas do desenvolvimento e elaboração de um TAI. A literatura existente sobre Testes Adaptativos Informatizados (TAI) geralmente está focada no que diz respeito ao algoritmo do TAI. Dessa forma, existe uma carência em encontrar um método para a implantação de TAIs. Nessa tese, foi desenvolvido um método, constituído por diretrizes, que sistematiza etapas para a elaboração de um TAI qualquer, independente das características particulares de cada um, onde o pesquisador poderá utilizá-lo como um guia para o desenvolvimento do TAI que deseja elaborar. A sistemática desenvolvida nessa tese pretende servir como um guia, principalmente ao usuário leigo que deseja desenvolver e implantar um TAI, orientando-o quanto à criação das etapas do teste, salientando os cuidados necessários na elaboração do mesmo, e indicando os métodos e critérios adequados para o teste a ser construído, de acordo com as características e especificações do teste. Nesse trabalho, também foi feito um levantamento bibliográfico exaustivo sobre TAIs, um levantamento bibliográfico sucinto sobre a TRI voltado para a aplicação de TAIs, foram definidas as etapas necessárias para a implantação de um TAI, segundo as características específicas do teste, foram identificados os mais diferentes métodos e critérios utilizados para a elaboração de um TAI e foi realizado um estudo de caso na avaliação teórica para a obtenção da carteira de habilitação de motorista realizada pelo Departamento de Trânsito do Estado de Santa Catarina (DETRAN-SC) a fim de aplicar e validar a sistemática desenvolvida. Embora a SITAI não tenha sido aplicada em sua plenitude, nas etapas em que ela foi aplicada, pode-se constatar que ela proporciona uma boa referência para a implantação de TAIs. Não houve grandes dificuldades para seguir a SITAI em relação à definição do teste, à calibração do banco de itens, à elaboração do algoritmo e à análise da precisão e da validade. Os resultados mostraram as deficiências e as vantagens potenciais da implantação de um TAI no DETRAN-SC