Contextual Inquiry Reflection Tools

Contextual Inquiry Reflection Tools, Deliverable 5.3, weSPOT ProjectweSPOT Project IST (FP7/2007-2013) under grant agreement N° 318499

Reflection-in-Action Markers for Reflection-on-Action in Computer-Supported Collaborative Learning Settings

International audienceWe describe an exploratory study on the use of markers set during a synchronous collaborative interaction (reflection-in-action) for later construction of reflection reports upon the collaboration that occurred (reflection-on-action). During two sessions, pairs of students used the Visu videoconferencing tool for synchronous interaction and marker setting (positive, negative or free) and then individual report building on the interaction (using markers or not). A quantitative descriptive analysis was conducted on the markers put in action, on their use to reflect on action and on the reflection categories of the sentences in these reports. Results show that the students (1) used the markers equally as a note-taking and reflection means during the interaction, (2) used mainly positive markers both to reflect in and on action; (3) paid more attention in identifying what worked in their interaction (conservative direction) rather than in planning on how to improve their group work (progressive direction); (4) used mainly their own markers to reflect on action, with an increase in the use of their partners' markers in the second reflection reports; (5) reflected mainly on their partner in the first reflection reports and more on themselves in the second reports to justify themselves and to express their satisfaction

Utilisation de tableaux de bord numériques pour l’évaluation des compétences scolaires : une étude de cas

Au cours de la dernière décennie, deux injonctions se sont intensifiées au niveau du système scolaire français : utiliser davantage le numérique en classe d’une part, et développer « l’approche par compétences « d’autre part. Les tableaux de bord associés à des artefacts numériques ont été utilisés dans de nombreux contextes éducatifs, et se situent à la confluence de ces deux injonctions. Nous explorons au prisme de la théorie de l’activité d’Engeström les contradictions qu’induirait l’introduction d’un tel artefact dans les pratiques d’évaluation des compétences scolaires. La contribution est fondée sur une étude de cas, la conception d’une application numérique instrumentant la démarche d’investigation. Des entretiens collectifs fondés sur des maquettes sont menés avec un panel d’enseignants. Soit le coût temporel de l’appropriation du tableau de bord est jugé trop élevé pour permettre une application, soit il y a dévolution à l’artefact d’une partie trop importante du diagnostic, grâce à l’interopérabilité croissante entre outils d’évaluation. Aveugles aux caractéristiques des élèves et aux spécificités des situations didactiques, les applications risquent de produire des diagnostics aberrants.Over the course of the last decade, teachers have been increasingly pressured to use digital artefacts in the classroom, and to shift from grade-based assessment to skill-based assessment. Dashboards have been used in various educational settings; they could help bridge the gap between these two expectations. Based on Engeström’s activity theory, we explore the contradictions that could rise if educational dashboards were to be used in an evaluation context. This article is based on a case study, the design of an application. Collective semi-structured interviews based on dashboards’ mock-ups were conducted with a panel of teachers from both elementary and middle school. Either the additional time required to deepen the evaluation is too high to enable the use of the dashboard, or the teacher would rather save time by relying heavily on the diagnostic abilities of the application. Given that the artefact is blind to the characteristics of both the didactic situation and of the learners, the dashboard is likely to produce incoherent diagnostics

From Seminar to Lecture to MOOC: Scripting and Orchestration at Scale

This dissertation investigates the design of large online courses from the pedagogical perspective of knowledge communities. Much of the learning sciences literature has concerned itself with groups of up to 20-30 students, but in universities, courses of several hundred to more than a thousand students are common. At the same time, new models for life-long and informal learning, such as Massive Open Online Courses, are emerging. Amidst this growing enthusiasm for innovation around technology and design in teaching, there is a need for theoretically grounded innovations and rigorous research around practical models that support new approaches to learning. One recent model, known as Knowledge Community and Inquiry (KCI), engages students in the co-construction of a community knowledge base, with a commonly held understanding of the collective nature of their learning, and then provides a sequence of scaffolded inquiry activities where students make use of the knowledge base as a resource. Inspired by this approach to designing courses, the research began with a redesign of an in-service teacher education course, which increased in size from 25 to 75 students. This redesign was carefully analyzed, and design principles extracted. The second step was the design of a Massive Open Online Course for several thousand in-service teachers on technology and inquiry, in collaboration with an affiliated secondary school. A number of innovative design ideas were necessary to accommodate the large number of users, the much larger diversity in terms of background, interest, and engagement among MOOC learners, and the opportunities provided by the platform. The resulting design encompasses a 6- week long curriculum script, and a number of overlapping micro-scripts supported by a custom- written platform that integrated with the EdX platform in a seamless manner. This thesis presents the course structure, including connection to disciplinary principles, its affordances for community and collaboration and its support of individual differentiated learning and collective epistemology. It offers design principles for scripting and orchestrating collective inquiry designs for MOOCS and higher education courses

Analyse des usages des plateformes de construction de connaissances par des méthodes mixtes et réflexives pour l’amélioration de l’appropriation et de la structuration de l’information: SECONDE PARTIE : Synthèse et bilan des recherches

Mes travaux se situent dans le domaine de l’apprentissage instrumenté académique et industriel, c’est-à-dire dans le champ pluridisciplinaire des Environnements Informatiques pour l’Apprentissage Humain (EIAH) et celui du Knowledge Management (KM). Je considère la construction de connaissances selon le positionnement des sciences de l’information et de la communication (SIC) c’est-à-dire comme le résultat d’une information communiquée et reçue par une personne. Mieux elle est appropriée et plus la connaissance construite est solide. La construction de connaissance se fait par l’intermédiaire d’objets partagés et échangés selon des référents sociologiques et culturels ou des pratiques. La médiation est le concept utilisé en sciences humaines pour décrire les moyens matériels, en particulier technologiques, et les moyens humains qui peuvent être imaginés pour favoriser cette transmission de connaissances et cette appropriation de l’information. La médiation technologique joue un rôle prégnant sur la construction des connaissances dans la mesure où elle façonne les artefacts de connaissance, c’est-à-dire les outils ou supports construits ou utilisés par l’homme pour inscrire des connaissances. Cette caractéristique place la question de l’instrumentation des apprentissages au cœur des questions de recherche des Sciences de l’information et de la Communication (SIC) en regard des deux processus informationnel et communicationnel cités précédemment et de la conception de ces outils de médiatisation technologiques. Elle est aussi au cœur des questions de recherche en informatique, en particulier en EIAH (Environnement Informatiques pour l’Apprentissage Humain), qui est un domaine de l’informatique largement expérimentale. L’analyse de l’activité d’apprentissage médiatisée et l’analyse des usages en est une thématique centrale. Dans ce contexte, la question générale de mes recherches consiste à déterminer comment des médiations qui utilisent les dispositifs informatiques jouent un rôle dans la construction de connaissances. La construction de connaissances est analysée sous l’angle de la production de ressources documentaires potentiellement exploitables dans les environnements technologiques et sous l’angle de l’apprentissage effectif ou l’évolution de comportement de l’utilisateur. Pour analyser les effets produits par ces médiations, je me centre sur l’analyse de l’humain au cours de l’usage. Plus précisément, je considère que l’utilisation est un élément déterminant la qualité de la médiation technologique alors que l’appropriation et l’apprentissage sont des éléments déterminants la qualité de la médiation. Mes axes de recherche s’organisent autour de trois thématiques : L’assistance à la conception de ressources pour l’apprentissage instrumenté : j’ai étudié l’utilité des formats de structuration des ressources pédagogiques en regard du type de médiation documentaire visé par les outils pour lesquels ces ressources sont produites, j’ai évalué les outils auteur et participé à la conception d’un outil auteur utilisable pour concevoir des ressources pour les Serious Games en réalité mixte. Ces études ont mis en évidence l’intérêt d’assister la conception par des interactions pour la réalisation d’activités productives (formalisation des idées, structuration de l’information, collaboration, …) et d’activités constructives (consultation de bonnes pratiques ou recommandations relatives à l’intérêt pédagogique ou expérientiel de telle ou telle forme de médiatisation ou d’interaction) ; en particulier lorsque les formations s’appuient sur des technologies innovantes pour être médiatisées. L’analyse des usages des outils d’apprentissage instrumenté : j’ai réalisé différentes analyses d’usage pour la validation de situations de formation instrumentées innovantes ou la compréhension de l’évolution des pratiques de travail ou d’apprentissage instrumentés. Mes critères d’analyse sont la recevabilité d’un environnement technologique en fonction des attentes et besoins humains. Je la mesure par l’utilité, l’utilisabilité et l’acceptabilité des dispositifs socio-techniques (composés des environnements technologiques et des environnements d’usage). Je privilégie des méthodes mixtes, principalement des méthodes triangulées, d’analyse des usages. Elles combinent les analyses qualitatives et quantitatives, considèrent différents points de vue sur les acteurs ou l’activité, et cela à différents moments du cycle de conception. Les études menées portent sur la mise en œuvre de technologie pour le travail et l’apprentissage collaboratif, l’utilisation des jeux (Serious Game) et de la réalité mixte, l’apprentissage en mode projet, la diffusion d’information via des plateformes. La conception d’outils utilisant les traces de l’activité pour supporter les apprentissages : j’ai analysé dans deux contextes privilégiés, l’apprentissage en mode projet et la formation tout au long de la vie dans l’industrie, comment mettre en place des régulations utilisant les traces pour améliorer l’apprentissage. Dans le premier cas, j’ai instrumenté des pratiques d’auto-régulation pour favoriser l’apprentissage de comportements, dans le second j’ai cherché à instrumenter une régulation sociale pour favoriser la diffusion et capitalisation des savoirs

학습분석학 기반의 온라인 토론활동 시각화 원리 개발 연구

학위논문 (박사)-- 서울대학교 대학원 사범대학 교육학과, 2017. 8. 나일주.온라인 토론은 원격대학이나 사이버 대학, 묵스 제공기관 등 온라인을 전제로 하는 교육기관뿐만 아니라 전통적 대학과 같은 교육기관에서도 널리 사용하는 보편적인 디지털 학습 환경 기반의 교수방법이다. 이러한 추세에 따라 온라인 토론의 질을 높이기 위한 노력 또한 다양하게 경주되고 있다. 온라인 학습에서 발생하는 다양한 디지털 자료를 분석하여 학습에 도움이 되는 정보로 만들어 제공하는 것을 지향하는 학습분석학은 이러한 상황에서 각광을 받고 있으며, 학습분석은 온라인 토론의 질을 향상시킬 수 있는 중요한 방법 중 하나로 여겨지고 있다. 학습분석의 방법을 사용하면 현재 진행되고 있는 토론활동으로부터 생성되는 디지털 데이터를 분석하여 토론학습에 유용성이 높은 정보를 제공하는 것이 가능해지기 때문이다. 학습자의 참여, 토론의 방향성, 토론의 효율성, 상호작용의 양상 등에 대해 학습자가 생성한 데이터를 분석하고, 이를 적절히 가공하여 의미 있는 정보로 표현하여 제공한다면, 이는 학습자와 교수자 모두에게 큰 도움이 될 것이다. 온라인 토론을 통해 생성되는 데이터를 분석한 결과는 아주 드물게 텍스트의 형태로만 표현될 수 있으나, 대개는 수치를 포함한 그래프나 이미지 즉, 시각적 표상의 형태로 표현되는 것이 일반적이다. 정보를 시각적 표상의 형태로 표현하는 것은 적은 시간과 노력을 들여 통합적인 정보를 얻는 데에 유리하기 때문이다. 그렇다면 온라인 토론의 경우, 학습자에게 제공되어야 하는 정보는 어떤 종류여야 하며, 또 이를 시각화하여 표현하는 데에는 어떠한 원리가 적용되어야 할 것인가? 이 연구는 온라인 토론에서 학습분석의 결과로 나타나는 정보들을 어떠한 형태로 학습자나 교수자에게 제공할 것인지에 대한 방법을 구안하는 데에 활용될 수 있는 원리, 즉 학습분석의 결과에 대한 시각적 표상물을 구현해 내기 위한 기저 원리를 추출·구안하는 것을 목적으로 수행되었다. 이를 보다 구체적으로 표현하면 다음과 같은 두 개의 연구 문제가 된다. 첫째, 학습분석학 기반의 온라인 토론활동 시각화 원리는 무엇인가? 둘째, 학습분석학 기반의 온라인 토론활동 시각화 원리에 대한 사용자의 반응은 어떠한가? 본 연구는 설계·개발 연구 유형2의 방법을 적용하여 문헌에 기초한 원리의 초안 도출, 사례분석을 통한 원리의 수정, 원리에 대한 전문가 타당화, 원리에 대한 사용성 평가 및 원리를 적용한 프로토타입 개발, 개발된 프로토타입에 대한 사용자 반응 평가 등 내적·외적 타당화의 과정을 거쳐 최종 원리를 개발하는 방법을 따랐다. 그 구체적인 절차는 다음과 같다. 먼저 시각적 정보 처리 과정과 정보 시각화, 학습분석학과 온라인 토론활동의 시각화와 관련된 선행문헌을 고찰하여 시각화 원리들을 도출하였다. 다음으로는 사례 분석의 과정을 거쳐 시각화 원리를 수정하여 시각화 원리 초안을 도출하였다. 개발된 시각화 원리의 초안에 대한 타당성을 검증하기 위해 관련 분야의 전문가 6인을 대상으로 3차에 걸쳐 타당화를 받았다. 이후 시각화 원리를 활용할 것으로 예상되는 교수설계자, 웹디자이너, 컴퓨터프로그래머로 구성된 잠재적 사용자 6인을 대상으로 시각화 원리에 대한 사용성 평가를 실시하였다. 이들은 시각화 원리를 적용하지 않고 1차적으로 시각적 표상물 프로토타입을 개발하였고, 이후 시각화 원리를 반영하여 시각적 표상물의 프로토타입을 수정하였다. 이들이 개발한 시각적 표상물에 시각화 원리가 잘 적용되었는지에 대한 전문가 검토를 거쳐 최종 시각적 표상물이 설계되었다. 마지막으로 시각적 표상물 프로토타입에 대한 학습자의 반응을 평가하였다. 시각화 원리를 기반으로 개발된 시각적 표상물을 학습자에게 제시하고, 사용자 경험 중심의 반응 평가를 실시하였다. 이후 평가 결과를 반영하여 최종 시각화 원리를 개발하였다. 본 연구의 결과는 다음과 같았다. 첫째, 온라인 토론활동을 시각화하기 위한 대상으로는 1) 참여도, 2) 학습자 간 상호작용, 3) 토론내용-중심단어, 4) 토론내용-메시지유형, 5) 토론내용-찬반의견분포의 5개 범주가 알맞은 것으로 나타났다. 둘째, 온라인 토론에 대한 시각화의 원리로는 1) 추적성(traceability)의 원리, 2) 비교성(comparability)의 원리, 3) 축약성(implicity)의 원리, 4) 전체-세부성(overview+detail)의 원리의 4가지 원리가 도출되었다. 셋째, 시각화 원리를 적용한 시각화 결과물에 대한 사용자 평가는 유용성, 실용성, 심미성, 사용의도 등 전체 문항에 대해 높은 긍정적 반응을 얻은 것으로 나타났다. 이 연구의 결과물에는 각각의 시각화 대상과 각 원리들에 따른 상세 시각화 가이드라인이 첨부되어 제공되었다. 이상의 연구 결과에 기초하여 본 연구의 이론적 함의와 실천적 시사점, 그리고 연구 방법에 관한 논의를 하였다. 후속 연구로서 학습분석을 위한 토론활동에 대한 모델링 연구, 학습자의 특성을 고려한 시각적 표상물 개발에 관한 연구, 실제 맥락에서의 사용자 반응 평가 연구, 교수설계자, 시각 디자이너, 컴퓨터프로그래머 간의 관점 차이를 연결하는 종합자적 연구, 그리고 학습분석학의 특성을 반영하여 빅데이터를 자동으로 분석하여 시각화해주는 시스템의 설계 및 개발 등이 필요함을 제언하였다.I. 서론 1 1. 연구의 배경 및 목적 1 2. 연구 문제 8 3. 연구의 의의 8 4. 용어의 정의 10 가. 학습분석학 10 나. 온라인 토론활동 시각화 11 다. 시각적 표상물 11 라. 사용자 경험 중심 평가 12 II. 선행문헌 고찰 13 1. 시각적 정보 처리 과정과 정보 시각화 13 가. 시각지능과 시각적 정보 처리 과정 13 나. 시각적 정보의 구성요소 및 유형 22 다. 정보 시각화 원리 및 가이드라인 32 2. 학습분석학과 온라인 토론활동 시각화 46 가. 학습분석의 활용 목적 및 데이터 분석 방법 46 나. 온라인 토론활동의 개념 및 특성 59 다. 온라인 토론활동의 시각화 대상별 시각화 기법 69 3. 사용자 경험 중심의 반응 평가 방법 85 가. 사용자 경험의 개념 및 특성 86 나. 사용자 경험 중심의 평가 요소 및 방법 90 III. 연구 방법 96 1. 학습분석학 기반의 온라인 토론활동 시각화 원리 개발 100 가. 선행문헌 검토를 통한 시각화 원리 개발 100 나. 전문가 검토를 통한 시각화 원리 수정 102 2. 시각화 원리에 대한 사용자 반응 평가 110 가. 시각화 원리에 대한 사용성 평가 111 나. 시각화 원리가 적용된 시각적 표상물에 대한 사용자 경험 중심의 반응 평가 117 IV. 연구 결과 120 1. 학습분석학 기반의 온라인 토론활동 시각화 원리 개발 결과 120 가. 선행 연구 분석 결과 도출된 시각화 원리 초안 120 나. 시각화 원리 도출 과정에 대한 전문가 타당화 결과 123 다. 구성요소 및 시각화 원리에 대한 전문가 타당화 결과 125 라. 시각화 원리 및 상세 시각화 가이드라인에 대한 전문가 타당화 결과 132 2. 시각화 원리에 대한 사용자 반응 평가 결과 148 가. 시각화 원리에 대한 사용성 평가 결과 148 나. 시각적 표상물 프로토타입에 대한 사용자 경험 중심의 반응 평가 결과 158 3. 학습분석학 기반의 최종 온라인 토론활동 시각화 원리 166 가. 학습분석학 기반의 온라인 토론활동 시각화 대상 174 나. 학습분석학 기반의 온라인 토론활동 시각화 원리 179 Ⅴ. 논의 및 결론 187 1. 연구 결과의 이론적 함의 187 가. 온라인 토론활동 시각화 원리의 이론적 함의 187 나. 인간시각지능의 응용 연구: 탐색과 발견의 도구로서의 시각화 191 2. 연구 결과의 실천적 시사점 194 가. 온라인 토론활동 시각화 원리의 효용성 194 나. 온라인 토론활동에 대한 피드백으로서의 시각적 표상물 196 3. 연구 방법에 관한 논의 199 가. 설계·개발 연구 방법을 적용한 연구 과정 199 나. 사용자 경험 중심의 반응 평가 202 4. 결론 및 제언 204 가. 요약 및 결론 204 나. 연구의 한계 및 추후 연구를 위한 제언 207 참고문헌 211 부록 247 Abstract 298Docto

A Dashboard to Regulate Project-Based Learning

International audienceIn this paper, we propose the dashboards of the Pco-Vision platform to support and enhance Project-Based Learning (PBL). Based on the assumption that Self-Regulated Learning (SRL) is a major component of PBL, we have focused our attention in the design of a dashboard to enhance SRL in PBL. We describe the characteristics of PBL and show why a dashboard can help involved SRL processes, more particularly self-monitoring and self-judgment. We provide a categorization of the information to be presented on dashboards to help students involved in a PBL situation; by taking into account both the project and the learning goals. Finally we have conducted an experiment using the Pco-Vision platform with 64 students involved in a 6-months PBL course; results show that, whereas students rather use direct communication for tasks related to the self-monitoring process, the dashboard appears to be of great importance to enhance the self-judgment process, especially by presenting the information about the way of carrying out the activities