The Online Evaluation of Courses: Impact on Participation Rates and Evaluation Scores

At one of Ontario’s largest universities, the University of Ottawa, course evaluations involve about 6,000 course sections and over 43,000 students every year. This paper-based format requires over 1,000,000 sheets of paper, 20,000 envelopes, and the support of dozens of administrative staff members. To examine the impact of a shift to an online system for the evaluation of courses, the following study sought to compare participation rates and evaluation scores of an online and paper-based course evaluation system. Results from a pilot group of 10,417 students registered in 318 courses suggest an average decrease in participation rate of 12–15% when using an online system. No significant differences in evaluation scores were observed. Instructors and students alike shared positive reviews about the online system; however, they suggested that an in-class period be maintained for the electronic completion of course evaluations.  À l’Université d’Ottawa, une des plus grandes universités de l’Ontario, les évaluations de cours impliquent quelques 6 000 cours et plus de 43 000 étudiants chaque année. Plus d’un million de feuilles de papier, 20 000 enveloppes et le soutien de quelques douzaines d’employés sont nécessaires à la tâche. Pour étudier les répercussions de la transition vers un système d’évaluation en ligne, l’étude présentée visait à comparer les taux de participation et les résultats d’évaluation d’un système en ligne et d’un système manuel (papier). Les résultats d’un groupe pilote composé de 10 417 étudiants, inscrits à 318 cours, suggèrent une diminution des taux de participation moyens de 12 à 15 % avec l’utilisation du système en ligne, mais aucune différence significative dans les résultats d’évaluation n’a été observée. Par ailleurs, professeurs et étudiants ont émis des commentaires positifs sur le système en ligne, mais ont suggéré de maintenir une courte période en classe pour que les étudiants remplissent l’évaluation de leur cours en ligne

Evidencing the value of educational development: Charting a course on the waves and winds of change

Across higher education, educational developers and theirsupporting campus communities are being called upon to scale up evidence-informedpractices, to enhance student experiences, and to document the changes. Thisarticle builds on the work of scholars who have taken up this evaluativechallenge, by examining varied aspects of the evidencing process using anadaptation of Saunders’s (2000) RUFDATA framework for evidencing value.Reflections on emerging patterns and tensions in the evidencing of educationaldevelopment are subsequently discussed. We argue for making evidencing value apurposeful and intentional process, and we chart a path forward for creatingand implementing a vision for the age of evidence.https://doi.org/10.3998/tia.171542pubpub

Nested Within or Swallowed Up: Le dilemme des chercheurs francophones en pédagogie postsecondaire au Canada

La littérature dans le domaine de la recherche en pédagogie postsecondaire (RePP) a pris une expansion importante au cours des dernières décennies, particulièrement dans les espaces anglophones tels que l’Amérique du Nord, l’Europe de l’Ouest et l’Australie. Bien que cette expansion des idées reliées à la RePP puisse être également présente dans les communautés francophones, cela ne semble pas se traduire dans la nature et le nombre de publications dans le domaine en français et dans les expériences vécues par des chercheurs du domaine issus de diverses communautés francophones et bilingues. Cet article met en lumière plusieurs enjeux pertinents qui influencent la diffusion de la RePP en français, qui pour les auteurs représente la dimension savante des décisions pédagogiques que prend l’enseignant au postsecondaire. Initié par une analyse des récits personnels partagés par chaque auteur, deux thèmes principaux seront abordés. D’abord, les différentes définitions de la RePP selon ses influences géographiques, culturelles et sa prévalence au sein de la communauté de recherche et de pratique anglophone ; et deuxièmement, l’accès limité à des espaces pour la publication, et conséquemment à un auditoire limité, auquel font face les chercheurs francophones en RePP (Loiola et Romainville, 2008; Rege Colet et al., 2011). En établissant des liens entre ces aspects et ceux issus d’autres groupes minoritaires impliqués dans des activités de RePP, l’article se veut un catalyseur renouvelé pour échanger et générer des idées pour mettre en œuvre des actions visant une meilleure intégration au sein et au-delà des communautés francophones et bilingues des voix qui s’identifient à la RePP mais qui restent à ce jour marginalisées. En conclusion, les auteurs encouragent une mobilisation accrue et un rayonnement de la recherche en pédagogie postsecondaire effectuée en français. The Scholarship of Teaching and Learning (SoTL) literature has certainly seen significant expansion over the last few decades, particularly in Anglophone spheres such as North America, Western Europe, and Australia. While this expansion may well be true in the practice of SoTL related ideas in francophone communities, it is not reflected in the nature and extent of publications related to SoTL in French and the experiences of SoTL scholars from diverse francophone and bilingual communities. This article unveils several pertinent issues that influence the practice, and more specifically the dissemination of SoTL in French. Initiated by an analysis of narratives contributed by each author, two overarching themes are discussed. Firstly, differing definitions of SoTL as influenced by geography, culture, and prevalence within the Anglophone research and practice communities; and secondly, the limited access to outlets of publication, and consequently limited readership and citation, that francophone and bilingual scholars of SoTL face (Loiola et Romainville, 2008; Rege Colet, McAlpine, Fanghanel et Weston, 2011). By aligning these issues with those of other SoTL minority groups the article seeks to serve as a renewed catalyst for discussion and brainstorming around the actions within and beyond francophone and bilingual communities to encourage increased engagement in, and reach for, SoTL in French

Engaging in Enhancement: Implications of Participatory Approaches in Higher Education Quality Assurance

Stemming from increased levels of participation and diversity of the student base and from growing scrutiny on the quality of university degrees, governments have begun establishing mechanisms to monitor and support quality in higher education. Faced with administrative quality assurance structures, academics often complain that little is discussed in terms of collaborative effort toward program opportunities, enhancement, and growth and that focus is solely on accountability. This paper examines the viability of participatory approaches, pulled from the field of evaluation, as a way of leading to a more meaningful enhancement-oriented quality assurance process and creating common ground across the differing interests of external and internal stakeholders to quality in higher education

Student and Instructor Perceptions of a First Year in Active Learning Classrooms: Three Lessons Learned

This article presents evaluation of an active learning classroom (ALC) initiative at the University of Ottawa. Preliminary results indicate three broad trends to inform future practice and classroom design: 1) Despite advances in educational technology, there remains a strong appetite for low-tech, interactive learning opportunities. 2) Instructors feel that consistent institutional support is necessary to foster innovation in the classroom, particularly for course redesign. 3) a collaborative strategy, bringing together multiple institutional stakeholders, is necessary to ensure a whole-of-university approach to optimal use of the ALCs. This article briefly reviews ALC research, outlines the methodology of the program-evaluation protocol, discusses the three central findings, and concludes with potential directions in ALC research.   Nous examinons ici une initiative, menée à l’Université d’Ottawa, de classe d’apprentissage actif (CAA). Les résultats préliminaires permettent de dégager trois tendances qui permettront d’orienter les pratiques et la configuration de la classe : 1) malgré les avancées dans les technologies éducatives, l’intérêt pour les méthodes simples et pour l’apprentissage interactif ne se dément pas; 2) Les enseignants croient que l’innovation en classe, et tout particulièrement la refonte des cours, sont tributaires d’un soutien institutionnel constant; 3) pour utiliser toutes les ressources de l’université et ainsi faire un usage optimal des CAA, il doit y avoir une stratégie de collaboration regroupant différents intervenants de l’établissement. Dans notre article, après avoir survolé la recherche au sujet des CAA et défini la méthodologie du protocole d’évaluation de programme, nous présentons les trois résultats principaux et nous proposons, en guise de conclusion, trois avenues possibles pour la recherche sur les CAA

Examining the Use of Lecture Capture Technology: Implications for Teaching and Learning

This study sought to provide a better understanding of how lecture capture technology is used by students and how its use is related to student satisfaction, attendance, and academic performance. Using a mixed method design with both quantitative and qualitative methods to collect data, instruments included a student questionnaire, interviews and focus groups, lecture capture usage statistics, and grades. Results showed that 63% of students were satisfied with lecture capture and 75% of students indicated that it had facilitated their learning. Students primarily used the recordings to learn what they had missed while in class (79%) or because they were absent (72%). 70% of students reported having watched at least 50% of the recorded material (27% watched all the material), and only 8% of students did not view any recordings. Student satisfaction had a significant positive relationship with the number of lectures viewed. In regards to attendance, the self-reported data from students indicated that 61% of students did not miss classes (none or just one class). Students with the greatest number of missed classes viewed the recordings more frequently. As for student achievement, 68% of students indicated that lecture capture helped them to achieve better grades. Students with lower course marks accessed the recordings more frequently than those with higher marks. Instructor perceptions were that lecture capture predominately helped average to below average students achieve slightly better marks, but had less of an impact on the grades for particularly low and high achieving students. Cette étude avait pour but de fournir une meilleure compréhension de la manière dont la capture de cours en vidéo est utilisée par les étudiants et comment son utilisation est reliée à la satisfaction des étudiants, à leur assiduité et à leurs résultats académiques. Grâce à un concept de méthodes mixtes comprenant des méthodes quantitatives et qualitatives pour recueillir les données, les instruments incluaient un questionnaire à remplir par les étudiants, des entrevues et des groupes de discussion, des statistiques sur l’emploi de la capture de cours, ainsi que des notes. Les résultats ont indiqué que 63 % des étudiants étaient satisfaits de la capture de cours et 75 % d’entre eux ont pensé que cette méthode avait favorisé leur apprentissage. Les étudiants ont principalement utilisé les enregistrements pour apprendre ce qu’ils avaient manqué quand ils étaient en classe (79 %) ou parce qu’ils étaient absents (72 %). Soixante-dix pour cent des étudiants ont indiqué qu’ils avaient regardé au moins 50 % des enregistrements (27 % avaient regardé toutes les vidéos) et seulement 8 % des étudiants n’avaient regardé aucune vidéo. La satisfaction des étudiants a eu une incidence positive importante en fonction du nombre de vidéos visionnées. En ce qui concerne l’assiduité, les données auto-déclarées par les étudiants ont indiqué que 61 % des étudiants n’avaient pas manqué de classes (aucune absence ou seulement une absence). Les étudiants qui avaient le plus grand nombre d’absences avaient regardé les vidéos plus fréquemment. En ce qui concerne les résultats des étudiants, 68 % d’entre eux ont indiqué que la capture de cours les avait aidés à obtenir de meilleures notes. Les étudiants qui avaient obtenu les notes de cours les plus basses avaient regardé les vidéos plus fréquemment que ceux qui avaient obtenu des notes plus élevées. Les instructeurs ont déclaré que la capture de cours en vidéo avait surtout aidé les étudiants de niveau moyen ou inférieur à la moyenne à obtenir des notes un peu meilleures, mais qu’elle avait eu un effet moins important sur les notes des étudiants très peu performants ou sur celles des étudiants très performants

Adoption institutionnelle de l’apprentissage hybride : analyse d’une initiative en action

This instrumental case study explored some preliminary impacts of a 7-year blended learning initiative (BLI) at a medium sized Canadian university on student learning. Building on the Community of Inquiry (CoI) framework, two research questions directed the investigation: (1) What are the preliminary impacts of a BLI on student learning? (2) What are the actual lived experiences of students, professors, and administrators in a university-wide BLI? Preliminary impacts reveal that student retention appears to be greater in blended courses as opposed to traditional ones, and no significant differences were observed for student grades in the campus-wide roster of courses. Both students and instructors shared that an intentional synergy of in-class instructional practices and online activities added value to a course and had a positive impact on student learning. The viewpoints of the three key stakeholders were very different concerning themes such as motivating factors and mechanisms for support; these themes need to be taken into account and weighted carefully.Cette étude de cas instrumentale explore certains des effets préliminaires sur l’apprentissage des étudiants et des étudiantes d’une initiative d’apprentissage hybride sur une période de 7 ans dans une université canadienne de taille moyenne. S’appuyant sur le cadre des enquêtes communautaires, deux questions de recherche ont dirigé l’enquête : (1) Quels sont les effets préliminaires de l’initiative d’apprentissage hybride sur l’apprentissage des étudiants? (2) Quelles sont les véritables expériences vécues par les étudiants et les étudiantes, les professeurs et les professeures, ainsi que les administrateurs et les administratrices, dans une initiative d’apprentissage hybride à l’échelle de l’université? Les effets préliminaires révèlent que la rétention des étudiants et des étudiantes semble être plus importante dans les cours où l’on pratique l’apprentissage hybride par rapport aux cours où l’apprentissage est traditionnel, et aucune différence notoire n’a été observée en ce qui concerne les notes des étudiants et des étudiantes dans toute la liste des cours offerts sur le campus. Tant les étudiants et les étudiantes que les professeurs et les professeures ont déclaré que la synergie intentionnelle des pratiques d’instruction en salle de classe ainsi que les activités en ligne avaient ajouté de la valeur au cours et avaient eu des effets positifs sur l’apprentissage des étudiants et des étudiantes. Les points de vue des trois parties prenantes principales étaient très différents concernant les thèmes tels que les facteurs motivants et les mécanismes de soutien. Ces thèmes doivent être pris en ligne de compte et devraient être pondérés avec soin

Evidencing the Value of Educational Development: Charting a Course on the Waves and Winds of Change

Across higher education, educational developers and their supporting campus communities are being called upon to scale up evidence-informed practices, to enhance student experiences, and to document the changes. This article builds on the work of scholars who have taken up this evaluative challenge, by examining varied aspects of the evidencing process using an adaptation of Saunders’s (2000) RUFDATA framework for evidencing value. Reflections on emerging patterns and tensions in the evidencing of educational development are subsequently discussed. We argue for making evidencing value a purposeful and intentional process, and we chart a path forward for creating and implementing a vision for the age of evidence