This study assesses the effect of clickers on retention of library instruction material. A comparison of quiz results of students who utilized clickers during instruction versus students who did not showed no gain in retention. Libraries are encouraged to consider pedagogical implications before applying novel technologies to instruction programs

Dill, Emily

IUPUIScholarWorks

1  Do Clickers Improve Library Instruction?  Lock in your Answers Now. Emily Dill Assistant Librarian Indiana University‐Purdue University Columbus   Abstract This study assesses the effect of clickers on retention of library instruction material.  A comparison of quiz results of students who utilized clickers during instruction versus students who did not showed no gain in retention.  Libraries are encouraged to consider pedagogical implications before applying novel technologies to instruction programs.   Introduction For decades, librarians have studied and debated the best methods to use when teaching students how to effectively use the library and its resources.  Since we as a profession cannot even seem to agree on what library instruction should be called (e.g. bibliographic instruction, information literacy instruction, user education), it is not surprising that there is little consensus on how best to accomplish the task.  One set of techniques that has become increasingly popular in library instruction is the use of active learning methods.  Active learning’s emphasis on student interaction with class content (as opposed to passive absorption of lectures) serves to enhance learning for diverse student populations with diverse learning styles.1  Active learning can take many forms, including class discussion, hands‐on activities, and interaction with technology.  With the constant innovation and evolution of interactive and multimedia instructional technologies, the ability to employ active learning components in library instruction has become easier than ever.  Librarians have developed some very creative uses of technology such as podcast‐guided library tours and online tutorials in attempts to reach increasingly technologically‐savvy students.  Indeed, technology‐driven presentation has for many instructional services librarians 2  completely replaced the traditional lecture format.  Some argue that this change has become necessary throughout higher education in order to effectively educate the millennial generation who grew up with astounding advances in technology and who will be expected to operate in a workforce that relies more and more on technology.2  While many librarians agree that technology can effectively enhance library instruction, it is not always clear which types of technology are best‐suited for the job.  Many uses of technology have anecdotally been successful in keeping students engaged and involved with the material presented.  It is often unclear, however, if these novel techniques for imparting library information and research skills have a positive effect on student learning and retention of the material.   Even as librarians debate the most effective methods for incorporating new technology into library instruction, it is undeniable that technology has had a large impact on the field.  One example of interactive technology used in a variety of educational settings, including the library classroom, is clickers (also known as student response systems, group response systems, audience response system, etc.).  Clickers are not new classroom innovations.  They have been in use since the 1960s, when they debuted as fixtures hard‐wired to classroom seats.  Wireless technology has made clickers more user‐friendly and portable, thereby expanding their popularity as instructional tools.  Modern day clickers are small hand‐held devices resembling remote controls that allow students to interact with the instructor and their classmates.  Through a series of answer buttons, clickers enable students to register responses to questions posed by instructors (students’ answers can remain anonymous among classmates while points are recorded behind the scenes for instructors), register opinions, and let instructors know when they are confused by material.  Clickers systems are marketed by several vendors and traditionally include both hardware components (individual response pads for students and remote receivers that collect the responses) and software components (computer programs that allow clickers to work within other applications such as PowerPoint and allow responses to be compiled and recorded).  As clickers systems have become more and more sophisticated, the possibilities for classroom use have grown 3  substantially, allowing them to be used by instructors in a wide variety of disciplines and pedagogical contexts.  The current study will look specifically at the effect of clickers used as an engagement tool on short‐term recall of library instruction material. Literature Review The use of student response systems in higher education is certainly not a new concept.  Judson and Sawada’s review of electronic response system literature details their use from as early as 1963.3  Throughout this long history of use, there seems to be little consensus in the overall value of clickers as teaching tools.  Much of the literature focuses on studying student and instructor attitudes and reports largely positive results.  The authors of these studies often report that students who use clickers are more engaged in the classroom and enjoy using the technology, citing as evidence more positive course evaluations and student feedback than in courses that did not use the technology.4‐5   The studies focusing on gains in student learning number fewer and seldom show any increase in learning.  These studies are also somewhat harder to aggregate than studies measuring attitudes because most of them employ vastly different methods and have yet to be replicated.  Accounting for these limitations, it is still clear that the record of clickers’ effect on improvements in student learning includes few true success stories.  Much of the literature reports little or no increase in learning with the use of clickers when overarching pedagogical changes are accounted for.4,6  These findings are echoed in many studies that suggest that the pedagogical treatment of course material is the reason behind any increase in learning experienced with the technology, rather than the use of the clickers themselves.  Specifically, pairing clickers in a meaningful way with pedagogical techniques such as peer discussion and peer teaching seem to underpin their successful use, as opposed to simply plugging them into existing course plans haphazardly.3,5 4  While the predominance of clickers research comes from studies involving science courses, there is growing documentation of their use in library instruction.  Most, if not all, reports from the library literature also rely on anecdotal measures of student satisfaction and mirror this upbeat vein:  “From a library point of view this was an overwhelmingly positive experience.  Using the PRS [personal response system] brought a sense of fun and increased engagement with the students.”7  Another positive experience can be seen in the report of a pilot project using clickers at Middle Tennessee State University.  This project left the authors to feel “confident that the interactive nature of the program and its ability to assess learning in real time make it an ideal way to teach information literacy skills.”8   The current study will build on these reports by assessing the value of clickers use in improving short‐term retention of library instruction. Methods  This study took place at a satellite campus of a public Midwestern university with an enrollment of about 2,000 full‐time students.  The campus offers bachelors and associates degrees in 10 areas and also has an MBA program.  All incoming undergraduate students are required to take a 1 credit hour course called University College U110, which offers an introduction to college life.  This course covers some of the keys to college success such as time management, study skills, and student engagement.  The base curriculum also traditionally includes an introduction to the library and basic research skills.  In past semesters, librarians often employed PowerPoint presentations or online tutorials to fulfill the library instruction component of U110.  The U110 courses were chosen to participate in this study primarily because they are among the few courses taught at the campus that receive identical library instruction presentations.   With the consent of the instructors, and with the approval of the university’s institutional review board, all eight of the U110 sections offered during fall semester 2006 participated in this study.  The 5  sections of U110 were divided into two randomly assigned groups of four sections each—the clickers group (totaling 64 students) and the control group (totaling 72 students).  The sections ranged in size from 12 to 24 students.   Each section received identical instructional content consisting of a lecture and PowerPoint presentation that were delivered using a written script to ensure that the spoken portion of the presentation was consistent across sections.  Instructors understood that it was essential that their students were not aware they were part of a study.  The treatment of the two groups varied only in how the students were asked to respond to polling slides interspersed throughout the presentation.  The clickers group used clicker response pads to register their choices while the control group was asked to indicate their answer by a show of hands (e.g. “How many people think D is the correct answer?”). The 27‐slide presentation consisted of an introduction to the library facilities and policies, as well as a brief introduction to the use of the online catalog and databases.  Six of the slides consisted of interactive polling questions.  These six slides posed questions to the students and served as introductions to new topics during the presentation.  Students were told that they were not expected to know the answers to these questions, but that they should make a guess.  The goal of asking these questions was to keep students actively involved in the session, rather than to assess their previously held knowledge.  After students responded and the correct answer was given, the answer was discussed and elaborated upon.   None of the responses given by either group to the polling questions was tabulated.  Instead the comparison of the two groups came in the form of an anonymous five question quiz taken on paper by all students following the presentation.  The quiz was used to see how much of the presentation students retained.  Students were reminded that this quiz did not count for a grade, but that their effort was appreciated and would assist the library in evaluating the effectiveness of the instruction session.  6  All of the answers to the final quiz questions were provided during the presentation on screen and orally within one slide of the polling question slides.  The five multiple choice quiz questions included: 1) Identifying subject headings in an unlabeled OPAC screen shot. 2) Identifying the credentialing information needed to log on to the library’s computers. 3) Identifying the name of the interlibrary loan service. 4) Identifying the best place to look for scholarly journal articles. 5) Identifying the name of the classification system the library uses. Results  Analysis of the two groups’ quiz results suggests that the use of clickers does not have a positive effect on short‐term recall of library instruction material.  The mean number of questions answered correctly on the post‐quiz by the clickers group was 2.70 (out of 5).  The mean number of questions answered correctly on the post‐quiz by the control group was 2.92 (out of 5).  This tendency remains the same across questions, with the clickers group having about the same percentage correct on each question as the control group (see table 1). Discussion  The results of this study indicate that while many instructors and librarians find clickers to be valuable enhancements to classroom instruction, they may not always be effective in aiding student learning.  While it is possible that the poor showing on the post‐quiz may be due in part to students not taking an ungraded quiz seriously, the consistency between the experimental and control groups across questions seems to refute that reasoning.   This study looks at a specific use of clickers as an engagement tool in one‐shot library instruction sessions.  Because library instruction sessions are often quite different in nature than semester‐long 7  courses, the resulting differing needs of students must also be considered in deciding which pedagogical approaches might be most effectively adapted for library use.   The unique constraints of library instruction sessions (one shot; usually 75 minutes or less) might prevent the use of some of the more successful strategies paired with clickers use detailed in the literature, such as peer discussion.   While this study does not measure student satisfaction, the clickers group did anecdotally seem more engaged during the lecture and PowerPoint presentation.  A running response count at the bottom of the polling slides (only visible with the use of clickers) showed that all students in the clickers group routinely responded to the questions, whereas in each of the control sections less than half of the students indicated responses to the questions by raising their hands.  If one of the goals of a library’s instruction program is to get students more engaged with and interested in the library, then perhaps clickers would serve this purpose in instruction sessions.  This study does not conclusively show that there is no value in the use of clickers in library instruction.  There are many different strategies for employing the technology that could be more effective than the specific scenario discussed here, especially in situations that allow for more time and group work among the students.  Future studies might look at clickers usage in these different pedagogical settings or compare clickers usage with other active learning methods. It is apparent from the literature and the current study that active learning methods must be employed purposively.9  Simply layering technology onto instruction will likely not yield any significant improvement in student learning.  It might be difficult for librarians to apply technology to their teaching in a meaningful way, but a successful end result can be very rewarding for students and librarians alike. Notes 8  1. Chet Meyers & Thomas B. Jones, Promoting Active Learning: Strategies for the College Classroom (San Francisco, CA: Jossey‐Bass Publishers, 1993) p. 7. 2. Peter Smith, “Of Icebergs, Ships, and Arrogant Captains,” EDUCAUSE Review 39 (May‐June 2004): 48‐58. 3.  Eugene Judson & Daiyo Sawada, “Learning from Past and Present: Electronic Response Systems in College Lecture Halls,” Journal of Computers in Mathematics and Science Teaching 21/2 (2002): 167‐181. 4. Diane M. Bunce, Jessica R. VandenPlas & Katherine L. Havanki, “Comparing the Effectiveness on Student Achievement of a Student Response System versus WebCT Quizzes,” Chemical Education Research 83/3 (2006): 488‐493. 5. Douglas Duncan, “Clickers: A New Teaching Aid with Exceptional Promise,” Astronomy Education Review 5/1 (2006): 70‐88. 6. Carla Carnaghan & Alan Webb, “Investigating the Effects of Group Response Systems on Student Satisfaction, Learning, and Engagement in Accounting Education,” Issues in Accounting Education 22/3 (2007): 391‐409. 7. Sara Burnett & Simon Collins, “Ask the audience! Using a Personal Response System to enhance information literacy and induction sessions at Kingston University,” Journal of Information Literacy 1 (July 2007). Available: http://ojs.lboro.ac.uk/ojs/index.php/JIL/article/view/AFP‐V1‐I2‐2007‐1/11 (November 21, 2007).  8. Karen Dearing, Karen, et al., “Using a Student Response System to Obtain Real‐Time Assessment of Bibliographic Instruction Sessions,” Tennessee Librarian: Quarterly Journal of the Tennessee Library Association (2006) 56/2: 74‐81. 9. Michael Prince, “Does Active Learning Work? A Review of the Research,” Journal of Engineering Education (2004) 93/3: 223‐231. 9  Table 1 020406080100Q1 total correctQ2 total correctQ3 total correctQ4 total correctQ5 total correctClickers vs. Control Percentage Correct by QuestionClickersControl N=64N=72 

Do Clickers Improve Library Instruction? Lock in your Answers Now.

https://scholarworks.iupui.edu/bitstream/handle/1805/1689/Do%20clickers%20improve%20library%20instruction.pdf?sequence=1&isAllowed=y

Do Clickers Improve Library Instruction? Lock in your Answers Now.

Abstract

Similar works

Full text

Available Versions

IUPUIScholarWorks