Assessment in and of serious games: an overview

There is a consensus that serious games have a significant potential as a tool for instruction. However, their effectiveness in terms of learning outcomes is still understudied mainly due to the complexity involved in assessing intangible measures. A systematic approach—based on established principles and guidelines—is necessary to enhance the design of serious games, and many studies lack a rigorous assessment. An important aspect in the evaluation of serious games, like other educational tools, is user performance assessment. This is an important area of exploration because serious games are intended to evaluate the learning progress as well as the outcomes. This also emphasizes the importance of providing appropriate feedback to the player. Moreover, performance assessment enables adaptivity and personalization to meet individual needs in various aspects, such as learning styles, information provision rates, feedback, and so forth. This paper first reviews related literature regarding the educational effectiveness of serious games. It then discusses how to assess the learning impact of serious games and methods for competence and skill assessment. Finally, it suggests two major directions for future research: characterization of the player's activity and better integration of assessment in games

The serious games ecosystem: Interdisciplinary and intercontextual praxis

This chapter will situate academia in relation to serious games commercial production and contextual adoption, and vice-versa. As a researcher it is critical to recognize that academic research of serious games does not occur in a vaccum. Direct partnerships between universities and commercial organizations are increasingly common, as well as between research institutes and the contexts that their serious games are deployed in. Commercial production of serious games and their increased adoption in non-commercial contexts will influence academic research through emerging impact pathways and funding opportunities. Adding further complexity is the emergence of commercial organizations that undertake their own research, and research institutes that have inhouse commercial arms. To conclude, we explore how these issues affect the individual researcher, and offer considerations for future academic and industry serious games projects

Promoting flexible mathematical thinking with growth mindset, deliberate practice, and serious games

ABSTRACT Adaptive expertise is a greatly appreciated, yet rarely achieved, goal of mathematics curricula because it is considered to typify high-level mathematical thinking. Adaptive expertise demonstrates knowledge and skills that can be dynamically implemented in uncommon situations, not just within highly defined tasks or sufficiently prepared contexts. To achieve adaptive expertise, students must be given occasions to practice solving open-ended mathematical tasks in unfamiliar circumstances, allowing them to contemplate, analyze, and explore different connections and alternative solutions to develop their emerging skills and knowledge structures. Traditional math classrooms are often equipped with textbooks and instructional approaches that focus on isolated, routine exercises, or drill-andpractice, which encourage students to master isolated procedural techniques to find the most or only efficient solution. Math teachers, therefore, employ teaching methods that emphasize speed and accuracy using these materials. The idea of mathematics as a “fixed” subject, which is full of rigid and absolute rules, unintentionally continues to be reinforced. This doctoral dissertation aims to investigate design principles for learning environments that support flexible mathematical thinking in mathematics education. This thesis focuses on two objectives: first, it aspires to understand how adaptive expertise can be promoted with deliberate practice, and whether it can be done by using a mathematical game-based learning environment called the Number Navigation Game (NNG). The nature of deliberate practice is demanding and occurs just beyond one’s abilities. It necessitates deep engagement, continuous efforts to enhance performance, and a positive attitude towards challenges—traits synonymous with a growth mindset. Given the association between a growth mindset and persistent learning behavior, the second objective explores ways to cultivate growth mindset in mathematics classrooms. This is vital for integrating game-based learning into conventional mathematics instruction and realizing the goal of adaptive expertise in mathematics. This dissertation is divided into two parts, encompassing three sub-studies. Part one, comprising Studies I and II, focuses on the Number Navigation Game (NNG). Study I explores game experiences during the NNG development process and examines how different design choices influence students’ gaming experiences. The results provide insights into the iterative design process of a research-based serious game, shedding light on students' interactions with both learning and gaming components and their relation to novel mathematical learning objectives. Study II delves into various game performance profiles using gaming analytics and investigates the diverse ways students engage with the NNG. Utilizing log data from game performances in the energy mode, combined with measured mathematics learning outcomes, math interest, perceived challenge, and experienced flow during gameplay, Study II offers evidence on promoting adaptive expertise through deliberate practice, game-based learning environments, and learning outcomes. In essence, Studies I and II highlight how the NNG serves as a supportive platform for presenting students with novel contexts, challenging tasks, and immediate feedback, making it a viable tool for traditional classrooms. Part two (Study III) investigates the current state of growth mindset interventions in mathematics education through a systematic review. The results show that when implicit theories of intelligence interventions were conducted specifically in the math domain, positive results were reported, whereas general implicit theories of intelligence interventions yielded mixed results. This indicates that to make the necessary behavioral changes based on changed beliefs, participants need to engage with mathematical content at a deeper level than the surface level. Most importantly, the learning environment must be embedded with elements that support struggle and mistakes, encourage effortful practices, and make progress visible to students. In this way, students will be provided with evidence of the development of their own mathematical skills as a result of practice. KEYWORDS: adaptive expertise, game-based learning environment, growth mindset, deliberate practice, flexible mathematical thinkingTIIVISTELMÄ Adaptiivinen asiantuntijuus on yksi korkeatasoisen matemaattisen ajattelun taidoista ja sen kehittymistä on pidetty tärkeänä tavoitteena matematiikan opetussuunnitelmissa, vaikka käytännön opetustyössä sitä harvoin saavutetaankaan. Adaptiivinen asiantuntijuus kuvaa tietoja ja taitoja, joita voidaan soveltaa joustavasti uusissa tilanteissa, ei vain selkeästi ennalta määritellyissä tehtävissä tai konteksteissa. Tämän saavuttamiseksi on tärkeää, että oppilaille tarjotaan mahdollisuus harjoitella avoimien matemaattisten ongelmien ratkaisemista uusissa konteksteissa. Tällöin he voivat pohtia, analysoida, tutkia erilaisia yhteyksiä ja vaihtoehtoisia ratkaisuja, mikä kehittää heidän taitojaan. Perinteisessä matematiikan opetuksessa on usein käytössä oppikirjoja ja opetusmenetelmiä, jotka keskittyvät yksittäisiin, rutiininomaisiin harjoituksiin tai yksinkertaiseen toistoon perustavaan harjoitteluun. Nämä valmistavat oppilaita hallitsemaan mekaaniset laskutoimitukset ja proseduurit tehokkaimman tai ainoan ratkaisun löytämiseen. Tällaiset oppimateriaalit ja -menetelmät tähtäävät nopeuteen ja tarkkuuteen. Tällöin ajatus matematiikasta joustamattomana kouluaineena, joka on täynnä jäykkiä ja ehdottomia sääntöjä, jatkaa vahvistumistaan tahattomasti. Tämän väitöskirjan tavoitteena on edistää joustavan matemaattisen ajattelun kehittämistä matematiikan opetuksessa. Väitöskirja keskittyy kahteen osatavoitteeseen. Ensinnäkin väitöskirjatutkimuksissa pyritään ymmärtämään, miten adaptiivista asiantuntijuutta voidaan edistää määrätietoisella harjoittelulla, ja voidaanko adaptiivista asiantuntijuutta kehittää käyttämällä matemaattista pelillistä Number Navigation Game oppimisympäristöä. Toiseksi määrätietoinen harjoittelu on vaativaa ja tapahtuu juuri oppijan kykyjen äärirajoilla; se vaatii syvää keskittymistä, sitoutumista, sinnikästä pyrkimystä suorituksen parantamiseen ja positiivista asennetta vaikeiden, epämiellyttäviäkin tunteita herättävien tehtävien edessä. Sekä sinnikkyys suoritusten parantamisessa että positiiviset asenteet haasteita kohtaan ovat myös kasvun asenteelle tunnusomaisia piirteitä. Useissa tutkimuksissa väitetään, että kasvun ajattelutavan tukeminen edistää sinnikästä oppimiskäyttäytymistä. Ymmärrystä siitä, kuinka kasvun ajattelutapaa voidaan tukea matematiikan tunneilla, voidaan hyödyntää, kun pelillistä oppimista integroidaan perinteiseen matematiikan opetukseen ja tavoitteena on adaptiivisen asiantuntijuuden taidot matematiikassa. Väitöskirjassa on kaksi osaa, joihin kolme osatutkimusta jakautuu. Ensimmäinen osa sisältää Number Navigation Game -peliä koskevat tutkimukset I ja II. Tutkimuksessa I kartoitettiin oppilaiden pelikokemuksia pelin kehitysprosessin aikana, ja sekä sitä, kuinka erilaiset suunnitteluvalinnat vaikuttivat oppilaiden pelikokemuksiin. Tutkimukset tuottivat uutta tietoa tutkimuspohjaisen oppimispelin suunnittelusta ja muokkausprosessista, mikä puolestaan tuotti yleisempää tietoa oppilaiden ja pelin elementtien vuorovaikutuksesta, ja siitä miten tämä vuorovaikutus liittyy uudenlaisiin matemaattisiin oppimistavoitteisiin. Tutkimus II keskittyi erilaisiin pelaajien suoritusprofiileihin pelianalytiikan avulla ja tutki erilaisia tapoja, joilla oppilaat pelasivat Number Navigation Game -peliä. Tutkimuksessa hyödynnettiin lokidataa pelaajien suorituksista yhdessä mitattujen matematiikan oppimistulosten, matematiikan kiinnostuksen sekä pelaamisen aikana koetun haastavuuden ja flow-kokemuksen kanssa. Tutkimus tuotti tietoa siitä, millä tavalla adaptiivista asiantuntijuutta voidaan edistää tukemalla määrätietoista harjoittelua pelioppimisympäristössä. Yhteenvetona voidaan todeta, että tutkimukset I ja II tuottivat aikaisempaa tarkempaa tietoa siitä, kuinka Number Navigation Game -peli voi tarjota kannustavan oppimisalustan, joka tarjoaa avoimen oppimisympäristön, rutiinista poikkeavia ja haastavia tehtäviä, sekä pelidesignin, joka antaa oppijalle selkeää, välitöntä palautetta. Väitöskirjan toisen osan (Tutkimus III) tavoitteena on tarkastella kasvun ajattelutavan interventioita matematiikan opetuksessa systemaattisen katsauksen avulla. Tulokset osoittivat, että kun älykkyyttä koskeviin uskomuksiin perustuvia kasvun ajattelutapaa tukevia interventioita toteutettiin erityisesti matematiikan alalla, raportoitiin positiivisia tuloksia. Kun kasvun ajattelutapaa tukevia interventioita toteutettiin yleisesti ilman erityistä kontekstia, tulokset olivat ristiriitaisia. Tämä osoittaa, että jotta tarvittavat käyttäytymismuutokset toteutuvat muuttuneiden uskomusten perusteella, osallistujien on uppouduttava matemaattiseen sisältöön pintatasoa syvällisemmin. On olennaista, että oppimisympäristöön on upotettu elementtejä, jotka tukevat "kamppailua ja virheitä", että ne kannustavat ponnisteluihin ja että edistyminen tehdään oppijalle näkyväksi. Näin oppija saa todisteita omien matemaattisten taitojensa kehittymisestä harjoittelun seurauksena. ASIASANAT: adaptiivinen asiantuntijuus, pelioppimisympäristö, kasvun ajattelutapa, tarkoituksellinen harjoittelu, joustava matemaattinen ajattel

Advances in Technology Enhanced Learning

‘Advances in Technology Enhanced Learning’ presents a range of research projects which aim to explore how to make engagement in learning (and teaching) more passionate. This interactive and experimental resource discusses innovations which pave the way to open collaboration at scale. The book introduces methodological and technological breakthroughs via twelve chapters to learners, instructors, and decision-makers in schools, universities, and workplaces. The Open University's Knowledge Media Institute and the EU TELMap project have brought together the luminaries from the European research area to showcase their vision of the future of learning with technology via their recent research project work. The projects discussed range widely over the Technology Enhanced Learning area from: environments for responsive open learning, work-based reflection, work-based social creativity, serious games and many more

Spring 2017

https://scholar.rose-hulman.edu/rose_echoes/1097/thumbnail.jp

DEMO 18

Alumni newsletter from Spring - Summer 2013 entitled DEMO18. This issue is 52 pages.https://digitalcommons.colum.edu/alumnae_news/1084/thumbnail.jp

University of San Diego News Print Media Coverage 2007.03

Printed clippings housed in folders with a table of contents arranged by topic.https://digital.sandiego.edu/print-media/1050/thumbnail.jp