Developing Automated Feedback on Spoken Performance : Exploring the Functioning of Five Analytic Rating Scales Using Many-facet Rasch Measurement

Peer reviewe

DigiTalan esittelyvideo kouluille

Non peer reviewe

Tekijänoikeudet, tietosuoja ja tietoturva : vastuullisuutta opetusteknologian käyttöön kieltenopetuksessa

Peer reviewe

The Multimodal Listening Test in a High-Stakes Context : Gender-Neutral or not?

In this study, we used the Rasch measurement to investigate the fairness of the listening section of a national computerized high-stakes English test for differential item functioning (DIF) across gender subgroups. The computerized test format inspired us to investigate whether the items measure listening comprehension differently for females and males. Exploring the functioning of novel task types including multimodal materials such as videos and pictures was especially interesting. Firstly, the unidimensionality and local independence of the data were examined as preconditions for DIF analysis. Secondly, the authors explored the performance of female and male students through DIF analysis using the Rasch measurement. The uniform DIF analysis showed that 25 items (out of 30 items) displayed DIF and favored different gender subgroups, whereas the effect size was not meaningful. The non-uniform DIF analysis revealed several items exhibiting DIF with a moderate to large effect size, favoring various gender and ability groups. Explanations for DIF are hypothesized. Finally, implications of the study regarding test development and fairness are discussed.Peer reviewe

Miten suomen ja ruotsin opettajat käyttäisivät puheen automaattiseen arviointiin kehitettyä työkalua?

Tässä artikkelissa haastattelimme neljää kieltenopettajaa selvittääksemme heidän ensivaikutelmiaan puheen automaattiseen arviointiin kehitetystä työkalusta. Esittelimme opettajille suomen ja ruotsin oppijoille suunnattua pilottiversiota DigiTala-tutkimushankkeen kehittämästä Moodle-työkalusta, joka ensin nauhoittaa oppijan puheen, muuttaa sen tekstiksi, arvioi sen automaattisesti ja lopulta näyttää tulokset oppijalle. Pilottiversiossa oppijalle näytettävä automaattinen palaute on muotoiltu ihmisarvioijien käyttämien analyyttisten ja holististen arviointikriteerien pohjalta. Tutkimuksemme aineisto koostuu neljästä Zoomissa toteutetusta puolistrukturoidusta yksilöhaastattelusta, joiden aikana kielten opettajille esiteltiin työkalua. Haastattelut litteroitiin ja niille tehtiin sisällönanalyysi. Havaitsimme, että automaattista palautetta voidaan hyödyntää merkittävästi kielenoppimisessa ja -opettamisessa. Opettajat kokivat, että työkalun antama arviointipalaute oli ymmärrettävää ja käyttökelpoista, vaikka palaute ei pystykään kattamaan kaikkia puhetuotoksen ulottuvuuksia. Tutkimuksemme tuloksista on hyötyä erityisesti automaattisen arvioinnin sekä suullisen kielitaidon tutkimuksen ja sovellusten saralla.Peer reviewe

Creaky voice and utterance fluency measures in predicting fluency and oral proficiency of spontaneous L2 Finnish

While utterance fluency measures are often studied in relation to perceived L2 fluency and proficiency, the effect of creaky voice remains ignored. However, creaky voice is frequent in a number of languages, including Finnish, where it serves as a cue for phrase-boundaries and turn-taking. In this study we investigate the roles of creaky voice and utterance fluency measures in predicting fluency and proficiency ratings of spontaneous L2 Finnish (F2) speech. In so doing, 16 expert raters participated in assessing narrative spontaneous speech samples from 160 learners of Finnish. The effect of creaky voice and utterance fluency measures on proficiency and fluency ratings was studied using linear regression models. The results indicate that creaky voice can contribute to both oral proficiency and fluency alongside utterance fluency measures. Furthermore, average duration of composite breaks – a measure combining breakdown and repair phenomena – proved to be the most significant predictor of fluency. Based on these findings we recommend further investigation of the effect of creaky voice to the assessment of L2 speech as well as reconsideration of the utterance fluency measures used in predicting L2 fluency or proficiencyPeer reviewe

Human raters' perceptions of the automated assessment of oral language skills, the digital assessment process and the dimensions to be assessed from speaking performances

Peer reviewe

Ylioppilastutkinto sähköistyy : kuvan ja videon merkitys vieraan kielen kuullun ymmärtämisessä

Posteri Suomen soveltavan kielitieteen yhdistyksen (AFinLA) syyssymposiumissa, Turku, 10.–11.11.2017.Muutokset yhteiskunnassa ja opetussuunnitelmissa sekä ylioppilastutkinnon sähköistyminen ravistelevat kielitaidon arviointiin liittyviä käsityksiä ja käytäntöjä. Lukion opetussuunnitelman perusteissa ei enää nähdä kuullun ymmärtämistä erillisenä taitona, vaan ”taito tulkita tekstejä” sisältää kaikenlaisen syötteen tulkinnan. Yksi luonnollisin lähtökohta kielikokeiden uudistamiselle on audiovisuaalisen aineiston sisällyttäminen kuullunymmärtämiskokeeseen. Emme kuitenkaan tiedä, millaisia vaikutuksia videon, valokuvien ja kuvasarjojen käytöllä on kokeen suorittamiseen. Multimodaalisuus, eli useamman elementin yhdistäminen, tuo kielikokeisiin ratkaistavaksi lukuisia käytännön kysymyksiä, joihin väitöskirjani pyrkii vastaamaan. Tutkimuksessani vertaan opiskelijoiden kuuntelukokemuksia ja koesuorituksia eri koeasetelmien välillä. Perehdyn myös opiskelijoiden kuuntelutottumuksiin ja käsityksiin sähköisestä kuullunymmärtämiskokeesta. Syksyn 2016 aikana yhdeksän lukiolaisryhmän opiskelijat (n=157) jaettiin satunnaisesti kolmeen erilaiseen koeasetelmaan. Kokeen tehtävät olivat ryhmille samat, mutta visuaalisen tuen määrää vaihdeltiin: 1. ryhmä vastasi tehtäviin pelkän äänen, 2. ryhmä äänen ja still-kuvien ja 3. ryhmä videon perusteella. Koetilanteita (n=7) havainnoitiin ja kokeen jälkeen opiskelijat (n=144) vastasivat kyselyyn, jolla kartoitettiin heidän mielipiteitään ja kuuntelutottumuksiaan. Syksyn 2017 aikana aineistoa täydennetään opiskelijoiden (n=5) haastatteluilla sekä syvennytään opiskelijoiden (n=4) perusteluihin ja vastaamisstrategioihin ääneen ajattelu -tehtävän avulla. Videota, kuvia ja muita visuaalisia elementtejä sisältäviä kuullunymmärtämiskokeita on vertailtu laajasti, mutta ei suomalaisilla opiskelijoilla ylioppilaskokeen kaltaisessa high stakes -kielikokeessa. Nykymuotoisella ylioppilaskokeella on pitkät perinteet ja uusien käytäntöjen tuominen tutkintoon edellyttää seikkaperäistä tutkimusta juuri suomalaisessa kontekstissa. Tulokset hyödyttävät ylioppilaskokeen ja oppimateriaalien laatijoiden lisäksi opettajia ja opettajien kouluttajia

Virtaa ylioppilastutkinnon kielikokeisiin!

Sähköisiä ylioppilastutkinnon kielikokeita on suunniteltu reilun vuoden verran. Liikkeelle lähdettiin tutustumalla sähköisiin kielikokeisiin, joita jo tehdään maailmalla ja suomalaisissa kouluissa. Parhaat tehtävätyypit kerättiin kommentoitavaksi digabi.fi:hin ja kevään 2014 aikana hahmoteltiin suomalaiseen ylioppilastutkinnon kielikokeeseen sopivia tehtävätyyppejä. Hiljalleen kirkastui myös kielikokeen rakenne ja visio siitä, mitä sähköinen kielikoe tulevaisuudessa voisi tarkoittaa. Syksyn 2014 aikana laaditaan YTL:n omia esimerkkitehtäviä eri kieliin ja oppimääriin. Koejärjestelmän tekninen kehitystyö on käynnissä ja testiversio saadaan koulujen käyttöön tammikuussa 2015. Ensimmäinen versio DigabiOS-käyttöjärjestelmästä, joka luo perustan sähköisen ylioppilaskokeen suorittamiselle, on jo halukkaiden testattavissa. Seuraavassa esitellään tämänhetkisiä suunnitelmia ja vastataan kymmeneen sähköistä kielikoetta koskevaan kysymykseen.nonPeerReviewe