Testi täitmise motivatsioon madala ja kõrge olulisusega testimise kontekstides

Väitekirja elektrooniline versioon ei sisalda publikatsiooneHaridus- ja psühholoogiavaldkonnas kasutatakse teste inimeste teadmiste ja oskuste hindamiseks. Tihti ei ole selliste testide tulemused testitavate endi jaoks tähenduslikud, kuigi võivad olla olulised mõnel teisel tasandil – näiteks võidakse nende alusel võrrelda omavahel õpilasi või õpilaste gruppe koolide ja riikide lõikes. Varasemad uuringud on näidanud, et keskmiselt on testitäitjate jaoks madala olulisega testide tulemused madalamad kui kõrge olulisusega testide puhul. Ka valiidsuse teoreetilised käsitlused viitavad sellele, et testi tulemuste tõlgendamisel tuleks arvestada erinevate teguritega, sh motivatsiooniga, mis võivad tulemust mõjutada, aga ei ole osa konstruktist, mida soovitakse hinnata. Testi täitmise motivatsiooni (TTM) käsitletakse peamiselt ootuse-väärtuse teooria raamistikus. Selle alusel on motivatsiooni tekkimine seotud erinevate teguritega, näiteks inimese eelnevad kogemused, väärtused ja uskumused. Seega TTM ei ole seotud vaid testi ja testimise olukorraga vaid ka testitava enda sisemiste protsessidega. Sellest lähtuvalt võib eeldada, et TTM võib olla tulemustega seotud ka kõrge olulisusega testimise olukorras. Selleks, et TTM.iga oleks võimalik tulemuste tõlgendamise arvestada, on oluline seda hinnata. Peamiselt on hindamiseks kasutatud enesekohaseid küsimustikke, kuid kuna vastused nendele ei pruugi olla piisavalt objektiivsed, on välja pakutud ka alternatiivseid TTM-i hindamise meetodeid, näiteks ajalist pingutust vastamisel (APV, Wise ja Kong, 2005). APV alusel antakse hinnang testitäitja testile pühendatud pingutusele selle alusel, kuidas ta kasutas testi ülesannete lahendamisel selleks ettenähtud aega. Doktoritöös uuriti, kuidas avaldub testi täitmise pingutus nii madala kui ka kõrge olulisusega testimise olukordades. Pingutuse hindamiseks kasutati nii enesekohast küsimustikku kui ajalisi pingutust iseloomustavad indikaatoreid, sh APV. Leiti, et testi täitmise pingutus on testi tulemusega seotud nii madala kui ka kõrge olulisusega testis, kuigi ootuspäraselt seletab see suurema osa variatiivsusest madala olulisusega testi puhul. Veel leiti, et enesehinnatud pingutus ja testi täitmise aja põhjal arvutatud pingutuse näitaja võivad kirjeldada motivatsioonispektri erinevaid osi ning et mõlemad võivad anda väärtuslikku informatsiooni testi täitmise motivatsiooni kohta.  In the fields of education and psychology, tests are used to measure people's knowledge and skills. However, the results of such tests are often not personally relevant to the test-takers, although these may be relevant on other levels – for example, test results may be used to compare students or groups of students across schools and countries. Previous studies have shown that results on low-stakes tests, that do not have significant consequences for test-takers, are lower compared to results in high-stakes tests. Validity theory also suggests that different factors contributing to construct irrelevant variance, including motivation, should be considered when interpreting test results. As test-taking motivation (TTM) is mainly seen in the framework of expectation-value theory, it can be inferred that the motivation to complete a test can also manifest itself in a situation that is generally considered to be high-stakes. Therefore, it is important to assess TTM. Mainly self-report questionnaires have been used for this, but as answers to these may not always be sufficiently objective, alternative methods for assessing test-taking motivation have been proposed such as Response Time Effort (RTE, Wise and Kong, 2005). RTE gives an indication of the amount of effort used in the test based on test-taking times. In this doctoral dissertation, it was investigated how the effort to complete the test manifests itself in both low-stakes and high-stakes testing contexts. Test-taking effort was assessed with a self-report questionnaire and time-based measures of effort, including RTE. Test-taking effort was related to test performance in both low-stakes and high-stakes testing contexts, although test-taking effort explained a larger part of the variance in the low-stakes test. It was reasoned that self-reported effort and RTE describe different parts of the motivation spectrum, and that both can provide valuable information about test-taking motivation.https://www.ester.ee/record=b550899

Conscientiousness makes effort less frustrating

Effort is both rewarded by attainment and powerfully aversive – the “effort paradox”. Here, we test the idea that Conscientiousness (C) decouples effort from aversive affect, permitting effort to proceed to goal attainment rather than being derailed by frustration. Study 1 (N = 1202) induced a workload using cognitive ability items. A strong association of effort with frustration was found (β = 0.40). Moreover, more difficulty predicted significantly higher felt effort (β = 0.12) and, more strongly, frustration (β = 0.32). Study 2 (N = 501) tested effects of C. Importantly, C significantly reduced frustration, and a significant C × effort interaction on frustration emerged in the easier task (β = −0.15). Study 3 (N = 700) replicated the main effect of C in the difficult task. Study 4 (N = 400) replicated both the main effect and significant C × effort interaction for the easier task. Results support the idea that C decouples frustration from effort and is adaptive, permitting high-C subjects to engage in higher goal-directed effort with less negative affect, especially for reliably completed tasks. This mechanism may reduce procrastination and increase persistence, potentially accounting for higher attainment and avoidance of “easy” lures leading to pitfall-strewn life paths

Sambandet mellan läsförståelseresultat i PISA och nationella prov: En fråga om motivation i prov där konsekvenserna är små respektive stora

Denna studie undersöker om det finns belägg för hypotesen att vissa elever inte gör sitt bästa på prov som inte har några konsekvenser för dem. Ett sådant prov är PISA som 15-åringar runt om i världen genomför utan att få några svar på hur väl de har presterat. Trots att PISA-resultaten kan ha en betydande inverkan på utbildningsreformer både i Sverige och globalt, saknas kunskap om hur motivationen påverkar elevernas prestationer. Urvalet bestod av 15-åriga svenska elever som deltog i PISA-provet 2018. Eleverna rapporterade även sin ansträngning på provet. PISA-data kopplades samman med registerdata, vilket möjliggjorde analyser av sambandet mellan PISA-resultat och nationella provbetyg samt hur detta varierade beroende på elevers ansträngningsnivå. Huvudsaklig analysmetod var regressionsanalys. Resultaten visar att svenska elever i stor utsträckning ansträngde sig på PISA-provet, men att de skulle ha ansträngt sig ännu mer om betyget hade påverkats. Högt skattad ansträngning var positivt relaterad till bättre PISA-resultat, även efter kontroll av det nationella provbetyget i läsförståelse. Dessutom framkom att mer motiverade elever uppvisade ett starkare samband mellan sina PISA-resultat och nationella provbetyg. Resultaten tyder på att en mindre grupp elever underpresterade relativt sina nationella provresultat. Studien betonar vikten av att undersöka och förstå faktorer som påverkar sambandet mellan prov med små konsekvenser och prov med stora konsekvenser. English abstract The Relationship Between Reading Achievement in PISA and National Tests: A Question of Test Motivation in Low-Stakes Versus High-Stakes Assessments The following study examines whether there is evidence for the hypothesis that students do not do their best on low-stakes tests. One such test is PISA, which 15-year-olds around the world take without receiving any feedback about how they performed. Despite the significance of PISA results for educational reforms in Sweden and globally, there is limited knowledge about the impact of motivation on student performance. The sample comprised 15-year-old Swedish students who participated in the 2018 PISA assessment. The students also reported their effort on the PISA test. PISA data was linked with registry data, enabling analyses of the relationship between PISA results and national test grades, and how this varied depending on the students’ effort levels. Regression analysis was the main method of analysis. While most students exerted significant effort on the PISA assessment, they indicated a greater willingness to exert even more effort if the results had consequences for their grades. Higher effort was positively associated with better PISA performance, even after controlling for national test scores in reading comprehension. Additionally, it was found that more motivated students showed a stronger correlation between their PISA results and national test grades. The results suggest that a smaller group of students underperformed relative to their national test scores. These results emphasize the need to understand factors contributing to differential performance between low- and high-stakes tests

Variation in novice students’ critical thinking and argumentation : Transition to higher education is not a level playing field

The objective of my dissertation was to investigate variation in novice students’ critical thinking and argumentation in the crucial phase of transition to higher education. In addition, I aimed to explore predictors of this variation, and methodological challenges in the assessment of critical thinking and argumentation. My findings revealed that there is substantial variation in novice higher education students’ critical thinking and argumentation capabilities, and this originates in part in the students’ individual backgrounds. My findings also showed that concerns about validity in the assessment of critical thinking and argumentation must be taken into account when designing future research. My dissertation consists of three part-studies that use purposeful subsamples of a large, nationwide dataset (n=1,538) of novice students in 18 Finnish higher education institutions, including research-intensive universities and universities of applied sciences. The participants completed a computer-based performance assessment (CLA+) that was designed to test critical thinking, argumentation, and written communication in higher education, and included an open-ended performance task and a multiple-choice questionnaire. For the analyses, a mixed-methods approach was adopted, using both quantitative and qualitative analyses. Open-ended responses were analyzed using qualitative content analysis. For statistical analyses, structural equation modelling, confirmatory and exploratory factor analyses, and invariance analysis were used. In my part-studies, I found that there is large variation in the level and structure of the critical thinking and argumentation of novice students. Students are not merely weak or strong in these capabilities, but their skillsets are diverse, i.e., they have varying strengths and weaknesses within the capabilities. For higher education institutions, this means that the novice students are not a homogenous group, but a complex group with diverse needs. I also found that the variation in critical thinking and argumentation can be predicted to some degree by students’ background, but the predictive valued of the background variables varies. Students’ grades in native language and the scholarly culture of their childhood home were found to be important predictors, whereas their grades in mathematics and parents’ education were not. The findings of my dissertation provide some insights into the development of performance assessments of critical thinking and argumentation. The findings not only confirmed earlier research indicating inconsistency between open-ended performance tasks and multiple-choice tasks, but also that the inconsistencies exist between different multiple-choice tasks as well. Additionally, some ambiguity was found in how students had interpreted the task question. Overall, the findings provide important insights into developing both pedagogical and methodological practices. My dissertation invites higher education institutions to support students in their transition and to address the variation in novice students’ capabilities in planning their first-year curricula and allocating pedagogical resources. Additionally, future research needs to investigate the validity of the assessment instruments meticulously when targeting complex capabilities such as critical thinking and argumentation.Väitöskirjani tavoitteena oli tutkia aloittavien opiskelijoiden kriittisen ajattelun ja argumentaation taitojen vaihtelua siinä tärkeässä vaiheessa, kun he siirtyvät korkeakoulutukseen. Lisäksi tavoitteenani oli selvittää tuota vaihtelua ennustavia tekijöitä ja kriittisen ajattelun ja argumentaation arvioinnin metodologisia haasteita. Tulokseni osoittivat, että aloittavien opiskelijoiden kriittisessä ajattelussa ja argumentaatiossa on merkittävää vaihtelua, ja sen lähde on osittain opiskelijoiden yksilöllisissä taustoissa. Tulokseni osoittivat myös, että validiteettiin liittyvät kysymykset kriittisen ajattelun ja argumentaation arvioinnissa on otettava huomioon, kun aiheen tutkimusta jatkossa suunnitellaan. Väitöskirjani koostuu kolmesta osatutkimuksesta, joissa käytetään tarkoitukseen valittuja osaotoksia suuresta, kansallisesta aineistosta (n=1 538). Aineisto on kerätty 18 suomalaisesta yliopistosta ja ammattikorkeakoulusta. Opiskelijat osallistuivat tietokoneella tehtävään osaamisen arviointiin. Testi (CLA+) oli suunniteltu mittaamaan korkeakouluopiskelijoiden kriittistä ajattelua, argumentaatiota ja kirjallista viestintää, ja siihen sisältyi avoin osaamistehtävä ja monivalintatehtävä. Väitöskirjan analyyseissä hyödynnettiin monimenetelmäistä lähestymistapaa eli sekä määrällisiä että laadullisia menetelmiä käytettiin. Avomuotoisen tehtävän vastaukset analysoitiin käyttämällä laadullista sisällönanalyysiä. Tilastollisissa analyyseissä käytettiin rakenneyhtälömallinnusta, konfirmatorista ja eksploratiivista faktorianalyysiä sekä invarianssianalyysiä. Havaitsin osatutkimuksissani, että aloittavien opiskelijoiden kriittinen ajattelu vaihtelee suuresti sekä tasoltaan että rakenteeltaan. Opiskelijat eivät kyvyiltään ole vain heikkoja tai vahvoja, vaan heidän kykynsä ovat monimuotoisia eli heidän vahvuutensa ja heikkoutensa vaihtelevat. Korkeakouluille tämä tarkoittaa sitä, että aloittavat opiskelijat eivät ole yhtenäinen ryhmä, vaan monitahoinen ryhmä, jolla on monitahoisia tarpeita. Havaitsin myös, että kriittistä ajattelua ja argumentaatiota voi jossain määrin ennustaa opiskelijoiden taustalla, mutta taustatekijöiden ennustusvoima vaihtelee. Opiskelijoiden äidinkielen arvosana ja oppimisen kulttuuri lapsuudenkodissa olivat tärkeitä ennustajia, mutta matematiikan arvosana ja vanhempien koulutustausta eivät. Väitöskirjatutkimukseni tulokset tuovat uusia näkökulmia kriittisen ajattelun ja argumentaation osaamisperustaiseen arviointiin. Tulokset paitsi vahvistivat aiemmissa tutkimuksissa havaitun epäjohdonmukaisuuden avomuotoisten osaamistehtävien ja monivalintatehtävien välillä, mutta osoittivat myös sen, että monivalintatehtävien välillä voi olla epäjohdonmukaisuuksia. Lisäksi tulokset osoittivat, että osaamistehtävien ohjeissa voi olla monitulkintaisuutta. Kaiken kaikkiaan väitöskirjani tuo tärkeitä uusia avauksia sekä pedagogisten että tutkimusmenetelmällisten käytäntöjen kehittämiseen. Tulokset kannustavat korkeakouluja tukemaan siirtymää toiselta asteelta sekä huomioimaan aloittavien opiskelijoiden taidot ensimmäisen vuoden opintosuunnitelmatyössä ja pedagogisten resurssien osoittamisessa. Lisäksi tulevan tutkimuksen on otettava vakavasti tutkimusinstrumenttien validiteettiin liittyvät kysymykset etenkin, kun tutkimuksen kohteena ovat monimutkaiset taidot, kuten kriittinen ajattelu ja argumentaatio

The prize for hard work: effort, educational attainment and the transmission of social inequality

The meritocratic paradigm, predominant in our society, consists of the idea that success in life is determined by the combination of ability and effort. However, individuals only have agency over effort, a concept that has remained understudied in comparison to its importance for equality of opportunity. Bridging interdisciplinary literature from sociology, economics and psychology, this thesis seeks to expand the knowledge on the relevance of effort for educational processes and the transmission of social inequality. To expand the knowledge on effort, two measures of actual exerted effort are employed. The first reflects test effort, measured with the PISA test. The second is an experimental measure of cognitive effort stemming from real-effort tasks. These measures are used in different contexts (Australia, Spain and cross-country) to analyze the impact of effort on short and long-run educational outcomes. Furthermore, the thesis tests mechanisms based on sociological theories through which effort could contribute to the reproduction of social inequality. The results demonstrate that effort is indeed a crucial determinant of educational attainment. The magnitude of the impact is comparable to the effect of cognitive skills. Nevertheless, effort also contributes to the transmission of social advantage. The specific mechanisms and the implications for the conception of meritocracy and equality of opportunity are discussed.This thesis has received funding from the European Reserarch Council (ERC) under the European Union 's Horizon 2020 research and innovation programme (grant agreement No 758600).Programa de Doctorado en Ciencias Sociales/ Social Sciences por la Universidad Carlos III de Madrid Mención InternacionalPresidente: Fabrizio Bernardi.- Secretario: Juan Jesús Fernández González.- Vocal: Heike Solg