The effectiveness of technology-supported personalised learning in low- and middle-income countries: A meta-analysis

AbstractDigital technology offers the potential to address educational challenges in resource‐poor settings. This meta‐analysis examines the impact of students' use of technology that personalises and adapts to learning level in low‐ and middle‐income countries. Following a systematic search for research between 2007 and 2020, 16 randomised controlled trials were identified in five countries. Studies involved 53,029 learners aged 6–15 years. Coding examined learning domain (mathematics and literacy); personalisation level and delivery; technology use; and intervention duration and intensity. Overall, technology‐supported personalised learning was found to have a statistically significant—if moderate—positive effect size of 0.18 on learning (p = 0.001). Meta‐regression reveals how more personalised approaches which adapt or adjust to learners' level led to significantly greater impact (an effect size of 0.35) than those only linking to learners' interests or providing personalised feedback, support, and/or assessment. Avenues for future research include investigating cost implications, optimum programme length, and teachers' role in making personalised learning with technology effective. Practitioner notesWhat is already known about this topic? Promoting personalised learning is an established aim of educators. Using technology to support personalised learning in low‐ and middle‐income countries (LMICs) could play an important role in ensuring more inclusive and equitable access to education, particularly in the aftermath of COVID‐19. There is currently no rigorous overview of evidence on the effectiveness of using technology to enable personalised learning in LMICs. What this paper adds? The meta‐analysis is the first to evaluate the effectiveness of technology‐supported personalised learning in improving learning outcomes for school‐aged children in LMICs. Technology‐supported personalised learning has a statistically significant, positive effect on learning outcomes. Interventions are similarly effective for mathematics and literacy and whether or not teachers also have an active role in the personalisation. Personalised approaches that adapt or adjust to the learner led to significantly greater impact, although whether these warrant the additional investment likely necessary for implementation at scale needs to be investigated. Personalised technology implementation of moderate duration and intensity had similar positive effects to that of stronger duration and intensity, although further research is needed to confirm this. Implications for practice and/or policy: The inclusion of more adaptive personalisation features in technology‐assisted learning environments can lead to greater learning gains. Personalised technology approaches featuring moderate personalisation may also yield learning rewards. While it is not known whether personalised technology can be scaled in a cost‐effective and contextually appropriate way, there are indications that this is possible. The appropriateness of teachers integrating personalised approaches in their practice should be explored given ‘supplementary’ uses of personalised technology (ie, additional sessions involving technology outside of regular instruction) are common. </jats:sec

A critical review of the harm-minimisation tools available for electronic gambling

The increasing sophistication of gambling products afforded by electronic tech- nologies facilitates increased accessibility to gambling, as well as encouraging rapid and continuous play. This poses several challenges from a responsible gambling perspective, in terms of facilitating player self-awareness and self-control. The same technological advancements in gambling that may facilitate a loss of control may also be used to provide responsible gambling tools and solutions to reduce gambling-related harm. Indeed, several harm-minimisation strategies have been devised that aim to facilitate self-awareness and self- control within a gambling session. Such strategies include the use of breaks in play, 'pop-up' messaging, limit setting, and behavioural tracking. The present paper reviews the theoretical argument underpinning the application of specific harm-minimisation tools, as well as pro- viding one of the first critical reviews of the empirical research assessing their efficacy, in terms of influencing gambling cognitions and behaviour

Population relevance of neurotoxic effects in refined and alternative behavior tests with zebrafish (Danio rerio)

Water supplies are widely, but unobtrusively contaminated with numerous substances of largely unknown biological properties. A particularly worrisome group are neurotoxic substances, which may, in the long term, not only affect human health, but also wildlife. Neurotoxic effects have become an issue of emerging concern in ecotoxicology, since they may have multiple underlying mechanisms, are often hard to detect, but have the potential to give rise to a severe adverse outcome. As neurotoxicity is even more difficult to detect without extensive animal testing, it presents a major challenge to modern ecotoxicology which is striving to reduce and replace animal studies. My model species, the zebrafish (Danio rerio), is widely used in aquatic ecotoxicology but room for refinement remains especially where tests are carried out with adult individuals instead of potentially less perceptive early-life stages. Since zebrafish, like many other small fish, naturally form shoals and likely behave differently in isolation, I developed a shoal-based approach. In brief, early-life stage tests according to OECD TG 210 were augmented by two behavior tests that are typically carried out with single adult fish, but could be adapted to groups of juveniles with acceptable limitations: a novel tank test and a predator response assay. The selective serotonin reuptake inhibitor fluoxetine ((RS)-N-Methyl-3-phenyl-3-(4-trifluoromethylphenoxy) propylamine) served as model substance during a proof-of-concept study. In a follow-up study, I verified the suitability of this approach using a selection of other substances with different modes-of-action: carbamazepine (sodium channel inhibition), paraoxon-methyl (acetylcholine esterase inhibition), and tris(1,3-dichlorisopropyl) phosphate (TDCPP; endocrine disruption). Finally, in order to assess whether existing alternative methods correlate to immediately population relevant endpoints, I carried out several other experiments across the life-stages of zebrafish with the same model substances. Fluoxetine produced adverse effects down to concentrations three orders of magnitude below the EC10 from acute fish embryo toxicity tests (OECD TG 236). The known neurotoxicants carbamazepine and paraoxon-methyl caused significant effects on zebrafish behavior both upon release into a novel tank and after presentation of a predator dummy. TDCPP, which is thought to disrupt neural development at much earlier stages than those exposed in my experiments, only caused minor behavioral changes. Histopathology of the test fish confirmed the absence of acute organ damage at the concentrations used (always ≤ EC10 from fish embryo tests). The suitability of shoal-based behavioral changes in juvenile zebrafish as sensitive endpoints of neurotoxicity could thus be confirmed. The deviations in behavior compared to the control groups permit conclusions about the “anxiety state”, which arguably influences the fish’s survival chances in the wild. An early and more abstract behavior endpoint, larval motility (6 dpf), also proved to be very efficient and held up well in a comparison with adult and juvenile behavior tests. Finally, a reproduction assay with adult fish exposed to fluoxetine revealed decreased fecundity as another directly population relevant effect of this chemical. 2 Correlation with embryonic and further adult data from literature revealed the good predictive power of 24-h spontaneous coiling tests for later behavior defects, leading me to propose a set of embryonic tests (FET + coiling) for neurotoxicity range-finding and screening in the future. If the results from these “alternative methods” are negative or inconclusive, in vivo testing is indispensable to assess neurotoxicity; as such, larval motility and juvenile behavior assays might follow

Bridging the gap in internet treatments for mental health: A fully automated online cognitive behaviour therapy for social anxiety for those who stutter.

Introduction: CBTpsych.com is a fully functional intervention that aims at bridging the gap between Eliza (Weizenbaum, 1966) and modern internet treatments for anxiety disorders (Helgadottir, Menzies, Onslow, Packman & O‟Brien, 2009a). A Phase I trial demonstrated that two participants no longer met the diagnosis of social phobia on the DSM-IV and ICD-10 after being treated by CBTpsych.com. The quality of the interaction appeared to be similar to face-to-face therapy. The automated techniques were successful in engaging the participants and in encouraging them to log on regularly and complete the treatment (Helgadottir, Menzies, Onslow, Packman & O‟Brien, 2009b). The current study is a phase II trial targeting social anxiety in stuttering. Method: File audit data were gathered from 10 years of experience in the psychological management of social anxiety and stuttering (St Clare et al., 2008). This data was used to create a fully automated human-like intervention using algorithms alone. CBTpsych.com creates cognitive restructuring exercises, behavioural experiments, and negative thoughts checklists for the automated treatment program. Furthermore, other features such as imagery rescripting were incorporated to adhere to the Clark D. M. and Wells (1995) model of social anxiety treatment. 18 participants presenting for treatment of stuttering with social anxiety at the Australian Stuttering Research Centre (ASRC) were offered 5 months access to the “computer psychologist”. 16 participants started using the computer program. The treatment did not involve any contact with clinical psychologists at the ASRC. Results: Post-treatment analysis revealed that of the 16 participants who started using the program, 78% no longer met the criteria for social phobia. Furthermore, none of the 10 participants who completed all 7 sections of the computer program within 5 months had social phobia diagnosis at post-treatment. Consequently, in this study the “computer psychologist” was able to identify the specific problem areas participants reported and to design individualized formulations and tailored treatment components with corrective feedback. Furthermore, participants were able to engage in highly specific cognitive restructuring exercises, and with the help of the computer psychologist managed to build behavioural experiments to test out unhelpful cognitions. Data from this Phase II trial suggest that the computerised treatment protocol can lead to substantial reductions in anxiety and avoidance, and improve mood and quality of life as measured by the FNE, SPAI, BDI-II, UTBAS, SASS and OASES. Conclusions: The computer psychologist motivated people both to log on regularly (with use of an automated email process) and to complete the program. It engaged clients in detailed cognitive restructuring work, creating successful behavioural experiments for exposure, and producing promising preliminary results. However, these results need to be tested in a randomized controlled trial to establish efficacy. A RCT is currently under way. The preliminary findings presented here suggest that it would be viable to develop this type of treatment intervention for other anxiety disorders. Limitations of this approach and suggestions for future research are discussed

Augmented Reality

Augmented Reality (AR) is a natural development from virtual reality (VR), which was developed several decades earlier. AR complements VR in many ways. Due to the advantages of the user being able to see both the real and virtual objects simultaneously, AR is far more intuitive, but it's not completely detached from human factors and other restrictions. AR doesn't consume as much time and effort in the applications because it's not required to construct the entire virtual scene and the environment. In this book, several new and emerging application areas of AR are presented and divided into three sections. The first section contains applications in outdoor and mobile AR, such as construction, restoration, security and surveillance. The second section deals with AR in medical, biological, and human bodies. The third and final section contains a number of new and useful applications in daily living and learning

Lessons Learned and Next Steps in Energy Efficiency Measurement and Attribution: Energy Savings, Net to Gross, Non-Energy Benefits, and Persistence of Energy Efficiency Behavior

This white paper examines four topics addressing evaluation, measurement, and attribution of direct and indirect effects to energy efficiency and behavioral programs: Estimates of program savings (gross); Net savings derivation through free ridership / net to gross analyses; Indirect non-energy benefits / impacts (e.g., comfort, convenience, emissions, jobs); and, Persistence of savings

Good Research Practice in Non-Clinical Pharmacology and Biomedicine

This open access book, published under a CC BY 4.0 license in the Pubmed indexed book series Handbook of Experimental Pharmacology, provides up-to-date information on best practice to improve experimental design and quality of research in non-clinical pharmacology and biomedicine

Antidepressants

Major depression is a severe and prevalent brain disorder with a high disability burden, hence the push for effective treatments. Antidepressants have been around since the 1950s, and although current medications are much more effective than early ones, there is still much room for improvement. "Real" antidepressants, defined as those that "repair" or "improve" the depression-causing mechanism in the brains of depressed patients, have yet to be identified. This book presents current research on depression and antidepressants, including use of antidepressants in alcohol use disorders and pregnancy, treatment-resistant depression, and development of potential new medications

A review of the effectiveness of lower limb orthoses used in cerebral palsy

To produce this review, a systematic literature search was conducted for relevant articles published in the period between the date of the previous ISPO consensus conference report on cerebral palsy (1994) and April 2008. The search terms were 'cerebral and pals* (palsy, palsies), 'hemiplegia', 'diplegia', 'orthos*' (orthoses, orthosis) orthot* (orthotic, orthotics), brace or AFO

When do extrinsic rewards undermine intrinsic motivation? A meta-analysis

Intrinsic motivation—doing something because the activity is experienced as enjoyable, interesting, and fun—operates as an important energizer of human behaviors. Although researchers have studied intrinsic motivation and factors affecting it for decades, a debate persists on how extrinsic rewards affect intrinsic motivation. Originating from Deci’s (1971) seminal study showing the undermining of intrinsic motivation by contingent extrinsic rewards, researchers in the field of psychology and more recently in the field of organizational behavior have examined and debated whether extrinsic rewards undermine existing intrinsic motivation and, if so, under what conditions. Although the debate is old, researchers have failed to reach a consensus on this issue. In the field of psychology, the lack of consensus is partly driven by partially contradictory findings of past meta-analyses. While some previous meta-analytical studies have provided strong support for the undermining of intrinsic motivation by extrinsic rewards in experimental settings (e.g., Deci et al., 1999a), others have reached substantially different conclusions (e.g., Cameron et al., 2001). In contrast, in the field of organizational behavior, a lack of quantitative synthesis on extrinsic rewards–intrinsic work motivation literature has impaired the understanding of the undermining effect in organizational settings and led some scholars to dismiss possible drawbacks of using rewards to motivate employees. Hence, the effect of rewards on intrinsic motivation remains highly debated. Drawing on cognitive evaluation theory (Deci & Ryan, 1985) and Deci, Koestner, and Ryan’s (1999a) meta-analytical review, this doctoral thesis tries to bring some reconciliation to this debate. This goal will be achieved by meta-analytically synthesizing research evidence from two settings—experimental laboratory studies and organizational settings—on the effects of extrinsic rewards on intrinsic motivation. Specifically, the aim is to examine the suggested deleterious effects of contingently given rewards, which have been at the heart of the debate. This study focuses on answering the following questions: 1. Under what reward contingencies and populations will extrinsic rewards have a negative effect, no effect, or positive effect on intrinsic motivation in controlled laboratory experiments? What is the magnitude of the effect? 2. What is the association between extrinsic rewards and intrinsic motivation in organizational settings? How strong is this association? A systematic search of published studies from seven electronic databases was carried out to answer these questions. Altogether, 158 peer-reviewed journal articles met the inclusion criteria. Three primary meta-analyses using a random-effects model and a hierarchical analysis framework were followed through. Following Deci et al.’s (1999a) steps, the analysis proceeded from a higher level of analysis examining the effect of all rewards on intrinsic motivation to more specified levels of analysis using reward type and reward contingency as moderators. Two meta-analyses focused on examining the causal impact of extrinsic rewards on intrinsic motivation by synthesizing the evidence from 142 randomized controlled laboratory experiments (125 published articles). Separate meta-analyses were performed for the two measures of intrinsic motivation: free-choice intrinsic motivation (i.e., free-choice behavior) and self-reported interest/enjoyment. The third primary meta-analysis synthesized the evidence from observational studies conducted in work settings. The goal was to examine the relationship between extrinsic reward and self-reported intrinsic work motivation. Altogether, 42 independent samples from 35 published articles were used in the analyses. For the meta-analysis of experimental studies using the free-choice behavioral measure of intrinsic motivation, the findings suggest that extrinsic rewards negatively affect intrinsic motivation after the rewards are no longer offered. The undermining of free-choice intrinsic motivation by extrinsic rewards was evident for all rewards (d = –0.28), tangible rewards (d = –0.39), and expected rewards (d = –0.41). More specifically, extrinsic rewards undermine free-choice intrinsic motivation when rewards are contingent on task engagement (d = –0.42), task completion (d = –0.48), or task performance (d = –0.24). Results show nonsignificant effects for free-choice intrinsic motivation when rewards are given unexpectedly (d = –0.04), not tied to doing a specific task (d = 0.10), or given as negative verbal feedback (d = –0.52). The only clear enhancement effect is evident for positive feedback (d = 0.33), albeit age moderates this effect. For the meta-analysis on self-reported interest/enjoyment, the results generally do not provide compelling support for the enhancement effect or the undermining effect of extrinsic rewards on intrinsic motivation. Overall, the results show weaker mean effects, albeit the general pattern of effects is similar to the analysis of free-choice intrinsic motivation. The only statistically significant positive outcomes are evident for positive feedback (d = 0.26) and performance-contingent rewards (d = 0.11), while engagement-contingent rewards represent the only reward contingency to undermine self-reported interest and enjoyment (d = –0.16). Notably, age moderates this negative effect. For the meta-analysis of observational studies, no significant overall level association was found for the relationship between extrinsic rewards and intrinsic work motivation. More specific analyses showed that self-reported positive feedback and base salary (i.e., task-noncontingent rewards) were positively associated with self-reported intrinsic work motivation (r = 0.19 and r = 0.19, respectively). The relationship between intrinsic work motivation and performance-based rewards (PBRs) was nonsignificant (r = 0.05) and extremely heterogeneous. A supplementary analysis revealed a weak negative mean correlation for the PBRs–intrinsic work motivation relationship when PBRs were perceived as more controlling than informational (r = –0.10). Overall, this doctoral dissertation’s findings support the conclusion that contingent extrinsic rewards can and do undermine intrinsic motivation. The negative effects are most readily observable when given rewards are contingent on doing something, and intrinsic motivation is assessed behaviorally after rewards are no longer offered. However, it is important to note that reward effects are partially dependent on how intrinsic motivation is measured (behavioral vs. self-report), the type of reward contingency and reward, and the context in which the extrinsic rewards–intrinsic motivation relationship is examined (laboratory vs. organizational). All three meta-analyses suggest that positive feedback can enhance intrinsic motivation and that task-noncontingent rewards are not harmful to intrinsic motivation. All in all, the results clearly support the postulates of cognitive evaluation theory. As well as the meta-analytical contribution of this doctoral thesis, this thesis contributes to the research on intrinsic motivation by identifying significant future research avenues and potential methodological issues within both fields of research. Likewise, this study identified major theoretical differences between experimental and organizational studies that help explain why rewards’ effects are stronger in experimental settings. These include the measurement of intrinsic motivation at different levels of generality (task-/situation specific vs. domain), the timing of intrinsic motivation assessment, the assessment of the effects of reward attainment versus reward expectancy, and the time lag between doing the task and receiving the promised reward. This thesis helps one understand and potentially explain why these two research fields may produce partially mixed findings by underscoring major theoretical differences between controlled laboratory experiments and studies conducted in organizational settings. Overall, this thesis contributes by helping one understand under what circumstances and populations extrinsic rewards will most likely yield negative or positive effects on intrinsic motivation. Moreover, this study highlights the inherent complexities associated with studying the effects of rewards on intrinsic motivation that should be taken into account.Milloin ulkoiset palkkiot heikentävät sisäistä motivaatiota? Meta-analyyttinen tutkimus aiheesta Sisäinen motivaatio – eli jonkin asian tekeminen, koska sen tekeminen itsessään on kiinnostavaa, nautinnollista ja hauskaa – toimii toimintamme tärkeänä energisoijana. Vaikka sisäistä motivaatiota ja siihen vaikuttavia tekijöitä on tutkittu jo useamman vuosikymmenen ajan, tutkimuskentällä vallitsee kiistaa siitä, miten ulkoiset palkkiot vaikuttavat yksilön sisäiseen motivaatioon. Alkujaan psykologian ja sittemmin myös organisaatiokäyttäytymisen tutkimuskentällä on käyty debattia siitä, heikentävätkö ulkoiset palkkiot yksilön sisäistä motivaatiota, ja jos heikentävät, niin missä tilanteissa. Tämä kiista juontaa juurensa Edward Decin (1971) tutkimukseen, joka osoitti ulkoisten palkkioiden voivan heikentää yksilön sisäistä motivaatiota. Vaikka edellä mainittu kiista on jo vanha, jatkuu se edelleen, koska tutkijat eivät ole saavuttaneet konsensusta asiasta. Konsensuksen puutteen voi nähdä kumpuavan osittain aikaisemmin tehtyjen meta-analyysien paikoitellen ristiriitaisista tuloksista. Vaikka jotkin aikaisemmat kokeellisiin laboratoriotutkimuksiin pohjaavat meta-analyyttiset tutkimukset ovat antaneet vahvaa tukea ulkoisten palkkioiden sisäistä motivaatiota heikentävästä vaikutuksesta (esim. Deci ym., 1999a), toiset meta-analyyttiset tutkimukset ovat päätyneet hyvin erilaisiin lopputuloksiin (esim. Cameron ym., 2001). Sitä vastoin aihetta käsittelevän meta-analyyttisen tutkimuksen puute organisaatiokäyttäytymisen tutkimuskentällä on heikentänyt ymmärrystämme sisäisen motivaation mahdollisesta heikentymisestä työkontekstissa. Osittain tämän takia osa alan tutkijoista ei ole antanut painoarvoa mahdollisille haittapuolille, jotka aiheutuvat työntekijöiden motivoinnista ulkoisin palkkioin. Edellä mainituitten tekijöjen takia selvyys siitä, miten ulkoiset palkkiot vaikuttavat yksilön sisäiseen motivaation on edelleen kiistelyn kohteena. Pohjautuen kognitiivisen arvioinnin teoriaan (Deci & Ryan, 1985) sekä Decin, Koestnerin ja Ryanin (1999a) meta-analyyttiseen tutkimukseen, tämän väitöskirjan tarkoituksena on tuoda selvyyttä tähän kiistaan. Tähän tavoitteeseen pyritään analysoimalla meta-analyyttisesti ulkoisten palkkioiden vaikutusta yksilön sisäiseen motivaation niin kokeellisten laboratoriotutkimusten kuin organisaatiokonteksteissa toteutettujen ei-kokeellisten tutkimusten konteksteissa. Tämän väitöskirjan tarkoituksena on tutkia erityisesti kiistan keskiössä olevaa ehdotusta siitä, että ehdollisesti annetut palkkiot heikentävät sisäistä motivaatiota. Tämä väitöskirjan keskeiset tutkimuskysymykset ovat seuraavat: 1. Missä palkkio-olosuhteissa ja populaatioissa ulkoisilla palkkioilla on negatiivinen vaikutus, ei vaikutusta tai positiivinen vaikutus sisäiseen motivaatioon kontrolloiduissa laboratoriotutkimuksissa, ja mikä on tämän vaikutuksen voimakkuus? 2. Mikä on ulkoisten palkkioiden ja sisäisen työmotivaation välinen yhteys työkontekstissa ja kuinka voimakas tämä yhteys on? Näihin kysymyksiin vastaamiseksi julkaistuja tutkimuksia etsittiin systemaattisella haulla seitsemästä eri tietokannasta. Yhteensä 158 vertaisarvioitua tieteellistä artikkelia täytti tutkimuksille asetetut sisällyttämiskriteerit. Tähän aineistoon pohjautuen toteutettiin kolme pääasiallista meta-analyysiä hyödyntäen satunnaisvaikutusten mallia. Analyysin toteutuksessa seurattiin Decin ym. (1999a) käyttämää hierarkkista analyysitapaa. Palkkioiden vaikutusten analysointi aloitettiin selvittämällä kaikkien palkkioiden kokonaisvaikutusta sisäiseen motivaatioon. Tämän jälkeen analyysissä siirryttiin analysoimaan spesifisempiä vaikutuksia. Palkkion tyyppiä sekä palkkio-olosuhdetta hyödynnettiin moderaattorimuuttujina. Kaksi suoritettua meta-analyysiä tutki palkkioiden kausaalista vaikutusta yksilön sisäiseen motivaatioon. Aineistona näissä kahdessa analyysissä toimi 142 satunnaistettua kontrolloitua laboratoriotutkimusta, jotka oli poimittu 125:stä julkaistusta tieteellisestä artikkelista. Tutkimuksen selitettävinä muuttujina toimivat yksilön sisäisesti motivoitunut käyttäytyminen vapaan valinnan tilanteessa sekä itsearvioitu tehtävän kiinnostavuus. Kolmas meta-analyysi pohjasi puolestaan työkontekstissa tehtyihin havaintotutkimuksiin. Tavoitteena oli tutkia ulkoisten palkkioiden ja itsearvioidun sisäisen työmotivaation välistä yhteyttä. Analyysiin sisällytettiin yhteensä 42 riippumatonta otosta 35:stä julkaistusta tieteellisestä artikkelista. Tutkimuksen tulokset indikoivat ulkoisilla palkkioilla olevan kokonaisvaltainen negatiivinen vaikutus yksilön sisäisesti motivoituneeseen käyttäytymiseen kokeellisissa tutkimuksissa, kun palkkioita ei ole enää tarjolla. Sisäisesti motivoituneen käyttäytymisen heikentyminen on nähtävillä kaikkien palkkioiden (d = –0.28), konkreettisten palkkioiden (d = –0.39) kuin odotettujen palkkioiden kohdalla (d = –0.41). Ulkoiset palkkiot heikentävät sisäisesti motivoitunutta käyttäytymistä erityisesti silloin, kun palkkioiden saaminen on riippuvaista tehtävän tekemisestä (d = –0.42), tehtävän valmistumisesta (d = –0.48) tai hyvästä suoriutumisesta tehtävässä (d = –0.24). Tulokset osoittivat puolestaan, että annetuilla palkkioilla ei ole tilastollisesti merkitsevää vaikutusta yksilön sisäisesti motivoituneeseen käyttäytymiseen, kun palkkio annetaan odottamattomasti (d = –0.04), palkkion saaminen ei ole riippuvaista tehtävän tekemisestä (d = 0.10) tai se annetaan negatiivisen verbaalisen palauteen muodossa (d = –0.52). Ainoastaan positiivisen palautteen tapauksessa ulkoinen palkkio vahvistaa sisäisesti motivoitunutta käyttäytymistä (d = 0.33), joskin vaikutuksen voimakkuus on riippuvaista iästä. Itsearvioidun tehtävän kiinnostavuuden osalta meta-analyyttiset tulokset eivät anna tukea palkkioiden sisäistä motivaatiota vahvistavalle tai heikentävälle vaikutukselle. Kokonaisuudessaan ulkoisten palkkioiden vaikutukset itsearvioituun kiinnostukseen ovat vähäisempiä kuin sisäisesti motivoituneen käyttäytymisen kohdalla, joskin vaikutusten yleinen kaava on samansuuntainen. Ainoat tilastollisesti merkitsevät positiiviset vaikutukset ovat nähtävillä positiiviselle palautteelle (d = 0.26) sekä suoriutumisesta riippuville palkkioille (d = 0.11). Tehtävän tekemisestä riippuvat palkkiot muodostavat puolestaan ainoan palkkiotyypin, jolla on itsearvioitua sisäistä motivaatiota heikentävä vaikutus (d = –0.16). On kuitenkin huomioitava, että vaikutus on riippuvaista iästä. Havaintotutkimuksiin pohjautuva meta-analyysi indikoi, ettei ulkoisten palkkioiden ja sisäisen työmotivaation välillä ole yleistason yhteyttä. Tarkemmat analyysit osoittavat kuitenkin sen, että itsearvioidun positiivisen palautteen ja sisäisen työmotivaation (r = 0.19) sekä pohjapalkan määrän ja sisäisen työmotivaation (r = 0.19) välillä on tilastollisesti merkitsevät positiiviset yhteydet. Sen sijaan meta-analyysin tulokset indikoivat, ettei suoriutumiseen sidottujen palkkioiden ja sisäisen työmotivaation välillä ole tilastollisesti merkitsevää yhteyttä (r = 0.05). Lisäksi tulokset indikoivat, että näiden kahden muuttujan välinen yhteys on erittäin heterogeeninen. Suoritettu lisäanalyysi osoittaa, että suoriutumiseen sidottujen palkkioiden ja sisäisen työmotivaation välillä on tilastollisesti merkitsevä negatiivinen yhteys (r = –0.10), kun edellä mainituilla palkkioilla koetaan olevan voimakkaampi toimintaa kontrolloiva kuin informatiivinen (palautetta viestivä) psykologinen merkitys. Kokonaisuudessaan tämän väitöskirjan tulokset antavat tukea johtopäätökselle, että ehdollisesti annetut palkkiot voivat heikentää yksilön sisäistä motivaatiota. Tämä negatiivinen vaikutus on nähtävillä selkeimmin palkkioiden ollessa tavalla tai toisella riippuvaisia tehtävän tekemisestä, ja kun sisäisen motivaation arviointi pohjautuu käyttäytymisen havainnointiin tilanteessa, jolloin palkkioita ei ole enää saatavilla. On kuitenkin tarpeellista huomioida, että palkkioiden vaikutukset ovat osittain riippuvaisia siitä, miten sisäinen motivaation on operationalisoitu (käyttäytyminen vs. itsearvio), annettavan palkkion tyypistä ja sen saamisen ehdollisuudesta sekä kontekstista, jossa ulkoisten palkkioiden ja sisäisen motivaation välistä vuorovaikutusta tutkitaan (laboratorio vs. organisatorinen). Mielenkiintoisesti kaikki kolme suoritettua meta-analyysiä indikoivat positiivisen palautteen vahvistavan sisäistä motivaatiota, ja että tehtävästä riippumattomat palkkiot eivät heikennä sisäistä motivaatiota. Kokonaisuudessaan tulosten voidaan nähdä antavan tukea kognitiivisen arvioinnin teorialle. Näiden lisäksi tämä väitöskirja kontribuoi motivaation tutkimuskenttään tunnistamalla metodologisia heikkouksia ja jatkotutkimusmahdollisuuksia niin kokeellisen psykologian kuin organisaatiokäyttäytymisen tutkimuskentillä. Lisäksi tässä väitöskirjassa tunnistettiin merkittäviä teoreettisia eroja kontrolloitujen laboratoriotutkimusten ja organisaatiokontekstissa suoritettavien havaintotutkimusten välillä, jotka auttavat ymmärtämään sitä, miksi palkkioiden vaikutukset sisäiseen motivaatioon ovat voimakkaampia tutkittaessa ilmiötä kontrolloidulla koeasetelmalla. Tunnistetut erot liittyvät sisäisen motivaation mittaamiseen toiminnan yleisyyden eri tasoilla (tehtävä/tilannekohtainen motivaatio vs. kontekstisidonnainen motivaatio), sisäisen motivaation arvioinnin ajankohtaan, palkkioon todelliseen saamiseen sekä aikaviiveeseen tehtävän tekemisen ja siitä saatavan palkkion välillä. Erojen huomioiminen ja ymmärtäminen näiden kahden tutkimuskentän välillä auttaa ymmärtämään, miksi nämä kaksi tutkimustapaa saattavat tuottaa osittain erilaisia tuloksia. Kokoisuudessaan tämän väitöskirjan kontribuutio liittyy ymmärryksen luomiseen siitä, missä olosuhteissa sekä ryhmissä ulkoisilla palkkioilla on todennäköisesti negatiivisia tai positiivisia seurauksia yksilön sisäiseen motivaatioon. Lisäksi tämä tutkimus ilmentää ulkoisten palkkioiden ja sisäisen motivaation keskinäisen vaikutussuhteen tutkimiseen liittyvää monimutkaisuutta, joka tulisi ottaa huomioon tulevissa tutkimuksissa