Svenska lärares syn på avvikelser mellan resultat på nationella prov och ämnesbetyg

Since 2018, Swedish teachers are expected to pay particular attention to pupils’ results on national tests when grading. There are, however, still large discrepancies between national test results and teachers’ grades, which differ between schools and subjects. The purpose of this study is to investigate possible reasons behind these differences, from a teacher perspective. The study is based on semi-structured interviews with teachers who teach grade 9, either in physics (n=9) or English (n=12). The interviews have been transcribed and analyzed with thematic content analysis. The most important reason for differences is that the test results are considered misleading by the teachers. Although most reasons for considering the test results as misleading relate to test design, some of the reasons relate to the pupils. The only reason for differences that does not relate to test results being considered misleading, is that some pupils receive instruction at the end of the semester based on their shortcomings identified in the test. Furthermore, since the teachers tend to compare test results and own grades in a 1:1 ratio, they may discard the entire test if it is considered misleading. The fact that test results are presented as a single score or grade, therefore, seems to contribute to teachers not paying particular attention to test results when grading

The Economic Value of Social and Emotional Learning

There is a growing body of research emphasizing the advantages of teaching students social and emotional (SE) skills in school. Here we examine the economic value of these skills within a benefit-cost analysis (BCA) framework. Our examination has three parts. First, we describe how the current method of BCA must be expanded to adequately evaluate SE skills, and we identify important decisions analysts must make. Second, we review the evidence on the benefits of SE skills, again noting key methodological issues with respect to shadow pricing. Finally, we perform BCA of four selected social and emotional learning (SEL) interventions: 4Rs; Second Step, Life Skills Training; and Responsive Classroom. These analyses illustrate both methodological and empirical challenges in estimating net present values for these interventions. Even with these challenges, we find that the benefits of these interventions substantially outweigh the costs. We highlight promising areas of research for improving the application of BCA to SEL

A Benefit-Cost Analysis of a Long-Term Intervention on Social and Emotional Learning in Compulsory School

There is growing evidence that social and emotional skills can be taught to students in school and teaching these skills can have a positive effect on later outcomes, such as better mental health and less drug use. This paper presents a benefit-cost analysis of a longitudinal social and emotional learning intervention in Sweden, using data for 663 students participating in the evaluation. Intervention costs are compared against treatment impact on self-reported drug use. Pre-test and post-test data are available. Since follow-up data for the participants´ drug use as adults is not available, informed projections have been made. Net present monetary values are calculated for the general public and society. The results show that students in the treatment group report decreasing use of drugs over the five year long intervention, the value of which easily outweighs the intervention costs

Taking test results “into consideration” when grading

In Sweden, where this study is situated, grades are high stakes for students. Grades are the only criteria used for selecting students as they leave compulsory school and apply for upper-secondary school. When students apply for higher education, selection is also made based on the “Swedish Scholastic Aptitude Test”, but a minimum of one third of the seats (often more) are based on grades. Given that it is the individual teacher who synthesizes students’ performances into a grade, and that the reliability of teachers’ grades has been questioned (e.g., Swedish National Agency of Education (SNAE), 2019), this is a problematic situation which can potentially have a significant influence on the lives of thousands of students each year. Measures have been taken to increase the agreement in teachers’ grading, most recently by legally requiring that teachers in primary and secondary education take results from national tests “into consideration” when grading. This relatively loose strategy of taking test results “into consideration” has not yet yielded any observable change in teachers’ grades, however, and there is still a large discrepancy between teacher-assigned grades and test results for most subjects (SNAE, 2019)1. For example, the proportion of students whose grades correspond to their test results varies between 61-73 percent in the various subjects. Furthermore, it is more common that the teacher-assigned grades are higher than the test results, as compared to the other way around (with the exception of English as a foreign language, EFL). There are also gender differences, where girls to a slightly higher degree than boys receive grades that are higher in comparison with their test results. There are also large variations between schools. The question in focus here is how this difference between teacher-assigned grades and test results originate and why it persists, which is investigated from a teacher perspective

Scaffolding or simplifying : students’ perception of support in Swedish compulsory school

National goals and performance standards were introduced in Sweden during the 1990sas part of a curriculum reform. The intention was to detect shortcomings among studentsand provide support to those students who did not reach the passing grade in one (orseveral) subject/s. Despite this reform, approximately one-fourth of the students do notattain a passing grade in all subjects. This study therefore investigates the supportprovided to low-achieving students in Swedish compulsory school. A questionnairefocusing on support in science studies was distributed to students in grade 9 (N =1731), and data was analyzed with confirmatory factor analysis and structural equationmodeling. Findings show that low-achieving students perceive that they primarily receive“simplifying support,” which involves the lowering of expectations and limiting ofstudents’ opportunities to learn. “Scaffolding support,” which involves changes to practicesand holding the same standards for all students, seems to be mainly provided toboys, regardless of achievement level

Betygens geografi : forskning om betyg och summativa bedömningar i Sverige och internationellt. Delrapport från skolforsk-projektet

Den här forskningsöversikten om betyg bygger på en läsning av över 6000 abstracts ca 500 artiklar och ett 40 tal avhandlingar. De artiklar vi gått igenom är vetenskapligt granskade och publicerade i vetenskapliga tidskrifter. Våra sökningar och urval har varit systematiska. Rapporten är uppbyggd kring fyra olika resultatkapitel kopplande till projektets fyra övergripande frågeställningar. I kapitel 1 studeras hur betyg ur ett elevperspektiv påverkar självbild, motivation och lärande. I kapitel 2 har vi sammanställt forskning om betyg ur ett lärarperspektiv, hur och vad lärare betygsätter och hur betyg påverkar undervisning. Kapitel 3 handlar om betyg som styrinstrument på olika nivåer i utbildningssystemet, framför allt nationell nivå. I kapitel 4 har vi beskrivit betyg ut olika komparativa perspektiv och studerat den forskning som finns där jämförelser sker mellan olika betygssystem och betyg och bedömning i ett internationellt perspektiv. Vi gör också en egen jämförelse av hur betygssystemen ser ut i Europa. Den första delstudien har undersökt forskning om hur summativa bedömningar påverkar elevernas lärande, motivation för lärande och prestationer och vilka resultat den genererat. I delstudien ser vi att resultaten från de granskade artiklarna till viss del är samstämmiga. Vuxna högpresterande studenter verkar påverkas positivt i sitt lärande och prestationer av feedback som innehåller mycket information som kommer i direkt anslutning till uppgiften. Informationen bör också vara positiv. Samtidigt framkommer det att vuxna studenter inte påverkas negativt om feedback kommer i form av betyg. Detta förklaras av att vuxna studenter på universitetsnivå ”kan” systemet och har lång erfarenhet av summativa bedömningar och har utvecklat strategier för att hantera detta system samt att de är högpresterande. Däremot verkar det vara annorlunda för yngre elever och när representativa urval undersöks. En slutsats som kan dras av resultaten från de inkluderade studierna är att betyg generellt differentierar och påverkar äldre och yngre elever och låg- och högpresterande elever på olika sätt. Lågpresterande och yngre elever verkar påverkas mer negativt av betygsättning jämfört med äldre och högpresterande elever. Ålder och erfarenheter av bedömning tycks spela en stor roll för hur elevers lärande, motivation för lärande och prestationer påverkas av betygsättning. Den andra delstudien handlar om hur och vad lärare betygsätter och hur betyg påverkar undervisning. Vi har studerat internationell respektive svensk forskning för att beskriva skillnader dem. Gemensamt är att validitetsfrågan är central men häri ligger också skillnaden. I svensk forskning är det relationen mellan lärarens betygsättning och styrdokumenten som dominerar perspektivet. Utanför Sverige är det framförallt frågan om vad läraren bedömer som dominerar, t.ex. elevens kunskaper eller personliga egenskaper. Att lärares dagliga verksamhet påverkas av betygens inflytande är mer framträdande i den svenska forskning vi funnit. Här är det framförallt godkäntgränsen som problematiseras men även hur betyg tar tid från lärarens pedagogiska arbete. Betygens inverkan på lärarens undervisning är däremot inte centralt i forskningen utanför Sverige. Där dominerar istället kritiken mot ett ökat inflytande av high-stakes tester och hur lärare upplever dessa som meningslösa i sin undervisning. Standardisering av betygsättningen och high-stakes tester ses som ett problem som kan riskera lärares möjlighet att verka som professionella bedömare. Över huvud taget framkommer i de studier som tar upp betygens dilemman en spänning mellan styrning och kontroll och pedagogiska aspekter av lärarens bedömning. I den tredje och fjärde delstudien har vi gått mer explorativt tillväga, då det inte funnits internationell forskning som primärt fokuserat betyg ur styrperspektiv. I delstudie tre fann vi tre centrala teman om betyg ur styrperspektiv: 1) Betyg ur rättvise- och jämlikhetsperspektiv, 2) Betyg som kunskaps- och urvalsmått, 3) Betyg som high-stakes i bedömnings- och utvärderingssystem. Det tredje temat gjordes till en inramning för de andra två. Den forskning som berörde första temat poängterade bland annat att betygssystem måste sättas in i ett större perspektiv av ett rättvist bedömnings- och utvärderingssystem, med instrument för att följa upp rättviseaspekter i relation till olika elevgrupper m.m. Studierna poängterade vikten av transparens i systemen, så att grunder för bedömning och utvärdering liksom existerande orättvisor blir synliga för systemets aktörer. Kunskapsfrågan lyftes också fram som central, det är lätt att anta att det som står i läroplanen – den kunskap som bedöms – är neutralt, men kunskapen har alltid konsekvenser och olika konsekvenser för olika grupper av elever. När det gällde tema två var ett tydligt resultat att betygens roll i många utbildningssystem reducerats de senaste decennierna. Samtidigt visar genomgången av betyg ur ett systemperspektiv att betyg är bättre som urvalsinstrument för högre utbildning jämfört högskoleprov och andra liknande tester. I synnerhet kursbetyg på gymnasienivå som ges med stor bredd och i hög frekvens har en god predikativ förmåga. Detta visar att betyg kan fylla viktiga funktioner i ett utbildningssystem och det på ett bättre sätt än andra instrument, och att den utveckling som man sett internationellt mot allt mer centralt administrerade examens- och antagningsprov inte bör anammas okritiskt. Den fjärde delstudien fokuserar betygen ur olika komparativa perspektiv. Det vi fokuserat på är vad betyg jämför samt hur olika betygssystem jämförs med varandra på nationell och internationell nivå. När vi söker på bedömning och internationella jämförelser ser vi att betyg inte får en särskilt framträdande plats i artiklarna. I huvudsak är det tre områden forskarna fokuserar vid dessa jämförelser: system för accountability; kulturella förklaringar till varför bedömnings- och betygssystem ser olika ut i olika länder; variationer mellan olika lärares bedömningar i olika ämnen eller av olika elevgrupper. Några viktiga iakttagelser i vår genomgång är att det länge funnits en internationell trend mot att upprätta olika system för ökad ansvarsskyldighet (accountability) för skolans resultat. Dessa resultat mäts främst i elevprestationer på test eller i betyg. Såväl kritiska forskare som OECD har dock på senare tid noterat, att förhoppningarna om att jämförelser av skolors resultat ska leda till resultatförbättringar har varit överdrivna. De system olika länder har för bedömning och accountability förklarar i princip ingenting av variationen i PISA resultat. Det är snarare vad lärarna gör i klassrummet som har betydelse och lärare ha svårt att dra slutsatser om vad de bör göra utifrån de resultat som tillgängliggörs via accountability-modeller. Modellerna har sällan rätt informationsnivå för didaktiska slutsatser. I kapitel 4 gör vi också en egen jämförelse av betygssystem i Europa i barn- och ungdomsskolan. Det första vi kan konstatera är att informationsläget är väldigt komplicerat. Det finns inte standardiserade data på detta varför alla jämförelser behöver bygga på komplicerat klassificeringsförfarande, där det ibland uppstår tolkningsproblem. Detta är inte bara ett problem för oss utan det finns i alla de jämförelser och hänvisningar till hur det ser ut i andra länder som också görs i den offentliga debatten om betyg. Enkla listor över när betyg ges i ålder eller i hur många skalsteg som används är ganska meningslös information utanför sitt kulturella och strukturella sammanhang. Baserat på vad vi har fått fram i den här översikten har vi några rekommendationer. Det finns tydliga resultat som åtminstone bör mana till försiktighet om att vidare sänka åldern för betyg. Frågan är också på vilket sätt utblickar mot andra länders betygsstart kan hjälpa oss att ta kloka beslut om när vi ska börja med betyg, där vi efterlyser att man på policy nivå i så fall går mer på djupet och identifierar principer för bedömning som mer har med klassrummet att göra. Flera länder ger exempelvis lärare och skolor stor autonomi över hur bedömningarna i tidiga åldrar ska tillämpas, vilket kan tänkas ha positiva konsekvenser för lärares professionalitet i frågan. Det är också viktigt att det svenska nuvarande betygssystemet bättre utvärderas på ett nyanserat sätt i förhållande till olika lärare, ämnen och elevgrupper. Betyg fungerar inte lika för alla. Det är också viktigt att fundera över hur vi utvärderar elevers resultat och om det finns möjlighet att kombinera fler modeller med varandra, så att vi bättre kan få data av ”value added”-karaktär samt för att följa kunskapsutvecklingen över tid. Studien visar också på flera olika plan vilka svårigheter det finns med översättning av forskningsresultat och information om utbildningssystem mellan olika länder och kontexter. Vår studie pekar på att lärarnas autonomi över bedömningssystemen, oavsett hur de ser ut, är det som kanske har störst betydelse. Att lärarna har verktyg som de kan använda i bedömning av elevernas kunskaper och i kommunikationen kring dessa kunskaper som lärarna själva upplever är meningsfulla och som gagnar den pedagogiska processen. Därför är det också av stor vikt att lärare ges möjlighet till fortbildning kring betyg och bedömning och att det kanske blir ett ännu mer markerat inslag i lärarutbildningen.This systematic research review about grades and summative assessments are based on a reading of over 6000 abstracts, 500 articles and about 40 theses. The articles we have read are peer reviewed and published in scientific journals. Our searches and selections have been systematic. The report is structured around four different chapters linking to the project's four overarching issues. In Chapter 1 we study how grades/marks from a student perspective affects self-image, motivation and learning. In Chapter 2, we have compiled research on grading/marking from a teacher's perspective, how and what teachers think of this and how grading affect teaching. Chapter 3 deals with grades and summative assessment as control instruments at different levels of the education system. In Chapter 4 we describe grading from various comparative perspectives. We also do our own comparison of how the different grading and assessment systems look like in Europe. In the first Chapter, we see that the results of the studies reviewed are partially coherent. Adults and high-performing students seem positively influenced in their learning and accomplishments from feedback that contains much information that comes directly adjacent to the task and if the information is positive. At the same time, it appears that adult students are not adversely affected if the feedback comes in the form of grades. This is explained by the fact that adult students at the university level and upper secondary education have extensive experience of summative assessments and have developed strategies to cope with this system. However, it seems to be different for younger students and when representative samples are examined. One conclusion that can be drawn from the results of the included studies is that grading generally influence older and younger students and low- and high-performing students in different ways. Underperforming and younger students seem to be more adversely affected by the scores compared with older and high-performing students. Age and experience of assessment appear to play a major role in how students' learning, motivation for learning and performance is influenced by the scores. The second Chapter is about how and what teachers view of grading and how grading affect teaching. We have studied international and Swedish research to describe differences between them. The issue of validity is central, but in a different way in international and Swedish research, respectively. In the Swedish research, the relationship between the teacher's grading and policy documents constitutes a dominant perspective. Outside Sweden, it is mainly the question of what the teacher look at when assessing that dominate, e.g. student's skills or personal qualities. In the third and fourth Chapter, we have used a more exploratory approach since grading isn’t that closely linked to governing and control in other countries as in Sweden. Instead external tests are more common. We found however three central themes from a control perspective, that is relevant to the issue of grading: 1) fairness and equality in assessments, 2) grading as merit, as a knowledge and selection measurement, 3) grading as part of a high stakes assessment and evaluation systems. The third theme was made into a setting for the other two. The research that touched the first theme emphasized in particular that grading must be put into a larger perspective of a fair assessment and evaluation system, with instruments to monitor fairness in relation to different student groups, etc. Regarding the second theme we found that the ratings' role in many educational settings, have been reduced in recent decades. But at the same time we see clear tendencies that grades are better as a selection tool for higher education compared to university aptitude tests and other similar tests. This shows that grades can fill important functions in the education system in a better way than other instruments, but are not as useful for other purposes. The fourth Chapter focuses on grades from different comparative perspectives. When we look at assessment and international comparisons we see that grades doesn’t have a particularly prominent place in the international comparative research. Essentially, there are three areas the researchers focused on in these comparisons: systems of accountability; cultural explanations for why the assessment and grading system looks different in different countries; variations between teachers' assessments of various subjects or by different groups of students. Some key findings of our survey is that there has long been an international trend towards establishing systems for measuring results and to increased accountability in education systems. These results are often measured as student performance on tests or grades. Both critical scholars as well as the OECD has, however, recently noted that the hopes that comparisons of schools' results will lead to performance improvements have been exaggerated. The systems for assessment and accountability systems in different countries explain almost nothing of the variation in the PISA results. Rather, it is what teachers do in the classroom that are important and teachers find it difficult to draw conclusions about what they should do on those results that are made available through accountability systems. The systems seldom produce the right level of information for didactical implications. In Chapter 4, we also do our own comparison of grading systems in Europe. The first thing we can say is that the data situation is very complicated. There is no standardized data on this, why all comparisons need to build on a complex classification procedure, where there sometimes are problems of interpretation. This is a problem for all references to how it looks in other countries so common in the public debate on grades in Sweden. Based on what we found in our overview, we have some recommendations. There are clear results, which at least should lead to caution about further lowering of the age when pupils meet their first grades. It is also important that the Swedish current grading system is better evaluated in relation to different teachers, subjects and groups of pupils. Grades do not work the same for everyone. It is also important to consider how we evaluate students' performance and whether it is possible to combine more models with each other, so that we can get better data of for example "value added" character, and to be able to follow the development of knowledge over time. Our study also shows on several different levels of difficulties in the translation of research findings and information on education between different countries and contexts. We suggest that teachers' autonomy in assessment systems, no matter what they look like, is perhaps the most important factor for them to work in purpose of support learning and development, at all levels. Therefore, it is also of great importance, not only for the government to pay attention to voice of teachers, but to provide teachers with the possibility to obtain further training on grading and assessment. Equally important, this aspect of teaching should be an even more marked feature of teacher education

Betygens geografi : forskning om betyg och summativa bedömningar i Sverige och internationellt. Delrapport från skolforsk-projektet

Den här forskningsöversikten om betyg bygger på en läsning av över 6000 abstracts ca 500 artiklar och ett 40 tal avhandlingar. De artiklar vi gått igenom är vetenskapligt granskade och publicerade i vetenskapliga tidskrifter. Våra sökningar och urval har varit systematiska. Rapporten är uppbyggd kring fyra olika resultatkapitel kopplande till projektets fyra övergripande frågeställningar. I kapitel 1 studeras hur betyg ur ett elevperspektiv påverkar självbild, motivation och lärande. I kapitel 2 har vi sammanställt forskning om betyg ur ett lärarperspektiv, hur och vad lärare betygsätter och hur betyg påverkar undervisning. Kapitel 3 handlar om betyg som styrinstrument på olika nivåer i utbildningssystemet, framför allt nationell nivå. I kapitel 4 har vi beskrivit betyg ut olika komparativa perspektiv och studerat den forskning som finns där jämförelser sker mellan olika betygssystem och betyg och bedömning i ett internationellt perspektiv. Vi gör också en egen jämförelse av hur betygssystemen ser ut i Europa. Den första delstudien har undersökt forskning om hur summativa bedömningar påverkar elevernas lärande, motivation för lärande och prestationer och vilka resultat den genererat. I delstudien ser vi att resultaten från de granskade artiklarna till viss del är samstämmiga. Vuxna högpresterande studenter verkar påverkas positivt i sitt lärande och prestationer av feedback som innehåller mycket information som kommer i direkt anslutning till uppgiften. Informationen bör också vara positiv. Samtidigt framkommer det att vuxna studenter inte påverkas negativt om feedback kommer i form av betyg. Detta förklaras av att vuxna studenter på universitetsnivå ”kan” systemet och har lång erfarenhet av summativa bedömningar och har utvecklat strategier för att hantera detta system samt att de är högpresterande. Däremot verkar det vara annorlunda för yngre elever och när representativa urval undersöks. En slutsats som kan dras av resultaten från de inkluderade studierna är att betyg generellt differentierar och påverkar äldre och yngre elever och låg- och högpresterande elever på olika sätt. Lågpresterande och yngre elever verkar påverkas mer negativt av betygsättning jämfört med äldre och högpresterande elever. Ålder och erfarenheter av bedömning tycks spela en stor roll för hur elevers lärande, motivation för lärande och prestationer påverkas av betygsättning. Den andra delstudien handlar om hur och vad lärare betygsätter och hur betyg påverkar undervisning. Vi har studerat internationell respektive svensk forskning för att beskriva skillnader dem. Gemensamt är att validitetsfrågan är central men häri ligger också skillnaden. I svensk forskning är det relationen mellan lärarens betygsättning och styrdokumenten som dominerar perspektivet. Utanför Sverige är det framförallt frågan om vad läraren bedömer som dominerar, t.ex. elevens kunskaper eller personliga egenskaper. Att lärares dagliga verksamhet påverkas av betygens inflytande är mer framträdande i den svenska forskning vi funnit. Här är det framförallt godkäntgränsen som problematiseras men även hur betyg tar tid från lärarens pedagogiska arbete. Betygens inverkan på lärarens undervisning är däremot inte centralt i forskningen utanför Sverige. Där dominerar istället kritiken mot ett ökat inflytande av high-stakes tester och hur lärare upplever dessa som meningslösa i sin undervisning. Standardisering av betygsättningen och high-stakes tester ses som ett problem som kan riskera lärares möjlighet att verka som professionella bedömare. Över huvud taget framkommer i de studier som tar upp betygens dilemman en spänning mellan styrning och kontroll och pedagogiska aspekter av lärarens bedömning. I den tredje och fjärde delstudien har vi gått mer explorativt tillväga, då det inte funnits internationell forskning som primärt fokuserat betyg ur styrperspektiv. I delstudie tre fann vi tre centrala teman om betyg ur styrperspektiv: 1) Betyg ur rättvise- och jämlikhetsperspektiv, 2) Betyg som kunskaps- och urvalsmått, 3) Betyg som high-stakes i bedömnings- och utvärderingssystem. Det tredje temat gjordes till en inramning för de andra två. Den forskning som berörde första temat poängterade bland annat att betygssystem måste sättas in i ett större perspektiv av ett rättvist bedömnings- och utvärderingssystem, med instrument för att följa upp rättviseaspekter i relation till olika elevgrupper m.m. Studierna poängterade vikten av transparens i systemen, så att grunder för bedömning och utvärdering liksom existerande orättvisor blir synliga för systemets aktörer. Kunskapsfrågan lyftes också fram som central, det är lätt att anta att det som står i läroplanen – den kunskap som bedöms – är neutralt, men kunskapen har alltid konsekvenser och olika konsekvenser för olika grupper av elever. När det gällde tema två var ett tydligt resultat att betygens roll i många utbildningssystem reducerats de senaste decennierna. Samtidigt visar genomgången av betyg ur ett systemperspektiv att betyg är bättre som urvalsinstrument för högre utbildning jämfört högskoleprov och andra liknande tester. I synnerhet kursbetyg på gymnasienivå som ges med stor bredd och i hög frekvens har en god predikativ förmåga. Detta visar att betyg kan fylla viktiga funktioner i ett utbildningssystem och det på ett bättre sätt än andra instrument, och att den utveckling som man sett internationellt mot allt mer centralt administrerade examens- och antagningsprov inte bör anammas okritiskt. Den fjärde delstudien fokuserar betygen ur olika komparativa perspektiv. Det vi fokuserat på är vad betyg jämför samt hur olika betygssystem jämförs med varandra på nationell och internationell nivå. När vi söker på bedömning och internationella jämförelser ser vi att betyg inte får en särskilt framträdande plats i artiklarna. I huvudsak är det tre områden forskarna fokuserar vid dessa jämförelser: system för accountability; kulturella förklaringar till varför bedömnings- och betygssystem ser olika ut i olika länder; variationer mellan olika lärares bedömningar i olika ämnen eller av olika elevgrupper. Några viktiga iakttagelser i vår genomgång är att det länge funnits en internationell trend mot att upprätta olika system för ökad ansvarsskyldighet (accountability) för skolans resultat. Dessa resultat mäts främst i elevprestationer på test eller i betyg. Såväl kritiska forskare som OECD har dock på senare tid noterat, att förhoppningarna om att jämförelser av skolors resultat ska leda till resultatförbättringar har varit överdrivna. De system olika länder har för bedömning och accountability förklarar i princip ingenting av variationen i PISA resultat. Det är snarare vad lärarna gör i klassrummet som har betydelse och lärare ha svårt att dra slutsatser om vad de bör göra utifrån de resultat som tillgängliggörs via accountability-modeller. Modellerna har sällan rätt informationsnivå för didaktiska slutsatser. I kapitel 4 gör vi också en egen jämförelse av betygssystem i Europa i barn- och ungdomsskolan. Det första vi kan konstatera är att informationsläget är väldigt komplicerat. Det finns inte standardiserade data på detta varför alla jämförelser behöver bygga på komplicerat klassificeringsförfarande, där det ibland uppstår tolkningsproblem. Detta är inte bara ett problem för oss utan det finns i alla de jämförelser och hänvisningar till hur det ser ut i andra länder som också görs i den offentliga debatten om betyg. Enkla listor över när betyg ges i ålder eller i hur många skalsteg som används är ganska meningslös information utanför sitt kulturella och strukturella sammanhang. Baserat på vad vi har fått fram i den här översikten har vi några rekommendationer. Det finns tydliga resultat som åtminstone bör mana till försiktighet om att vidare sänka åldern för betyg. Frågan är också på vilket sätt utblickar mot andra länders betygsstart kan hjälpa oss att ta kloka beslut om när vi ska börja med betyg, där vi efterlyser att man på policy nivå i så fall går mer på djupet och identifierar principer för bedömning som mer har med klassrummet att göra. Flera länder ger exempelvis lärare och skolor stor autonomi över hur bedömningarna i tidiga åldrar ska tillämpas, vilket kan tänkas ha positiva konsekvenser för lärares professionalitet i frågan. Det är också viktigt att det svenska nuvarande betygssystemet bättre utvärderas på ett nyanserat sätt i förhållande till olika lärare, ämnen och elevgrupper. Betyg fungerar inte lika för alla. Det är också viktigt att fundera över hur vi utvärderar elevers resultat och om det finns möjlighet att kombinera fler modeller med varandra, så att vi bättre kan få data av ”value added”-karaktär samt för att följa kunskapsutvecklingen över tid. Studien visar också på flera olika plan vilka svårigheter det finns med översättning av forskningsresultat och information om utbildningssystem mellan olika länder och kontexter. Vår studie pekar på att lärarnas autonomi över bedömningssystemen, oavsett hur de ser ut, är det som kanske har störst betydelse. Att lärarna har verktyg som de kan använda i bedömning av elevernas kunskaper och i kommunikationen kring dessa kunskaper som lärarna själva upplever är meningsfulla och som gagnar den pedagogiska processen. Därför är det också av stor vikt att lärare ges möjlighet till fortbildning kring betyg och bedömning och att det kanske blir ett ännu mer markerat inslag i lärarutbildningen.This systematic research review about grades and summative assessments are based on a reading of over 6000 abstracts, 500 articles and about 40 theses. The articles we have read are peer reviewed and published in scientific journals. Our searches and selections have been systematic. The report is structured around four different chapters linking to the project's four overarching issues. In Chapter 1 we study how grades/marks from a student perspective affects self-image, motivation and learning. In Chapter 2, we have compiled research on grading/marking from a teacher's perspective, how and what teachers think of this and how grading affect teaching. Chapter 3 deals with grades and summative assessment as control instruments at different levels of the education system. In Chapter 4 we describe grading from various comparative perspectives. We also do our own comparison of how the different grading and assessment systems look like in Europe. In the first Chapter, we see that the results of the studies reviewed are partially coherent. Adults and high-performing students seem positively influenced in their learning and accomplishments from feedback that contains much information that comes directly adjacent to the task and if the information is positive. At the same time, it appears that adult students are not adversely affected if the feedback comes in the form of grades. This is explained by the fact that adult students at the university level and upper secondary education have extensive experience of summative assessments and have developed strategies to cope with this system. However, it seems to be different for younger students and when representative samples are examined. One conclusion that can be drawn from the results of the included studies is that grading generally influence older and younger students and low- and high-performing students in different ways. Underperforming and younger students seem to be more adversely affected by the scores compared with older and high-performing students. Age and experience of assessment appear to play a major role in how students' learning, motivation for learning and performance is influenced by the scores. The second Chapter is about how and what teachers view of grading and how grading affect teaching. We have studied international and Swedish research to describe differences between them. The issue of validity is central, but in a different way in international and Swedish research, respectively. In the Swedish research, the relationship between the teacher's grading and policy documents constitutes a dominant perspective. Outside Sweden, it is mainly the question of what the teacher look at when assessing that dominate, e.g. student's skills or personal qualities. In the third and fourth Chapter, we have used a more exploratory approach since grading isn’t that closely linked to governing and control in other countries as in Sweden. Instead external tests are more common. We found however three central themes from a control perspective, that is relevant to the issue of grading: 1) fairness and equality in assessments, 2) grading as merit, as a knowledge and selection measurement, 3) grading as part of a high stakes assessment and evaluation systems. The third theme was made into a setting for the other two. The research that touched the first theme emphasized in particular that grading must be put into a larger perspective of a fair assessment and evaluation system, with instruments to monitor fairness in relation to different student groups, etc. Regarding the second theme we found that the ratings' role in many educational settings, have been reduced in recent decades. But at the same time we see clear tendencies that grades are better as a selection tool for higher education compared to university aptitude tests and other similar tests. This shows that grades can fill important functions in the education system in a better way than other instruments, but are not as useful for other purposes. The fourth Chapter focuses on grades from different comparative perspectives. When we look at assessment and international comparisons we see that grades doesn’t have a particularly prominent place in the international comparative research. Essentially, there are three areas the researchers focused on in these comparisons: systems of accountability; cultural explanations for why the assessment and grading system looks different in different countries; variations between teachers' assessments of various subjects or by different groups of students. Some key findings of our survey is that there has long been an international trend towards establishing systems for measuring results and to increased accountability in education systems. These results are often measured as student performance on tests or grades. Both critical scholars as well as the OECD has, however, recently noted that the hopes that comparisons of schools' results will lead to performance improvements have been exaggerated. The systems for assessment and accountability systems in different countries explain almost nothing of the variation in the PISA results. Rather, it is what teachers do in the classroom that are important and teachers find it difficult to draw conclusions about what they should do on those results that are made available through accountability systems. The systems seldom produce the right level of information for didactical implications. In Chapter 4, we also do our own comparison of grading systems in Europe. The first thing we can say is that the data situation is very complicated. There is no standardized data on this, why all comparisons need to build on a complex classification procedure, where there sometimes are problems of interpretation. This is a problem for all references to how it looks in other countries so common in the public debate on grades in Sweden. Based on what we found in our overview, we have some recommendations. There are clear results, which at least should lead to caution about further lowering of the age when pupils meet their first grades. It is also important that the Swedish current grading system is better evaluated in relation to different teachers, subjects and groups of pupils. Grades do not work the same for everyone. It is also important to consider how we evaluate students' performance and whether it is possible to combine more models with each other, so that we can get better data of for example "value added" character, and to be able to follow the development of knowledge over time. Our study also shows on several different levels of difficulties in the translation of research findings and information on education between different countries and contexts. We suggest that teachers' autonomy in assessment systems, no matter what they look like, is perhaps the most important factor for them to work in purpose of support learning and development, at all levels. Therefore, it is also of great importance, not only for the government to pay attention to voice of teachers, but to provide teachers with the possibility to obtain further training on grading and assessment. Equally important, this aspect of teaching should be an even more marked feature of teacher education

Betygens geografi : forskning om betyg och summativa bedömningar i Sverige och internationellt. Delrapport från skolforsk-projektet

Den här forskningsöversikten om betyg bygger på en läsning av över 6000 abstracts ca 500 artiklar och ett 40 tal avhandlingar. De artiklar vi gått igenom är vetenskapligt granskade och publicerade i vetenskapliga tidskrifter. Våra sökningar och urval har varit systematiska. Rapporten är uppbyggd kring fyra olika resultatkapitel kopplande till projektets fyra övergripande frågeställningar. I kapitel 1 studeras hur betyg ur ett elevperspektiv påverkar självbild, motivation och lärande. I kapitel 2 har vi sammanställt forskning om betyg ur ett lärarperspektiv, hur och vad lärare betygsätter och hur betyg påverkar undervisning. Kapitel 3 handlar om betyg som styrinstrument på olika nivåer i utbildningssystemet, framför allt nationell nivå. I kapitel 4 har vi beskrivit betyg ut olika komparativa perspektiv och studerat den forskning som finns där jämförelser sker mellan olika betygssystem och betyg och bedömning i ett internationellt perspektiv. Vi gör också en egen jämförelse av hur betygssystemen ser ut i Europa. Den första delstudien har undersökt forskning om hur summativa bedömningar påverkar elevernas lärande, motivation för lärande och prestationer och vilka resultat den genererat. I delstudien ser vi att resultaten från de granskade artiklarna till viss del är samstämmiga. Vuxna högpresterande studenter verkar påverkas positivt i sitt lärande och prestationer av feedback som innehåller mycket information som kommer i direkt anslutning till uppgiften. Informationen bör också vara positiv. Samtidigt framkommer det att vuxna studenter inte påverkas negativt om feedback kommer i form av betyg. Detta förklaras av att vuxna studenter på universitetsnivå ”kan” systemet och har lång erfarenhet av summativa bedömningar och har utvecklat strategier för att hantera detta system samt att de är högpresterande. Däremot verkar det vara annorlunda för yngre elever och när representativa urval undersöks. En slutsats som kan dras av resultaten från de inkluderade studierna är att betyg generellt differentierar och påverkar äldre och yngre elever och låg- och högpresterande elever på olika sätt. Lågpresterande och yngre elever verkar påverkas mer negativt av betygsättning jämfört med äldre och högpresterande elever. Ålder och erfarenheter av bedömning tycks spela en stor roll för hur elevers lärande, motivation för lärande och prestationer påverkas av betygsättning. Den andra delstudien handlar om hur och vad lärare betygsätter och hur betyg påverkar undervisning. Vi har studerat internationell respektive svensk forskning för att beskriva skillnader dem. Gemensamt är att validitetsfrågan är central men häri ligger också skillnaden. I svensk forskning är det relationen mellan lärarens betygsättning och styrdokumenten som dominerar perspektivet. Utanför Sverige är det framförallt frågan om vad läraren bedömer som dominerar, t.ex. elevens kunskaper eller personliga egenskaper. Att lärares dagliga verksamhet påverkas av betygens inflytande är mer framträdande i den svenska forskning vi funnit. Här är det framförallt godkäntgränsen som problematiseras men även hur betyg tar tid från lärarens pedagogiska arbete. Betygens inverkan på lärarens undervisning är däremot inte centralt i forskningen utanför Sverige. Där dominerar istället kritiken mot ett ökat inflytande av high-stakes tester och hur lärare upplever dessa som meningslösa i sin undervisning. Standardisering av betygsättningen och high-stakes tester ses som ett problem som kan riskera lärares möjlighet att verka som professionella bedömare. Över huvud taget framkommer i de studier som tar upp betygens dilemman en spänning mellan styrning och kontroll och pedagogiska aspekter av lärarens bedömning. I den tredje och fjärde delstudien har vi gått mer explorativt tillväga, då det inte funnits internationell forskning som primärt fokuserat betyg ur styrperspektiv. I delstudie tre fann vi tre centrala teman om betyg ur styrperspektiv: 1) Betyg ur rättvise- och jämlikhetsperspektiv, 2) Betyg som kunskaps- och urvalsmått, 3) Betyg som high-stakes i bedömnings- och utvärderingssystem. Det tredje temat gjordes till en inramning för de andra två. Den forskning som berörde första temat poängterade bland annat att betygssystem måste sättas in i ett större perspektiv av ett rättvist bedömnings- och utvärderingssystem, med instrument för att följa upp rättviseaspekter i relation till olika elevgrupper m.m. Studierna poängterade vikten av transparens i systemen, så att grunder för bedömning och utvärdering liksom existerande orättvisor blir synliga för systemets aktörer. Kunskapsfrågan lyftes också fram som central, det är lätt att anta att det som står i läroplanen – den kunskap som bedöms – är neutralt, men kunskapen har alltid konsekvenser och olika konsekvenser för olika grupper av elever. När det gällde tema två var ett tydligt resultat att betygens roll i många utbildningssystem reducerats de senaste decennierna. Samtidigt visar genomgången av betyg ur ett systemperspektiv att betyg är bättre som urvalsinstrument för högre utbildning jämfört högskoleprov och andra liknande tester. I synnerhet kursbetyg på gymnasienivå som ges med stor bredd och i hög frekvens har en god predikativ förmåga. Detta visar att betyg kan fylla viktiga funktioner i ett utbildningssystem och det på ett bättre sätt än andra instrument, och att den utveckling som man sett internationellt mot allt mer centralt administrerade examens- och antagningsprov inte bör anammas okritiskt. Den fjärde delstudien fokuserar betygen ur olika komparativa perspektiv. Det vi fokuserat på är vad betyg jämför samt hur olika betygssystem jämförs med varandra på nationell och internationell nivå. När vi söker på bedömning och internationella jämförelser ser vi att betyg inte får en särskilt framträdande plats i artiklarna. I huvudsak är det tre områden forskarna fokuserar vid dessa jämförelser: system för accountability; kulturella förklaringar till varför bedömnings- och betygssystem ser olika ut i olika länder; variationer mellan olika lärares bedömningar i olika ämnen eller av olika elevgrupper. Några viktiga iakttagelser i vår genomgång är att det länge funnits en internationell trend mot att upprätta olika system för ökad ansvarsskyldighet (accountability) för skolans resultat. Dessa resultat mäts främst i elevprestationer på test eller i betyg. Såväl kritiska forskare som OECD har dock på senare tid noterat, att förhoppningarna om att jämförelser av skolors resultat ska leda till resultatförbättringar har varit överdrivna. De system olika länder har för bedömning och accountability förklarar i princip ingenting av variationen i PISA resultat. Det är snarare vad lärarna gör i klassrummet som har betydelse och lärare ha svårt att dra slutsatser om vad de bör göra utifrån de resultat som tillgängliggörs via accountability-modeller. Modellerna har sällan rätt informationsnivå för didaktiska slutsatser. I kapitel 4 gör vi också en egen jämförelse av betygssystem i Europa i barn- och ungdomsskolan. Det första vi kan konstatera är att informationsläget är väldigt komplicerat. Det finns inte standardiserade data på detta varför alla jämförelser behöver bygga på komplicerat klassificeringsförfarande, där det ibland uppstår tolkningsproblem. Detta är inte bara ett problem för oss utan det finns i alla de jämförelser och hänvisningar till hur det ser ut i andra länder som också görs i den offentliga debatten om betyg. Enkla listor över när betyg ges i ålder eller i hur många skalsteg som används är ganska meningslös information utanför sitt kulturella och strukturella sammanhang. Baserat på vad vi har fått fram i den här översikten har vi några rekommendationer. Det finns tydliga resultat som åtminstone bör mana till försiktighet om att vidare sänka åldern för betyg. Frågan är också på vilket sätt utblickar mot andra länders betygsstart kan hjälpa oss att ta kloka beslut om när vi ska börja med betyg, där vi efterlyser att man på policy nivå i så fall går mer på djupet och identifierar principer för bedömning som mer har med klassrummet att göra. Flera länder ger exempelvis lärare och skolor stor autonomi över hur bedömningarna i tidiga åldrar ska tillämpas, vilket kan tänkas ha positiva konsekvenser för lärares professionalitet i frågan. Det är också viktigt att det svenska nuvarande betygssystemet bättre utvärderas på ett nyanserat sätt i förhållande till olika lärare, ämnen och elevgrupper. Betyg fungerar inte lika för alla. Det är också viktigt att fundera över hur vi utvärderar elevers resultat och om det finns möjlighet att kombinera fler modeller med varandra, så att vi bättre kan få data av ”value added”-karaktär samt för att följa kunskapsutvecklingen över tid. Studien visar också på flera olika plan vilka svårigheter det finns med översättning av forskningsresultat och information om utbildningssystem mellan olika länder och kontexter. Vår studie pekar på att lärarnas autonomi över bedömningssystemen, oavsett hur de ser ut, är det som kanske har störst betydelse. Att lärarna har verktyg som de kan använda i bedömning av elevernas kunskaper och i kommunikationen kring dessa kunskaper som lärarna själva upplever är meningsfulla och som gagnar den pedagogiska processen. Därför är det också av stor vikt att lärare ges möjlighet till fortbildning kring betyg och bedömning och att det kanske blir ett ännu mer markerat inslag i lärarutbildningen.This systematic research review about grades and summative assessments are based on a reading of over 6000 abstracts, 500 articles and about 40 theses. The articles we have read are peer reviewed and published in scientific journals. Our searches and selections have been systematic. The report is structured around four different chapters linking to the project's four overarching issues. In Chapter 1 we study how grades/marks from a student perspective affects self-image, motivation and learning. In Chapter 2, we have compiled research on grading/marking from a teacher's perspective, how and what teachers think of this and how grading affect teaching. Chapter 3 deals with grades and summative assessment as control instruments at different levels of the education system. In Chapter 4 we describe grading from various comparative perspectives. We also do our own comparison of how the different grading and assessment systems look like in Europe. In the first Chapter, we see that the results of the studies reviewed are partially coherent. Adults and high-performing students seem positively influenced in their learning and accomplishments from feedback that contains much information that comes directly adjacent to the task and if the information is positive. At the same time, it appears that adult students are not adversely affected if the feedback comes in the form of grades. This is explained by the fact that adult students at the university level and upper secondary education have extensive experience of summative assessments and have developed strategies to cope with this system. However, it seems to be different for younger students and when representative samples are examined. One conclusion that can be drawn from the results of the included studies is that grading generally influence older and younger students and low- and high-performing students in different ways. Underperforming and younger students seem to be more adversely affected by the scores compared with older and high-performing students. Age and experience of assessment appear to play a major role in how students' learning, motivation for learning and performance is influenced by the scores. The second Chapter is about how and what teachers view of grading and how grading affect teaching. We have studied international and Swedish research to describe differences between them. The issue of validity is central, but in a different way in international and Swedish research, respectively. In the Swedish research, the relationship between the teacher's grading and policy documents constitutes a dominant perspective. Outside Sweden, it is mainly the question of what the teacher look at when assessing that dominate, e.g. student's skills or personal qualities. In the third and fourth Chapter, we have used a more exploratory approach since grading isn’t that closely linked to governing and control in other countries as in Sweden. Instead external tests are more common. We found however three central themes from a control perspective, that is relevant to the issue of grading: 1) fairness and equality in assessments, 2) grading as merit, as a knowledge and selection measurement, 3) grading as part of a high stakes assessment and evaluation systems. The third theme was made into a setting for the other two. The research that touched the first theme emphasized in particular that grading must be put into a larger perspective of a fair assessment and evaluation system, with instruments to monitor fairness in relation to different student groups, etc. Regarding the second theme we found that the ratings' role in many educational settings, have been reduced in recent decades. But at the same time we see clear tendencies that grades are better as a selection tool for higher education compared to university aptitude tests and other similar tests. This shows that grades can fill important functions in the education system in a better way than other instruments, but are not as useful for other purposes. The fourth Chapter focuses on grades from different comparative perspectives. When we look at assessment and international comparisons we see that grades doesn’t have a particularly prominent place in the international comparative research. Essentially, there are three areas the researchers focused on in these comparisons: systems of accountability; cultural explanations for why the assessment and grading system looks different in different countries; variations between teachers' assessments of various subjects or by different groups of students. Some key findings of our survey is that there has long been an international trend towards establishing systems for measuring results and to increased accountability in education systems. These results are often measured as student performance on tests or grades. Both critical scholars as well as the OECD has, however, recently noted that the hopes that comparisons of schools' results will lead to performance improvements have been exaggerated. The systems for assessment and accountability systems in different countries explain almost nothing of the variation in the PISA results. Rather, it is what teachers do in the classroom that are important and teachers find it difficult to draw conclusions about what they should do on those results that are made available through accountability systems. The systems seldom produce the right level of information for didactical implications. In Chapter 4, we also do our own comparison of grading systems in Europe. The first thing we can say is that the data situation is very complicated. There is no standardized data on this, why all comparisons need to build on a complex classification procedure, where there sometimes are problems of interpretation. This is a problem for all references to how it looks in other countries so common in the public debate on grades in Sweden. Based on what we found in our overview, we have some recommendations. There are clear results, which at least should lead to caution about further lowering of the age when pupils meet their first grades. It is also important that the Swedish current grading system is better evaluated in relation to different teachers, subjects and groups of pupils. Grades do not work the same for everyone. It is also important to consider how we evaluate students' performance and whether it is possible to combine more models with each other, so that we can get better data of for example "value added" character, and to be able to follow the development of knowledge over time. Our study also shows on several different levels of difficulties in the translation of research findings and information on education between different countries and contexts. We suggest that teachers' autonomy in assessment systems, no matter what they look like, is perhaps the most important factor for them to work in purpose of support learning and development, at all levels. Therefore, it is also of great importance, not only for the government to pay attention to voice of teachers, but to provide teachers with the possibility to obtain further training on grading and assessment. Equally important, this aspect of teaching should be an even more marked feature of teacher education

A benefit-cost analysis of a long-term intervention on social and emotional learning in compulsory school

There is growing evidence that social and emotional skills can be taught to students in school and teaching these skills can have a positive effect on later outcomes, such as better mental health and less drug use. This paper presents a benefit-cost analysis of a longitudinal social and emotional learning intervention in Sweden, using data for 663 students participating in the evaluation. Intervention costs are compared against treatment impact on self-reported drug use. Pre-test and post-test data are available. Since follow-up data for the participants´ drug use as adults is not available, informed projections have been made. Net present monetary values are calculated for the general public and society. The results show that students in the treatment group report decreasing use of drugs over the five year long intervention, the value of which easily outweighs the intervention costs