Automatic coding of short text responses via clustering in educational assessment

Automatic coding of short text responses opens new doors in assessment. We implemented and integrated baseline methods of natural language processing and statistical modelling by means of software components that are available under open licenses. The accuracy of automatic text coding is demonstrated by using data collected in the Programme for International Student Assessment (PISA) 2012 in Germany. Free text responses of 10 items with Formula responses in total were analyzed. We further examined the effect of different methods, parameter values, and sample sizes on performance of the implemented system. The system reached fair to good up to excellent agreement with human codings Formula Especially items that are solved by naming specific semantic concepts appeared properly coded. The system performed equally well with Formula and somewhat poorer but still acceptable down to Formula Based on our findings, we discuss potential innovations for assessment that are enabled by automatic coding of short text responses. (DIPF/Orig.

Die gegenwärtigen Umsetzung des gemeinsamen Unterrichts in Deutschland

Entsprechend der föderalen Struktur der Bundesrepublik Deutschland setzen die einzelnen Bundesländer die Umsetzung des gemeinsamen Unterrichts für Schülerinnen und Schüler mit und ohne Behinderung anhand verschiedener Modelle um. Der Artikel gewährt einen aktuellen Überblick über diese Modelle. Hierfür wurden Gesetzestexte der einzelnen Bundesländer ausgewertet und die Landesdelegierten des Verbandes der Sonderpädagogik (VDS) mittels eines Fragebogens befragt. Die Ergebnisse zeigen, dass in allen Bundesländern die Implementierung inklusiver Konzepte stattfindet, wobei sich leichte Unterschiede in den Modellen der Umsetzung finden.The 16 federal states of Germany implement inclusive education for students with and without disabilities based on different premises. This article provides a current overview of these educational approaches by analyzing legislative texts and enquiring delegates of the Association of Special Education in Germany (vds). Results show that inclusive education is currently being implemented all over Germany, but there are notable differences with regard to the chosen forms of inclusion

Identifizierung von Schülerinnen und Schülern nach Vorgaben der UN-BRK in bundesweiten Erhebungen: Sonderpädagogischer Förderbedarf, sonderpädagogische Förderung oder besondere Unterstützung?

Der Beitrag setzt sich mit der Frage auseinander, wie Schülerinnen und Schüler, die unter den Schutz der UN-Behindertenrechtskonvention (UN-BRK) fallen, im Rahmen von bundesweiten Studien identifiziert werden können. Die Identifikation ist notwendig, um einerseits die Umsetzung der UN-BRK überprüfen zu können und andererseits vertiefte Analysen dieser Schülergruppe vorzunehmen. Die Autorinnen arbeiten mit drei Konzepten: , sonderpädagogischer Förderbedarf\u27, , sonderpädagogische Förderung\u27 sowie, besondere Unterstützung\u27. Auf der Grundlage von bundesländerspezifischen Regelungen, Erfahrungsberichten aus der Praxis sowie Definitionen aus der Theorie grenzen sie diese Konzepte voneinander ab. Anschließend beschreiben die Autorinnen, wie diese Schülergruppe derzeit in bundesweiten Studien erfasst wird und welche Schwierigkeiten sich aus diesen Erhebungsweisen ergeben. Der Beitrag schließt mit einer konkreten Empfehlung für die Erfassung, welche in ähnlicher Fassung bereits bei TIMSS, IQB-LV und NEPS umgesetzt wird. (DIPF/Orig.)This article addresses how students protected by the UN Convention on the Rights of Persons with Disabilities (UN-CRPD) can be identified in nation-wide studies. The identification is necessary for monitoring the implementation of the UN-CRPD and for carrying out in-depth analyses about this group of students. The authors work with three concepts: \u27special educational needs\u27, \u27special needs education\u27, and \u27special support\u27. They differentiate the concepts based on regulations from the German states, reports from practitioners and definitions used in theoretical approaches. In a second step, the authors describe how this group of students is currently identified in nation-wide studies and discuss the difficulties resulting from these survey methods. They conclude by recommending specific survey items for the identification of this group. Some of these items have recently been implemented by TIMSS, IQB-LV, and NEPS studies. (DIPF/Orig.

How robust are cross-country comparisons of PISA scores to the scaling model used?

The Programme for International Student Assessment (PISA) is an important international study of 15‐olds' knowledge and skills. New results are released every 3 years, and have a substantial impact upon education policy. Yet, despite its influence, the methodology underpinning PISA has received significant criticism. Much of this criticism has focused upon the psychometric scaling model used to create the proficiency scores. The aim of this article is to therefore investigate the robustness of cross‐country comparisons of PISA scores to subtle changes to the underlying scaling model used. This includes the specification of the item‐response model, whether the difficulty and discrimination of items are allowed to vary across countries (item‐by‐country interactions) and how test questions not reached by pupils are treated. Our key finding is that these technical choices make little substantive difference to the overall country‐level results

How robust are cross-country comparisons of PISA scores to the scaling model used?

The Programme for International Student Assessment (PISA) is an important international study of 15‐olds' knowledge and skills. New results are released every 3 years, and have a substantial impact upon education policy. Yet, despite its influence, the methodology underpinning PISA has received significant criticism. Much of this criticism has focused upon the psychometric scaling model used to create the proficiency scores. The aim of this article is to therefore investigate the robustness of cross‐country comparisons of PISA scores to subtle changes to the underlying scaling model used. This includes the specification of the item‐response model, whether the difficulty and discrimination of items are allowed to vary across countries (item‐by‐country interactions) and how test questions not reached by pupils are treated. Our key finding is that these technical choices make little substantive difference to the overall country‐level results

Digital Teaching and Learning in the Corona Semester from the Perspective of Students: Consequences for an Agile Quality Development

Die pandemiebedingte, kurzfristige Umstellung der Hochschullehre auf ausschliesslich digitale Veranstaltungsangebote stellte Lehrende und Studierende im Frühjahr 2020 vor grosse Herausforderungen. Unter enormem Zeitdruck mussten bewährte Präsenzlehrformate transformiert und für Lehrende wie Studierende organisationale Unterstützungssysteme etabliert werden. Dieser forcierte Digitalisierungsprozess beinhaltet für hiesige Hochschulen die Chance, die Weiterentwicklung der Lehre agil und evidenzbasiert voranzutreiben und dabei nicht zuletzt auch die Herausforderungen und Grenzen digitalen Lernens zu identifizieren. Nachhaltige Digitalisierungsstrategien sollten ganzheitlich und mehrperspektivisch sein, hier bietet insbesondere der Einbezug der Perspektive von Studierenden wichtige Einsichten für den Digitalisierungsprozess und die Qualitätsentwicklung der Hochschullehre. Diesem Beitrag liegen die Fragen zugrunde, wie Studierende die Rahmenbedingungen, Qualität und Effekte der digitalen Hochschullehre im ersten Corona-Semester 2020 bewerten und mit welchen spezifischen Herausforderungen sie sich konfrontiert sehen. Erkenntnisse dazu wurden an der Universität Stuttgart im Rahmen einer Fragebogenerhebung in drei Wellen gewonnen. Es zeigt sich etwa, dass die Strukturierung der Arbeit zuhause vielen Studierenden schwerfällt und die gefühlte Arbeitsbelastung gestiegen ist. Besonders Bachelorstudierende wünschen sich mehr Unterstützung bei der Vorbereitung auf Prüfungen und der Koordination von Lerngruppen. Neben der Ableitung von konkreten Optimierungsempfehlungen stehen insbesondere die Konsequenzen im Fokus, die sich für die strategische Qualitätsentwicklung der Hochschullehre und den weiteren Digitalisierungsprozess ergeben.The pandemic-related, short-term conversion of university teaching to the digital confronted lecturers and students with major challenges in spring 2020. Under enormous time pressure, proven teaching formats had to be transformed and organizational support systems had to be established for both teachers and students. This accelerated digitization process offers universities the opportunity to drive forward the further development of teaching in an agile and evidence-based manner and to identify the challenges and limitations of digital learning. Sustainable digitization strategies should be holistic and multi-perspective, especially including the perspective of students offers important insights for the digitization process and the quality development of university teaching. This paper is based on the questions of how students evaluate the conditions, quality and effects of the digital teaching in the first Corona Semester 2020 and what specific challenges they face. Findings were obtained at the University of Stuttgart as part of a questionnaire survey in three waves. Many students find it difficult to structure their work at home and their perceived workload has increased. Especially bachelor students need more support in preparing for exams and coordinating learning groups. Consequences for the strategic quality development of university teaching and the digitization process are taken in view

Assessing social, emotional, and intercultural competences of students and school staff. A systematic literature review

The inclusion of social, emotional, and intercultural competences (SEI) in academic contexts has been supported by international organizations, such as the European Union, the United Nations, and the OECD, since the early 2000s. However, little information is yet available regarding the assessment of these competences. This paper shares the findings of a systematic literature review that produced an inventory of existing tools for the assessment of SEI competences of students and school staff. This is the first time assessment tools for these three competences have been concurrently reviewed. An interdisciplinary and international research team conducted this systematic literature review in the databases of ERIC, PsycInfo, PSYNDEX, Scopus, and Web of Science. Out of 13,963 articles, 149 assessment tools were examined and processed. In addition to the instrument analysis and a detailed description of the procedure, this article shows the basic theoretical concepts, as well as the limitations, of such a review. It was found that 1) the majority of the discovered instruments rely on self-reported survey and inventory data, 2) of the three competences, intercultural competence had the fewest relevant instruments, and 3) very few tools have been created to assess all three competences together. From this review, it is apparent that a wider variety of assessment tools (other than self-reports), as well as more comprehensive tools (e.g. qualitative analysis of vignettes) for the assessment of all three SEI competences, should be developed to meet international demand. The results of the literature review are available and freely accessible in the form of an assessment catalogue. (DIPF/Orig.

School absenteeism and the roles of family and school

Dass Schulabsentismus ein Ergebnis von multifaktoriellen Bedingungsgefügen ist, gilt inzwischen als unbestritten. Wenn Jugendliche ihrer Schulpflicht nicht nachkommen, werden in der Regel deren Eltern zur Verantwortung gezogen; auf der anderen Seite nimmt jedoch die Schule eine wichtige Funktion für den regelmässigen Schulbesuch ein. In diesem Artikel wird anhand von Mehrebenenanalysen untersucht, inwieweit familiäre und schulische Merkmale zusammenwirken, wenn man die unterschiedlichen Häufigkeiten von Schulabsentismus vom gelegentlichen bis zum massiven Schwänzen betrachtet. Es zeigt sich, dass sowohl Familie als auch Schule relevant für das Absentismusverhalten sind, wobei die Reaktionen der Eltern auf Schulschwänzen die deutlichsten Effekte zeigen. (DIPF/Orig.)It is acknowledged that scholastic absenteeism is the result of multiple factors. Usually parents are held responsible when their children do not obey the demands of attendance in schooling. But on the other hand, the school a child attends is also seen as a factor in regular attendance. This article uses multilevel analyses to examine how family- and school-related factors affect a child’s truant behaviour. In doing so, non-truancy is considered as well as occasional, frequent and heavy absenteeism. It appears that both the family and the school are important factors in absenteeism, while parents’ reactions seem to have the most important effect. (DIPF/Orig.

Profesorado europeo en Pisa 2015: Un enfoque de modelación multinivel para la infraestructura de las TICs y la formación docente

Drawing on the background questionnaires in PISA 2015 for teachers and schools, this paper aims to investigate the interdependencies and influences of teacher training and ICT infrastructure on their ability and willingness to employ modern media in a classroom setting. A multi-level approach is used to account for the data structure. Our analyses show that students’ background and ICT interests provide limited predictive power concerning their test performance in the PISA 2015 sample from five European countries. Moreover, teachers and principals view shortages in staff and educational material quite differently in the background questionnaires. By these findings, new research approaches may be better suited to understand the influences teachers and school characteristics have on the learning outcomes of students in large-scale assessments. This also highlights potential problems when an analysis draws on joining different sources for a combined description.Basándose en las encuestas de PISA 2015 para los maestros y colegios, este articulo pretende investigar las interdependencias e influencias de la formación de los maestros y la infraestructura de TIC en su habilidad y voluntad para emplear los medios modernos en el entorno escolar. Se ha utilizado un enfoque de niveles múltiples para justificar la estructura de datos. Nuestro análisis demuestra que el entorno de los estudiantes y acciones de TIC ofrecen un poder de predicción limitado en relación con el rendimiento de las pruebas de PISA 2015 de cinco países europeos. Además, los maestros y los directores ven escasez de personal y material educativo bastante diferente en las encuestas del entorno. Sobre la base de esas conclusiones, se puede adaptar unos enfoques nuevos de investigación para entender mejor las influencias que tienen los maestros y las características escolares en resultados del aprendizaje de los estudiantes en las evaluaciones a gran escala. Esto también resalta los problemas potenciales cuando un análisis recurre reuniendo fuentes diferentes para una descripción combinada

«Ich bin dann mal weg ...». – Fragen zur Definition, zum Ausmass und zur unterrichtlichen Relevanz von schuldistanzierendem Verhalten bei Jugendlichen

Der vorliegende Beitrag führt Schulabsentismus und Schulabbruch als Erscheinungsformen schuldistanzierenden Verhaltens ein. Zuerst wird ein kritischer Definitionsversuch gewagt, welcher mit Angaben zum Ausmass angereichert wird. Vor diesem Hintergrund werden unter Berücksichtigung einer individuellen und institutionellen Perspektive Implikationen für Unterricht und Lehrerbildung im Umgang mit schuldistanzierendem Verhalten abgeleitet.The contribution addresses both school absenteeism as well as dropping out of school as manifestations of school-distancing behaviour. An initial critical attempt at a definition of each term will be supplemented with some indications as to the prevalence of the phenomena. Against this background, and with both an individual and an institutional perspective, some implications will be inferred as to dealing with school-distancing behaviour both in the everyday classroom and in teacher education