Skalierung und Definition von Kompetenzniveaus

Der Beitrag beschreibt die Skalierung der Leistungstestdaten und das Vorgehen bei der Definition der Kompetenzniveaus in der DESI-Studie (Deutsch Englisch Schülerleistungen International). Die Erfassung der Sprachkompetenzen in Deutsch und Englisch erfolgt in DESI im Rahmen eines multidimensionalen Ansatzes, für beide Sprachen werden verschiedene Teilbereiche der jeweiligen Sprachkompetenz mit separaten Tests erfasst. Die Skalierung der DESI-Daten erfolgte auf Grundlage eines generalisierten Rasch-Modells, welches in der Analysesoftware ConQuest implementiert ist und das die simultane Berücksichtigung dichotomer und mehrstufiger Auswertungsformate erlaubt. Die Kompetenzniveaus in DESI dienen dazu, eine kriterienorientierte Beschreibung der konkreten sprachlichen Kompetenzen von Schülern in bestimmten Leistungsbereichen vorzunehmen. Bei der Definition der Kompetenzniveaus wurden anforderungsrelevante Aufgabenmerkmale herangezogen, die für jeden Test separat definiert worden waren. In Regressionsanalysen wurden diese Merkmale verwendet, um die bei der Raschskalierung ermittelten Schwierigkeiten vorherzusagen. Als Schwellen zwischen den Kompetenzniveaus wurden die in den Regressionsmodellen ermittelten erwarteten Schwierigkeiten für Aufgaben mit bestimmten Merkmalskombinationen verwendet. Dabei wurden Merkmalskombinationen verwendet, die (a) in mehreren Aufgaben im Test realisiert waren und für die (b) die erwarteten Schwierigkeiten nahe an den empirisch beobachteten Schwierigkeiten dieser Aufgaben lag. (DIPF/Autor

Rating scales: numeric values may change the meaning of scale labels

Unter der Fragestellung, inwieweit die Ergebnisse bei Befragungen von der Skalierung und den numerischen Werten der Skalierung abhängig sind, wurden Vergleichsbefragungen zum Lebenserfolg durchgeführt (Fragestellung: 'Wie erfolgreich waren Sie bisher in Ihrem Leben?'). Bei der ersten Versuchsanordnung wurde die Skalierung von 0 ('überhaupt nicht erfolgreich') bis 10 ('außerordentlich erfolgreich') gewählt, bei der zweiten Anordnung wurde die Skalierung von -5 bis +5 gewählt. Es stellte sich heraus, daß im ersten Fall 34 Prozent der Befragten einen Wert zwischen 0 und 5 wählten, während im zweiten Fall lediglich 13 Prozent den äquivalenten Werten - also im Bereich -5 bis 0 - zustimmten. Es zeigte sich damit, daß numerische Werte die Interpretation von Skalierungen subjektiv beeinflussen. (psz)'Three experiments indicate that the numeric values provided as part of a rating scale may influence resprondents' interpretation of a endpoint labels. In experiment 1, a representative sample of German adults rated their success in life along an 11-point rating scale, with the endpoints labeled 'not at all successful' and 'extremely successful'. When the numeric values ranged from 0 ('not at all successful') to 10 ('extremely successful'), 34 percent of the respondents endorsed values between 0 and 5. However, only 13 percent endorsed formally equivalent values between -5 and 0, when the scale ranged from -5 ('not at all successful') to +5 ('extremely successful'). Experiment 2 provided an extended conceptual replication of this finding, and experiment 3 demonstrates that recipients of a respondent's report draw different inferences from formally equivalent, but numerically different values. In combination, the findings indicate that respondents use the numeric values to disambiguate the meaning of scale labels, resulting in different interpretations and, accordingly, different subjective scale anchors.' (author's abstract

Deutsch Englisch Schülerleistungen International. Dokumentation der Erhebungsinstrumente für Schülerinnen und Schüler, Eltern und Lehrkräfte

Das vorliegende Skalenhandbuch dokumentiert die im Rahmen der Studie „Deutsch Englisch Schülerleistungen International“ … entwickelten Fragebogeninstrumente der Schüler-, Lehrer- und Elternbefragung. … Die DESI-Studie untersuchte die sprachlichen Leistungen von Schülerinnen und Schülern in der neunten Jahrgangsstufe in den Fächern Deutsch und Englisch. Die Untersuchung wurde im Jahr 2001 von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) als nationale Schulleistungsstudie in Ergänzung zu den PISAStudien in Auftrag gegeben. Unter Federführung des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF) wurden von einem Konsortium aus Bildungsforschern und Fachdidaktikern Tests für die sprachlichen Leistungen im Deutschen und im Englischen als erste Fremdsprache entwickelt, die sich an den Curricula der Länder für die neunten Jahrgangsstufe orientierten. Mit schriftlichen Befragungen von Schülerinnnen und Schülern, Eltern, Lehrkräften, Mitgliedern der Fachkollegien Deutsch und Englisch sowie Schulleitungen wurden die individuellen, familiären, unterrichtlichen und schulischen Bedingungen sprachlicher Leistungen erfasst. Videoaufnahmen im Englischunterricht ergänzten das Erhebungsdesign. Insgesamt wurden rund 11.000 Schülerinnen und Schüler der neunten Jahrgangsstufe aller Schularten des allgemeinbildenden Schulwesens mit Ausnahme der Förderschulen aus 219 Schulen mit je zwei Klassen zu Beginn und am Ende des Schuljahres 2003/04 untersucht. (DIPF/Orig.

Skalen zur Schulqualität: Dokumentation der Erhebungsinstrumente. ArbeitsPlatzUntersuchung (APU), Pädagogische EntwicklungsBilanzen (PEB)

Der Band dokumentiert und systematisiert hauptsächlich die im DIPF- SEL-Projekt "Schulentwicklung, Qualitätssicherung und Lehrerarbeit" entwickelten Erhebungsinstrumente für die Schulforschung und Schulevaluation. Die Dokumentation der Erhebungsinstrumente gibt eine Übersicht über sämtliche im Projekt verwendeten Skalen der Schulqualität. Diese werden ergänzt um Konstrukte der Schul- und Unterrichtsqualität aus anderen DIPF-Projekten, die Merkmale der Schul- und Unterrichtsqualität mit anderen Fragestellungen und Designs untersuchen... . Die Dokumentation der Erhebungsinstrumente gliedert sich in zwei Teile. Teil I basiert auf den Daten des Fragebogens für Lehrkräfte, Teil II auf den Daten des Fragebogens für Schülerinnen und Schüler. ... Inhaltlich erstreckt sich der allgemeine Teil des Fragebogens für Lehrkräfte auf: Unterricht (Unterrichtsformen, Strukturierung des Unterrichts, Benotungspraxis, Hausaufgaben); Einschätzung der Motivation, Leistung und Zufriedenheit der Schüler; schulische Organisation; Kommunikationsverhalten und Zusammenarbeit im Kollegium; Probleme in der Schule und im Unterricht; Berufsansprüche und -ziele; Aspekte der persönlichen Arbeitszeitgestaltung, Berufzufriedenheit; Belastungs- und Bewältigungserleben und Gesundheitszustand; Angaben zur beruflichen Situation. ... Der allgemeine Teil des Fragebogens für Schülerinnen und Schüler erstreckt sich auf: Zufriedenheit mit der Schule, den Lehrkräften und dem eigenen Lernen; Motivation und Interesse am Unterricht; Störungen in Schule und Unterricht; Sozialformen und Methoden im Unterricht; Computernutzung; Lese- und Schreibtechniken; Schulbiografische Angaben; Alltagssprache außerhalb der Schule; Unterstützung bei Hausaufgaben; kulturelle Ressourcen in der Familie; Bildungsaspirationen und Bildungshintergrund der Eltern. (DIPF/Orig.

An atlas of bird ringing at the island of Helgoland : Part 4: Trapping numbers in the trapping garden from 1960 to 2004

Das im Fanggarten auf Helgoland seit mehr als vier Jahrzehnten gewonnene Datenmaterial ist neben dem hohen Maß an Standardisierung der Fangmethoden insbesondere wegen der isolierten Lage der kleinen Insel im Meer zur Vogelzugforschung geeignet. Eine detaillierte Auswertung und grafische Darstellung der Fangzahlen, für das ganze Jahr und für Heimzug und Wegzug getrennt, erfolgt für insgesamt 71 Arten mit einer Gesamtsumme von rund 501.000 Beringungen für den Zeitraum von 1960 bis 2004. Die einzelnen Fangtermine von 67 seltenen Arten mit weniger als 25 Fängen in diesem Zeitraum (n = 340) werden in einer Tabelle zusammengefasst. Von 1970 bis 2004 wurden 43,3 % aller Vögel auf dem Heimzug gefangen, der Wegzug macht 56,3 % aus, zwischen den (artspezifischen) Zugzeiten erfolgten nur 0,4 % aller Fänge. Am häufigsten wurden Singdrossel Turdus philomelos und Amsel Turdus merula mit rund 23 % bzw. 22 % gefangen, gefolgt von Gartengrasmücke Sylvia borin, Rotkehlchen Erithacus rubecula und Buchfink Fringilla coelebs mit jeweils mehr als 5 %. Weitere neun Arten wurden mit 1 bis 5 % gefangen, 21 Arten mit 0,1 bis 1 %. Die Mehrzahl (36 Arten) wie auch die seltenen Arten sind mit weniger als 0,1 % vertreten. 72 % aller Fänge sind Kurz/Mittelstreckenzieher (KMZ), 22 % sind Langstreckenzieher (LZ). Der überwältigende Anteil der Fänge gehört zur Gilde der Waldvögel (96 %). Die Anteile von Männchen und Weibchen unterscheiden sich signifikant bei sieben von acht Arten auf dem Heimzug, bei sechs von zehn Arten auf dem Wegzug, wobei fast immer die Weibchen überwiegen. Die Anteile von Alt- und Jungvögeln unterscheiden sich signifikant bei sieben von acht Arten auf dem Heimzug und bei allen 16 Arten auf dem Wegzug, wobei fast immer und besonders auf dem Wegzug der Jungvogelanteil größer als der Altvogelanteil ist. Von 1970 bis 2004 hat der Jungvogelanteil auf dem Wegzug bei zwölf von 16 Arten zugenommen (bei acht signifikant). Auf Helgoland werden die absoluten Fangzahlen stark von lokalen Faktoren beeinflusst. Mit der Berechnung korrigierter Fangzahlenindices (FZkorr) konnte der Einfluss insbesondere der massiven Vegetationsveränderung auf der Insel sowie der Wetter bedingten saisonalen und jährlichen Schwankungen ausgeglichen und eine für vergleichende Aussagen geeignete Datenbasis geschaffen werden. Die FZkorr nahmen in den 45 Jahren bei 49 der 66 berücksichtigten Arten ab, davon bei 40 Arten signifikant. Zehn Arten nahmen zu, davon sieben signifikant, und sieben Arten veränderten sich nicht. Für alle Arten zusammen beträgt die signifikante Abnahme 42 %, für die KMZ 39 % und für die LZ 55 %. Auch die vier verschiedenen Gilden nahmen über den gesamten Untersuchungszeitraum um 33 % (Waldvögel), 58 % (Vögel der offenen Landschaft), 74 % (Vögel der Uferzone) bzw. 46 % (Mischtypen) ab. Neben diesen kritisch zu bewertenden linearen Trendberechnungen verdeutlichen Ausgleichslinien den genaueren Verlauf der Veränderungen und offenbaren Wechsel von Abnahme- und Zunahmephasen. Ein Zunahmetrend bei den Waldvögeln in der zweiten Hälfte des Untersuchungszeitraums wird nur von den KMZ getragen, während die LZ unter den Waldvögeln über den gesamten Untersuchungszeitraum abnahmen. Die Helgoländer FZkorr veränderten sich in verschiedenen Beobachtungszeiträumen überwiegend ähnlich wie die Datenreihen an anderen mittel- und osteuropäischen sowie skandinavischen Beringungsstationen. Insbesondere mit den Fangzahlen von Falsterbo in Südschweden von 1980 bis 1999 (Karlsson et al. 2002) gibt es große Übereinstimmungen. Fangzahlen von Vögeln aus Langzeitprogrammen mit standardisierten Fanggeräten unter konstanten Bedingungen wie die Helgoländer Daten erlauben auch Aussagen zu Bestandsveränderungen. Trotz einer sehr groben Einteilung in nur fünf Kategorien korrelieren die Trends der Helgoländer FZkorr aller Arten von 1970 bis 1990 signifikant mit den Brutbestandstrends in Schweden und Norwegen nach BirdLife International/EBCC (2000). Mit den Bestandstrends in Deutschland, Dänemark und Finnland gibt es hingegen fast keine signifikanten Zusammenhänge. Beim wesentlich genaueren jährlichen Vergleich der Helgoländer FZkorr mit den Sommerbestandsindices in Schweden nach Lindström & Svensson (2005) gibt es deutlichere Übereinstimmungen: Die Datenreihen der beiden Erfassungen von 1975 bis 2004 verlaufen nicht nur bei vielen Arten, sondern auch bei allen Arten zusammen und bei den Zugtypen und Gilden erstaunlich parallel. Dies belegt einen engen Zusammenhang der Helgoländer FZkorr mit den Brutbeständen in Skandinavien, zumindest in Schweden. Insgesamt sind die Veränderungen der auf Helgoland als reinem Durchzugsgebiet ermittelten Fangzahlen durchaus als Indikator für Bestandsveränderungen in Schweden geeignet. Kein Zusammenhang lässt sich zwischen dem großräumigen Klimaphänomen „Nordatlantische Oszillation“ und den FZkorr der einzelnen Arten oder Artengruppen nachweisen. Dagegen gibt es Korrelationen mit der mittleren Niederschlagsrate: Je trockener es in den Regenzeit-Monaten (Juni bis Oktober) vor der Überwinterung (Oktober bis März) im Sahel war, desto geringer waren die FZkorr des folgenden Heimzugs etlicher LZ-Arten. Je trockener es im mediterranen Durchzugsbzw. Überwinterungsgebiet im vorhergehenden Sommer war, desto niedriger waren die Heimzug-FZkorr der LZ bzw. der KMZ auf Helgoland. Schließlich waren auch die Wegzug- FZkorr vieler LZ-Arten, und damit vermutlich ihr vorhergehender Bruterfolg, umso höher, je höher die Niederschlagsraten in den Überwinterungs- und Durchzugsgebieten Sahel und westlicher Mittelmeerraum waren. Offensichtlich ist für eine Vielzahl von LZ-Arten, neben lokalen und aktuellen Bedingungen während der Brutzeit, die „Vorbereitung“ der vorbrutzeitlichen Durchzugs- und Überwinterungsbedingungen fernab der Brutgebiete von großer Bedeutung für Überleben, Kondition und Bruterfolg in der folgenden Brutsaison.With both a high level of standardisation of trapping methods, and it’s remote location in the North Sea, the trapping garden on the small island Helgoland is especially well suited to investigate bird migration. Here, detailed evaluations and graphic presentations of the annual trapping totals covering more than four decades (1960 to 2004) are given for 71 species with in total roughly 501,000 birds ringed, for the whole year and for spring migration and autumn migration separately. The individual trapping dates of 67 “rare” species with less than 25 trappings in this period (n = 340) are compiled in an appendix. From 1970 to 2004, 43.3% of all birds were trapped during spring migration, 56.3% during the autumn migration and only 0.4% between the (species-specific) migration times. The Song Thrush Turdus philomelos and Blackbird Turdus merula were the most frequent species constituting 23% and 22%, respectively, of the total, followed by Garden Warbler Sylvia borin, Robin Erithacus rubecula and Chaffinch Fringilla coelebs with more than 5% each. Nine species made up 1 to 5%, and 21 species 0.1 to 1%. The majority (36 species) made up less than 0.1%, as did each of the “rare” species. 72% of all birds caught were short/medium distance migrants, and 22% long distance migrants. The vast majority of birds were forest birds (96%). The proportions of males and females differed significantly in seven of eight species during spring migration and in six of ten species during autumn migration with the females nearly always outweighing the males. The percentages of adults and juveniles differed significantly during spring migration in seven of eight species and during autumn migration in all of 16 species. Juveniles were nearly always more numerous than adults, particularly during autumn migration. From 1970 to 2004, the percentage of juveniles during autumn migration increased in 12 of 16 species (significantly so in eight species). On Helgoland, the numbers of birds caught were affected strongly by local factors, especially the substantial vegetation change on the island. This and the weather-conditioned seasonal and annual fluctuations could be balanced by the computation of corrected trapping number indices (FZkorr indices), and a database suitable for comparative studies has been created. Between 1960 and 2004, these FZkorr indices decreased in 49 of 66 considered species and significantly so in 40 of them. Ten species increased, thereof seven significantly, and seven species did not change. For all species taken together, numbers decreased significantly by 42%; by 39% in the short/medium distance migrants and 55% in the long distance migrants. Numbers in all four different ecological guilds also decreased; by 33% (forest birds), 58% (farmland birds), 74% (waterfront birds) and 46% (miscellaneous types). In contrast to such linear trends, smoothed lines clarify the exact process of changes and e.g. revealed phases of decrease and increase. An increasing trend in the forest birds in the second half of the period of investigation was caused only by the short/medium distance migrants, while the long distance migrant fraction within the forest birds decreased during the entire period of investigation. The changes of the FZkorr indices at Helgoland in different periods of observation are very similar to data from other Central and Eastern European as well as Scandinavian ringing stations. In particular, they conform very well with the trapping numbers of Falsterbo in South Sweden from 1980 to 1999 (Karlsson et al. 2002). Numbers of birds trapped during standardized long-term programmes under constant conditions such as these also enable statements on population changes to be made. Despite a very rough classification into only five categories, the trends of the FZkorr indices of all shared species correlate significantly with the population trends in Sweden and Norway as given in BirdLife International/EBCC (2000) from 1970 to 1990. However, nearly no significant correlations could be found with population trends in Germany, Denmark and Finland. In a year-by-year comparison of the FZkorr indices at Helgoland with TRIM indices from summer counts in Sweden after Lindström & Svensson (2005) from 1975 to 2004, the data coincide much better. The two series proceed conspicuously parallel, not only in the many individual species, but also in all species together, in the two migration types and in the ecological guilds. This underlines the close coherence of the FZkorr from Helgoland to the populations in Scandinavia, at least in Sweden. As such, the trapping data from Helgoland are well suited as an indicator of population changes in Sweden. No relationships were found between the large-scaled climatic phenomenon “North Atlantic Oscillation” and the FZkorr indices of the single species or the species groups on Helgoland. There were, however, correlations with precipitation: The drier the months of the rainy season (June to October) before hibernation (October to March) in the Sahel, the smaller were the FZkorr indices in the following spring in some long distance migrants. Or, the drier it was in the Mediterranean migration and/or wintering area in the preceding summer, the lower were the FZkorr indices during spring migration in the long distance migrants and/or the short/medium distance migrants on Helgoland. Finally, the FZkorr indices during autumn, and thus probably the foregoing breeding success, of many long distance migrants were higher the higher the precipitation rates in the preceding wintering/passage areas in the Sahel and western Mediterranean were. For many long distance migrants, such a “preparation” of the migration and wintering conditions far from the breeding areas is obviously of great importance for their subsequent condition, survival, and breeding success in the following season

Wir bitten um ein differenziertes Urteil: Möglichkeiten zur Reduktion von Nondifferentiation bei Rating-Skalen

Nondifferentiation ist ein generelles Phänomen bei der Einschätzung von Meinungsgegenständen mittels Rating-Skalen: Zwischen den Meinungsgegenständen wird nicht so deutlich unterschieden, wie aufgrund der Skalen möglich. In zwei experimentellen Studien zu unterschiedlichen Meinungsgegenständen werden in der Literatur diskutierte Verfahren zur Reduzierung der Nondifferentiation zusammen mit einem hierfür bisher nicht verwendeten Verfahren (konstante Summe, KS) hinsichtlich ihres Einflusses auf Nondifferentiation verglichen. Eine erste Studie (N = 139) belegt eine signifikant erhöhte Differenzierung bei KS im Vergleich zu einem verbalen Einschub. Für eine zweite Studie werden in einer Voruntersuchung (N = 138) stark positiv und stark negativ eingeschätzte Meinungsgegenstände ausgewählt, die in der anschließenden Hauptuntersuchung (N = 200) ohne Messwiederholung bewertet werden. Hierbei werden insgesamt 3 verschiedene Verfahren zur Verbesserung der Differenzierung verwendet und einem rein verbalen Einschub gegenübergestellt. Auch hierbei erweist sich die KS generell als das Verfahren, das die höchste Differenzierung bewirkt

Entwicklung eines Sommerreferenzjahres zur Bestimmung der sommerlichen Überhitzung von Gebäuden

Die Ableitung von sommer-fokussierten warmen Referenzjahren aus langjährigen Klimadaten erfolgt in Europa bisher nach unterschiedlichen, länderspezifischen Methoden, die sich in der Regel allein auf die Trockentemperatur beziehen und in der Auswahl eines zusammenhängenden realen Sommerhalbjahres resultieren. Simulationsergebnisse zur sommerlichen Überhitzung von natürlich belüfteten Gebäuden in Deutschland und Großbritannien zeigen jedoch für einige Wetterstationen weniger Überhitzung für Simulationen mit dem sommer-fokussierten Referenzjahr als für solche mit dem entsprechenden Testreferenzjahr (TRY) für den gleichen Ort. Dies gilt insbesondere dann, wenn einzelne Monate miteinander verglichen werden. Neben der Wahl eines kompletten Halbjahres, das sowohl extrem warme als auch vergleichsweise kühle Monate beinhalten kann, liegt dies vor allem begründet in der fehlenden Berücksichtigung der Solarstrahlung bei der Auswahl eines warmen Referenzjahres, die jedoch eine wichtige Rolle für sommerliche Überhitzungserscheinungen in Gebäuden spielt. Eine verlässliche, allgemein anerkannte Methode zur Erstellung von sommer-fokussierten Referenzjahren erscheint daher auch im Hinblick auf die rechtlichen Rahmenbedingungen in der Europäischen Union, die Strategien zur natürlichen Belüftung von Neubauten und Sanierungen begünstigen, erforderlich. Diese Arbeit präsentiert einen Ansatz zur Erstellung eines Sommerreferenzjahres (Summer Reference Year – SRY) aus dem TRY eines gegebenen Ortes und langjährigen Klimadaten. Die existierenden TRY-Daten werden hierbei skaliert, um den Bedingungen für Trockentemperatur und Solarstrahlung von nah-extremen Kandidatenjahren zu entsprechen, die separat über einen statistischen Ansatz ausgewählt werden. Anschließend werden Feuchttemperatur, Windgeschwindigkeit und Luftdruck des TRY durch lineare Korrelationen mit der Trockentemperatur angepasst, um die entsprechenden SRY-Daten zu erhalten. Der Vorteil dieser Methode liegt darin, dass das grundlegende Wettermuster des TRY erhalten bleibt und somit eine klare Relation zwischen SRY und TRY besteht, die eine Vergleichbarkeit von Simulationsergebnissen gewährleistet. Über vergleichende Gebäudesimulationen mit dem zugrundeliegenden TRY und langjährigen Klimadatensätzen kann nachgewiesen werden, dass sich das SRY zur Ermittlung sommerlicher Überhitzungserscheinungen in natürlich belüfteten Gebäuden eignet. Weiterhin kann gezeigt werden, dass das SRY im Gegensatz zur direkten Nutzung eines Kandidatenjahres für einen nah-extremen Sommer die Möglichkeit eines monatsscharfen Vergleichs mit dem TRY erlaubt und frei von wenig repräsentativen Besonderheiten ist, die in den entsprechenden Kandidatenjahren vorhanden sein können

Explorative Multidimensionale Skalierung

"Die Verwendung der multidimensionalen Skalierung (MDS) als exploratives Datenanalyseverfahren wird dargestellt mit Hilfe einiger Beispiele. Der Schwerpunkt liegt auf den verschiedenen Ansätzen zur Interpretation von MDS-Darstellungen. Diskutiert und illustriert werden Dimensionen, Richtungen, Regionen, Gebiete und Cluster aus Lehrbuch- und aus praxisorientierter Perspektive." (Autorenreferat)"How to use multidimensional scaling (MDS) as an exploratory data analysis technique is discussed with the help of various examples. The emphasis is on interpreting MDS representations. Discussed and illustrated are dimensions, directions, regions, patches and clusters in textbook form and from an applied perspective." (author's abstract