A criteria-based approach to modelling the task requirements and student abilities in computer science education

Für das junge Schulfach Informatik existieren meist nicht empirisch sondern fachlich begründete Kompetenzmodelle, die einen Sollzustand beschreiben. Bislang fehlen Ansätze, die den Istzustand modellieren und einen Bezugsrahmen liefern, in dem informatikspezifische Anforderungen von Aufgaben und die korrespondierenden Fähigkeiten von Schülern darstellbar sind. In dieser Arbeit wird eine Methodik erprobt, ein solches Strukturmodell auf empirisch-analytischem Weg zu gewinnen. Das Modell soll sichtbar machen, welche Dimensionen das System kognitiver Anforderungen und Fähigkeiten aufspannen, die charakteristisch für die Informatik in der Sekundarstufe sind. Als umfangreiches Untersuchungsmaterial stehen die Aufgaben und Schülerantworten des Online-Wettbewerbs Informatik-Biber zur Verfügung, der jährlich mehrere Tausend Teilnehmer aller Schularten und Jahrgangsstufen der Sekundarstufe verzeichnet, Mädchen wie Jungen. Davon ausgehend, dass neben dem Fachinhalt kognitive Kriterien wie der Abstraktionsgrad oder die Lernzielstufe die Aufgabenschwierigkeit bestimmen, wird ein Katalog informatikspezifischer Merkmale erstellt. In einer Expertenbefragung werden die Wettbewerbsaufgaben nach den Merkmalen klassifiziert. Eine Clusteranalyse der Aufgaben arbeitet vier Typen heraus: Wiedergabe, Verständnis, Anwendung und Problemlösung, die als Anforderungsdimensionen interpretiert werden. Weiter führt die Idee, dass ein Schüler, der etwa abstrakte Aufgaben löst, die Fähigkeit besitzt, mit Abstraktion umzugehen. Die Aufgabenmerkmale werden mit den Antwortmustern der Teilnehmer zu Merkmalsmustern verknüpft. Faktorenanalysen dieser Muster berechnen Faktoren, die als Fähigkeitsdimensionen interpretiert werden. Hier tritt die Datenproblematik zutage, die darin besteht, dass die Merkmale bereits im Aufgabensatz nur in bestimmten Kombinationen vorkommen. Sie sind konfundiert. So ist das Ergebnis der Aufgabenanalyse ein fundierter Entwurf eines mehrdimensionalen Anforderungsmodells. Der Ertrag aus der Analyse der Schülerantworten und Merkmalsmuster ist zunächst ein Vorgehensbericht, der auch die Konfundierung thematisiert, die die Gültigkeit des Fähigkeitsmodells in Frage stellt. Um die Fähigkeitsdimensionen zu überprüfen, wird ein Leitfaden für weitere Iterationen der Modellentwicklung erstellt, der die gezielte Aufgabenkonstruktion empfiehlt.Most competence models for informatics in secondary education are determined according to the structure of the subject. Therefore they represent the target state. Up to now, models representing the actual state, derived from empirical results, are rarely described. There is a strong need for approaches to describing the actual state in terms of task requirements and student abilities. In this thesis an empirical statistical procedure of developing a structural model is proven. The aim is to visualize the dimensions spanning the system of characteristic cognitive requirements and corresponding abilities relevant in computer science in secondary education. The German Informatik-Biber is member of an international initiative for the promotion of informatics, addressing students of all types of secondary school, girls and boys. The yearly contest with thousands of participants provides extensive and rich data for the investigation. Assuming that the task difficulty, beneath contents, depends on cognitive characteristics, a catalogue of criteria is specified. Criteria are, for example, the level of abstraction, or Bloom’s taxonomic level of learning goals. The tasks of the Informatik-Biber are classified into criteria categories through expert rating. A cluster analysis of the classified tasks results in four types: reproduction, comprehension, application, and problem solving. The types are interpreted as four dimensions of task requirements. The idea that someone who is able to solve abstract tasks is capable to deal with abstraction, as an example, leads even further. The criteria and the students’ answer patterns are combined to students’ criteria patterns. Factor analyses result in factors that can be interpreted as dimensions of students’ abilities. At this point a problem of the task set emerges: some criteria cannot be separated from each other because they only occur in certain combinations. So there are two conclusions. Task analysis results in a multidimensional model of task requirements, while pattern analysis of student answers does not result in a valid model. In fact the outcome is a guideline for continuing iterations of model development, placing emphasis on the construction of tasks, eliminating the problem of confounded variables. The intention is to prove the dimensions of student abilities

Informatikdidaktische Diskussion über das Design eingebetteter Systeme

Die Ausbildung künftiger Entwickler eingebetteter Systeme ist heute geprägt von einer subjektiven, kulturspezifischen Gestaltung von Lehr-Lernprozessen, welche die Ergebnisse der Kompetenzforschung zumeist nicht berücksichtigen. Es besteht Konsens, dass in Kompetenzmodellen strukturierte Kompetenzen –kognitive Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen –notwendig sind, um zwischen abstrakten Bildungszielen und konkreten Lehr-Lernprozessen zu vermitteln. Damit stellen die Erforschung von Kompetenzmodellen und Pfaden der Kompetenzaneignung grundlegende Forschungsbedarfe zur Hochschuldidaktik der technischen Informatik dar. In dieser Arbeit werden Konzepte zur theoretischen Fundierung von Laborpraktika der technischen Informatik entwickelt, welche auf Ergebnissen des von der Deutschen Forschungsgemeinschaft geförderten Projektes Kompetenzentwicklung mit eingebetteten Mikro- und Nanosystemen (KOMINA) aufbauen. In der vorliegenden Arbeit wird das Verständnis von eingebetteten Systemen als Teil informatischer Curricula insofern erweitert, als dass sich diese Systeme als Lerngegenstand eignen, um Kompetenzen verschiedener Informatikdisziplinen zu fördern und damit nicht auf die technische Informatik beschränkt sind. Eine Taxonomie zur Vergleichbarkeit fachdidaktischer Publikationen zu eingebetteten Systemen wird weiterentwickelt und angewandt, um institutionelle Besonderheiten sowie die Vielseitigkeit des Praxisfeldes zu erfassen. Forschungsgegenstand ist das im Rahmen von KOMINA entwickelte Entwurfs- und Anwendungspraktikum für eingebettete Systeme. Zielgruppe sind Studierende der Informatik. Es werden typische Lernhürden identifiziert, wodurch neue Erkenntnisse, über die formative Evaluation des unter Beteiligung des Autors entwickelten und durchgeführten Praktikums hinaus, gewonnen werden. Diese Erkenntnisse begründen die Notwendigkeit neuer didaktischer Konzepte und lernförderlicher Software unter Berücksichtigung institutioneller Besonderheiten sowie zielgruppenspezifischer Vorkenntnisse. Kognitive Strukturen als Komponente didaktischer Systeme werden in diesem Forschungsprojekt erforscht. Sie dienen als Basis für die informatikdidaktische Verfeinerung des in KOMINA empirisch evaluierten Kompetenzstrukturmodells für das Entwickeln eingebetteter Mikro- und Nanosysteme. Bislang wurden Erarbeitungsreihenfolgen informatorischer Fachkonzepte in didaktischen Systemen betrachtet, welche drei Funktionen besitzen. Die Orientierung der Lernenden im Fachgebiet, die Organisation zur Planung von Lehr-Lernprozessen sowie die Diskussion didaktischer Entscheidungen. In diesem Beitrag zur Grundlagenforschung zur Hochschuldidaktik der technischen Informatik steht die Diskussion didaktischer Entscheidungen bei der Gestaltung von Lehr-Lernprozessen und Pfaden der Kompetenzaneignung im Vordergrund. Deshalb werden die Anforderungen an die Darstellung kognitiver Strukturen – Ausdrucksstärke, Übersichtlichkeit und Nachvollziehbarkeit – zugunsten der Diskussion didaktischer Entscheidungen angepasst. Der Autor stellt Forschern zur Hochschuldidaktik der technischen Informatik Konzepte bereit, die es ermöglichen Fachkonzepte und Lehr-Lernprozesse zu analysieren sowie durch Anpassung an institutionelle Besonderheiten theoretisch fundiert zu gestalten. Dies sind insbesondere eine Taxonomie zur Identifikation von Lernhürden, die Methodik zur Ausdifferenzierung von Kompetenzen mit Bezug zu den identifizierten Lernhürden, die Visualisierung kognitiver Strukturen mit diesen Kompetenzen im Zentrum sowie die in der Hauptverantwortung des Autors entwickelte lernunterstützende Software Explorative Learning and Visualization Environment. Diese dient als Beispiel für den Einsatz von Simulationen in Laborpraktika der technischen Informatik. Es wird damit exemplarisch gezeigt, wie die informatikdidaktische Verfeinerung des Kompetenzstrukturmodells in Verbindung mit kognitiven Strukturen und lernförderlicher Software zur Überwindung der mithilfe der entwickelten Taxonomie identifizierten Lernhürden eingesetzt werden können.Today, the education of future developers of embedded systems is characterized by a subjective, culture-specific design of teaching and learning processes. This design, mostly, does not take the results of research on competences into account. There is a consensus that competences – cognitive abilities and skills used to solve specific problems – and competence models are needed to mediate between abstract and concrete educational goals of teaching and learning processes. Therewith, the exploration of competence models and paths of competence acquisition are fundamental research needs for didactics of computer engineering at university. Within this work, based on the results of the project competence development with embedded micro- and nanosystems (KOMINA) funded by the German Research Foundation, approaches for a theoretical foundation of laboratory courses of computer engineering have been developed. Within this thesis, the understanding of embedded systems as a part of computer science curricula has been broadened since it is not limited to computer engineering. While these systems are also suitable as learning objects to promote competences within various computer science disciplines. A taxonomy to foster the comparability of research on didactics of computer engineering is further developed and applied in order to conceive institutional particularities and the versatility of the practice field. The design and application laboratory for embedded systems, developed in the context of KOMINA, is the object of research. Students of computer science are the target group. In addition to the formative evaluation of the developed laboratory the taxonomy enables the identification of typical learning barriers. These findings justify the need for new educational concepts as well as learning software, taking institutional particularities and target group specific knowledge into account. Cognitive structures as a component of Didactic Systems are investigated. As they serve as a basis for the refinement of the empirically evaluated competence structure model for the development of embedded micro- and nanosystems. So far, the sequences of teaching units have been considered in Didactic Systems, which posses three functions. The orientation of the learner in the topic, the organization of the planning of teaching and learning processes as well as the discussion of didactic decisions. In this work, regarding the contribution to basic research on didactics of computer engineering at university, the discussion of didactic decisions in the design of educational processes and paths of competence acquisition has priority. Therefore, the demands on the representation of cognitive structures – expressiveness, clarity and comprehensibility – are adjusted in favor of the discussion of didactic decisions. The author provides concepts which allow researchers to analyze technical concepts as well as to develop educational processes in a theoretically established manner. These are, in particular, a taxonomy to identify learning barriers, the methodology for the differentiation of competences related to the identified learning hurdles, and the visualization of cognitive structures with these competences at center. Additionally, the learning software Exploratory Learning and Visualization Environment, that has been developed with the author’s responsibility, is presented. This software serves as an example for the use of simulations in laboratory courses of computer engineering. Thus, the combination of the refinement of the competence structure model in conjunction with cognitive structures in addition to learning software, which can be applied to overcome the identified learning hurdles, is shown as an example

Entwicklung und Erprobung eines Instruments zur Messung informatischer Modellierungskompetenz im fachdidaktischen Kontext

Die Auswertung der Ergebnisse internationaler Vergleichsstudien haben Mängel am deutschen Bildungssystem aufgedeckt. In diesem Zusammenhang rückte die Vermittlung von Kompetenzen in das Zentrum bildungspolitischer Lösungsstrategien. Um die Qualität des deutschen Bildungssystems zu sichern, wird die Entwicklung nationaler Bildungsstandards gefordert, die verbindliche Anforderungen an das Lehren und Lernen in der Schule darstellen. Diese Bildungsstandards sollen sich nach Vorgaben des Bildungsministeriums für Bildung und Forschung auf wissenschaftlich fundierte Kompetenzmodelle stützen, die in Zusammenarbeit von Fachdidaktikern, Fachwissenschaftlern und Psychologen entwickelt werden. Ebenso wird hier explizit die Einbeziehung und Entwicklung entsprechender Verfahren zur Testentwicklung gefordert.In Anbetracht dieser bildungspolitischen Umstände, beschreibt die vorliegende Dissertationsschrift die Entwicklung eines wissenschaftlich fundierten Kompetenzstrukturmodells und eines Kompetenzmessinstruments für einen zentralen Teilbereich der informatischen Bildung, der objektorientierten Modellierung. Um die Bedeutung des Gegenstandsbereichs zu verdeutlichen, wird die Relevanz der Modellierung für die Informatik aus fachwissenschaftlicher und fachdidaktischer Perspektive erörtert. Im weiteren Verlauf wird dargestellt, wie die Gestaltung eines Kompetenzstrukturmodells in zwei Schritten erfolgen kann. Zunächst erfolgt eine normativ theoretische Ableitung von Kompetenzdimensionen und -komponenten anhand von einschlägiger Fachliteratur. In einem weiteren Schritt findet die empirische Verfeinerung des theoretischen Rahmenmodells durch eine Expertenbefragung (durchgeführt in 2009 und 2010), bei der Fachwissenschaftler, Fachdidaktiker und Fachleiter für das Fach Informatik befragt wurden, statt. Auf Grundlage des wissenschaftlich fundierten Kompetenzmodells wirdBased on the outcomes of international studies, which show the inadequateness of the German education system, fostering learners' competencies becomes increasingly relevant. In order to further improve the quality of the German education system, educational policy requires the education system to implement national educational standards. These standards delineate how learning and teaching in schools should take place. Teaching and learning should be based on empirically-grounded competence models that should be developed by domain experts and psychologists cooperatively. For the evaluation of these competence models, educational policy demands the development of appropriate instruments to measure relevant competencies as well. In order to fulfill these demands, the development of an empirically-grounded competence model and a respective instrument will be described for the domain of computer science modeling. First, the relevance of object-oriented modeling for computer science education will be shown. Hereafter, the development of an empirically-grounded competence model and an associated test instrument will be shown.The development of the competence model requires two intermediate steps: In the first step it will be shown how the dimensions and components of the model can be derived theoretically. In a second step, the competence model will be refined empirically by referring to the results of the qualitative content analysis of experts interviews conducted in 2009 and 2010. In the interviews, three groups of experts have been interviewed: (1) experts of computer science, (2) experts of computer science education and (3) expert computer science teachers.Based on the empirically-grounded competence model, the development of an instrument for measuring competencies will be described. Here, the creation of items to prove the respective competencies covered in the competence model will be illustrated.Tag der Verteidigung: 05.06.2013Paderborn, Univ., Diss., 201