Explainability and Human Supervision in AI Systems in Education: Regulatory Framework

Abstract

Der Einsatz Künstlicher Intelligenz (KI) in der beruflichen Bildung bietet erhebliches Potenzial, ist jedoch mit ethischen und regulatorischen Herausforderungen verbunden. Dieser Beitrag analysiert die ethischen und regulatorischen Implikationen von KI in der beruflichen Bildung und präsentiert Strategien zur Minimierung potenzieller Risiken. Anhand eines praxisorientierten Beispiels KFZ Elektromotor wird die Implementierung eines KI-Systems in einem beruflichen Bildungszentrum veranschaulicht. Es werden konkrete Lösungsansätze vorgestellt, um Data-Biases, Datenschutzverletzungen und andere ethische Bedenken zu adressieren. Durch die sorgfältige Selektion und Aufbereitung von Trainingsdaten sowie den Einsatz erklärbarer KI-Modelle wird die Entwicklung fairer, transparenter und zuverlässiger KI-Systeme in der Bildung gefördert. Der Beitrag betont die Notwendigkeit der Konformität mit ethischen Prinzipien bei der Entwicklung und Implementierung von KI-Systemen. Im Kontext des EU AI Acts wird insbesondere auf die Kategorie der hochrisikobehafteten KI-Systeme eingegangen, zu denen KI-Systeme in der beruflichen Bildung potenziell zählen können. Trotz der regulatorischen Herausforderungen werden Akteure ermutigt, KI zur Erstellung von Bildungsinhalten einzusetzen. Die implementierte Lösung sieht eine menschliche Aufsicht mit entsprechenden IT-Systemen und Richtlinien vor, die als Middleware und Vertrauensinstanz fungiert.The use of artificial intelligence (AI) in vocational education and training offers considerable potential, but is associated with ethical and regulatory challenges. This article analyses the ethical and regulatory implications of AI in vocational education and training and presents strategies for minimising potential risks. The implementation of an AI system in a vocational training centre is illustrated using a practical example of an electric motor for motor vehicles. Concrete solutions are presented to address data biases, data protection violations and other ethical concerns. The careful selection and preparation of training data and the use of explainable AI models promote the development of fair, transparent and reliable AI systems in education. The article emphasises the need for compliance with ethical principles in the development and implementation of AI systems. In the context of the EU AI Act, particular attention is paid to the category of high-risk AI systems, which may potentially include AI systems in vocational education. Despite the regulatory challenges, stakeholders are encouraged to use AI to create educational content.The implemented solution provides for human oversight with appropriate IT systems and guidelines that act as middleware and a trusted authority