Kirchner, Elsa

Müller, Ferdinand

Schüßler, Martin

German

SSOAR - Social Science Open Access Repository 

www.ssoar.infoDie Regulierung Künstlicher Intelligenz -Neuer Rechtsrahmen für AlgorithmischeEntscheidungssysteme?Müller, Ferdinand; Schüßler, Martin; Kirchner, ElsaErstveröffentlichung / Primary PublicationArbeitspapier / working paperEmpfohlene Zitierung / Suggested Citation:Müller, F., Schüßler, M., & Kirchner, E. (2020). Die Regulierung Künstlicher Intelligenz - Neuer Rechtsrahmen fürAlgorithmische Entscheidungssysteme? (Weizenbaum Series, 12). Berlin: Weizenbaum Institute for the NetworkedSociety - The German Internet Institute. https://doi.org/10.34669/wi.ws/12Nutzungsbedingungen:Dieser Text wird unter einer CC BY Lizenz (Namensnennung) zurVerfügung gestellt. Nähere Auskünfte zu den CC-Lizenzen findenSie hier:https://creativecommons.org/licenses/by/4.0/deed.deTerms of use:This document is made available under a CC BY Licence(Attribution). For more Information see:https://creativecommons.org/licenses/by/4.0Die Regulierung Künstlicher  Intelligenz 1Die Regulierung Künstlicher  Intelligenz - Neuer Rechtsrahmen für Algorithmische Entscheidungssysteme?Ferdinand Müller, Martin Schüßler, Elsa KirchnerOktober 2020Weizenbaum Series #12Thesenpapier2HERAUSGEBERDer Vorstand des Weizenbaum-Instituts e.V.Prof. Dr. Christoph NeubergerProf. Dr. Sascha FriesikeProf. Dr. Herbert ZechDr. Karin-Irene EiermannHardenbergstraße 3210623 BerlinTel.: +49 30 700141-001E-Mail: info@weizenbaum-institut.deWeb: www.weizenbaum-institut.deAUTORENFerdinand Müllerferdinand.mueller@rewi.hu-berlin.deMartin Schüßlerschuessler@tu-berlin.deElsa Kirchnerelsa.kirchner@dfki.deREDAKTION / LAYOUT UND SATZRoland TothFilip StiglmayerCOPYRIGHTDiese Veröffentlichung ist unter der Creative-Commons-Lizenz „Namensnennung 4.0 International“ (CC BY 4.0) lizenziert:https://creativecommons.org/licenses/by/4.0/deed.deDOI 10.34669/wi.ws/12Diese Arbeit wurde durch das Bundesministerium für Bildung und For-schung (BMBF) gefördert (Förderkennzeichen: 16DII111 – „Deutsches Internet-Institut“).Die Regulierung Künstlicher  Intelligenz 3Die Regulierung Künstlicher  Intelligenz - Neuer Rechtsrahmen für Algorithmische Entscheidungssysteme?Ferdinand Müller1, Martin Schüßler2, Elsa Kirchner3Oktober 20201 Ferdinand Müller arbeitet am interdisziplinären Weizenbaum-Institut für die vernetzte Gesell-schaft und beschäftigt sich mit den Grundlagen künstlicher Intelligenz im Rechtsverkehr.2 Martin Schüßler, ebenfalls vom Weizenbaum-Institut, ist Informatiker und Mensch-Maschi-ne-Interaktions-Forscher im Bereich explainable AI.3 Dr. Elsa Kirchner vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) ist Biologin und hat in der Informatik im Bereich der Mensch-Maschine-Interaktion promo-viert. Sie arbeitet an Methoden des Interactive Machine Learning.Weizenbaum Series #12Working Paper4Die Diskussion um neue Gesetze für die Technologien der Künstlichen Intelligenz läuft auf Hochtouren. Allerorts werden Strategien, Leitlinien und Empfehlungen ver-öffentlicht. Doch was macht die Technik in ihrem Wesenskern aus? Was ist ihr speziel-les Risiko? Die Autor*innen wollen fünf Thesen für eine Regulierung aufstellen, die bei der Suche und der Auswahl eines neuen Rechtsrahmens bedacht werden müssen.11. Technologie “des täglichen Lebens”Täglich ist ein Großteil der Bevölkerung in entwickelten Ländern von der Anwen-dung solcher Technik betroffen - oftmals ohne, dass dies bewusst zur Kenntnis ge-nommen wird. Soziale Netzwerke, Online-Shopping, Nachrichtenkonsum, Kom-munikation - in all diesen Bereichen werden mittlerweile völlig routiniert teil- und vollautomatisierte Algorithmische Entscheidungssysteme (AES) eingesetzt. Auch in Europa dienen AES mittlerweile nicht nur Unternehmen zur Verfolgung kommer-zieller Zwecke, sondern werden schon heute zur Durchführung und Unterstützung staatlicher Tätigkeiten verwendet.Uns erwartet damit eine Zukunft, in der wir auch im Alltag immer mehr auf die Tech-nik angewiesen sind. Möglicherweise könnten wir sogar in bestimmten Situationen zur Interaktion gezwungen sein. Umso drängender erscheint damit die Frage, ob die bestehenden Gesetze einen ausreichenden Schutz vor den Risiken dieser Technologie bieten. Gleichzeitig bietet die Technik ein enormes Potenzial.2. Aktuelle Gesetzeslage ist unzureichendIn der Rechtswissenschaft wird bereits seit einiger Zeit diskutiert, welche neuen Risi-ken durch den zunehmenden Gebrauch der Technologie für immaterielle wie materiel-le Rechtsgüter entstehen und wie diese regulatorisch erfasst werden können.21 Das Thesenpapier beruht auf dem Beitrag „Ein “KI-TÜV” für Europa? Eckpunkte einer hori-zontalen Regulierung Algorithmischer Entscheidungssysteme”, in: Asmussen/Golla/Kuschel, Tagungsband GRUR Jr. 2020, Baden-Baden 2020, S. N.N.2 L. Käde/S. von Maltzan, Die Erklärbarkeit von Künstlicher Intelligenz (KI), CR 2020, S. 66 ff.; A. Allar, Rechtliche Herausforderungen Künstlicher Intelligenz, ZUM2020, S. 325ff.; H. Zech, Risiken Digitaler Systeme: Robotik, Lernfähigkeit und Vernetzung als aktuelle Herausforderun-gen für das Recht, Weizenbaum Insights 2020, abrufbar unter: https://kurzelinks.de/i2sq;B. Jakl, Das Recht der Künstlichen Intelligenz - Möglichkeiten und Grenzen zivilrechtlicher Regu-lierung, MMR2019, S. 711ff.; S. Meyer, Künstliche Intelligenz und die Rolle des Rechts für Inno-vation, ZRP 2018, S. 233 ff.; G. Borges,  Rechtliche Rahmenbedingungen für autonome Systeme, NJW  2018,  S.  977 ff.;  T. Burri, Künstliche Intelligenz und internationales Recht, DuD 2018, S. 603 ff.; M. Herberger, “Künstliche Intelligenz” und Recht, NJW 2018, S. 2825 ff.; M. Martini, Die Regulierung Künstlicher  Intelligenz 5Herkömmliche Zertifizierungs- und Zulassungsverfahren stehen auf dem Prüfstand und müssten angepasst werden. Die Mehrheit der Befragten einer repräsentativen Um-frage in Deutschland im Januar 2020 spricht sich für die Einrichtung einer besonderen Prüfstelle und eine damit einhergehende staatliche Regulierung aus.3 Die Europäische Kommission hat die Problemlage erkannt und arbeitet u.a. mit einer hochrangigen Ex-pertengruppe an einer gesamteuropäischen Lösung. Zuletzt erfolgte eine Öffentliche Konsultation im Rahmen der Veröffentlichung eines Weißbuches zum aktuellen Stand der Debatte.4Des Öfteren wird auch argumentiert, dass die 2018 in Kraft getretene europäische Datenschutz-Grundverordnung für die Handhabung der Technologie ausreichen wür-de. Die Verordnung konzentriert sich jedoch auf den Schutz personenbezogener Daten und die damit verbundene Wahrung des informationellen Selbstbestimmungsrechtes. Deswegen ist sie nur unzureichend geeignet für die Handhabung der durch AES ent-stehenden Risikobereiche.3. Definition und Abgrenzung der Technologie entscheidendAls eine Ausprägung moderner KI-Technologie stimmen die technischen Prämissen von Algorithmischen Entscheidungssystemen in den Grundlagen mit denen der elekt-ronischen Datenverarbeitung überein: Maschinell lesbare Informationen in Form von Daten werden analog oder digital durch das System aufgenommen, verarbeitet und in einem sich analog oder digital manifestierenden Ergebnis ausgegeben. Die Verbes-serung der Computertechnik und die massenhafte Nutzung von personenbezogenen Daten ermöglichten jedoch bedeutende Fortschritte.Im Unterschied zur bisherigen Technik können solche Systeme im höheren Maße als bislang selbstständig bei der Informationsgewinnung, -verarbeitung und -aus-gabe agieren, sodass auch die Bearbeitung großer Datenmengen effizient möglich ist (“Big Data”). Moderne AES verwenden zur Datenverarbeitung teilweise vielschich-tige, nicht-lineare Modelle (“Artificial Neural Networks”), die auch die Abbildung äußerst komplexer Prozesse ermöglicht, sodass etwa das Verständnis menschlicher Sprache oder die Bilderkennung ermöglicht wird. Manche AES sind zudem in der Algorithmen als Herausforderung für die Rechtsordnung, JZ2017, S. 1017ff.; zur Diskussion in den USA siehe A. Tutt, An FDA For Algorithms, Administrative Law Review 69 (2017), S. 83ff.3 “Sicherheit und Künstliche Intelligenz”, Studie des VdTÜV vom Januar 2020, abrufbar unter: https://kurzelinks.de/fm134 Dokument abrufbar unter: https://kurzelinks.de/e5uu.6Lage, ihre technischen Parameter im Laufe der Verwendung zu justieren und zu op-timieren, so dass diese Systeme auch bei sich stetig verändernden Rahmenbedingun-gen effektiv eingesetzt werden können.In den meisten Fällen ist ein Mensch Bestandteil des Systems, welcher die maschinell erstellte Entscheidungsempfehlung endgültig formuliert oder umsetzt, so dass ein teil-automatisiertes AES vorliegt. Einige AES agieren jedoch in ihrem Kernbetriebsablauf gänzlich ohne einen menschlichen Operator, so dass von vollautomatisierten AES ge-sprochen werden sollte.4. Entstehen neuer RisikenDiese von herkömmlicher Computertechnik zu unterscheidenden Eigenschaften füh-ren auch zum Entstehen von neuartigen technischen Risiken. Bei der Verhütung und Bekämpfung vieler dieser Risiken steht die Forschung jedoch oft noch am Anfang.Das Risiko einer unerkannten Verzerrung des Systemergebnisses (“Biased AI”), wel-ches als Problem der Computertechnik als sich selbst bestätigendes Denksystem be-reits bekannt war, verschärft sich mit dem zunehmenden Einsatz von AES. Gerade umfangreiche Modelle sind als Grundlage von AES durch ihre Komplexität anfällig für Fehler in der Auswahl und der Priorisierung bestimmter Parameter und Daten. Die subjektiven Vorurteile und Einstellungen von AnwenderInnen, EntwicklerInnen oder KonstrukteurInnen können sich in der erzeugten Computertechnik fortsetzen oder so-gar verstärken. Dadurch kann es – gerade beim Einsatz der Technik im Rahmen ho-heitlicher Tätigkeiten – zu ungewollten Diskriminierungen kommen, welche der Vor-stellung einer “objektiven Maschine” widersprechen.Von dem Risiko der Intransparenz maschineller Prozesse (“Blackbox AI”) spricht man, wenn die Ergebnisausgabe eines AES sich nicht durch einen Menschen interpre-tieren oder verstehen lässt. Wenn sich maschinelle Abläufe nicht mehr nachvollziehen lassen, ist die Aufklärung von Schäden im Nachhinein nicht möglich. Diese Intranspa-renz kann einerseits technische Ursachen haben, wenn etwa die Anzahl der Parameter in einem verwendeten Modell so groß ist, dass eine Vorhersagbarkeit von Ergebnissen nicht mehr gegeben ist. Auch können im Falle von Künstlichen Neuronalen Netzen Parameter in unüberschaubarer, nicht-linearer Weise zusammenwirken, was das Ver-ständnis enorm erschweren kann. Diese Intransparenz kann jedoch auch wirtschaft-lich-organisatorische Ursachen haben. Für Unternehmen, die AES entwickeln, kann es von Vorteil sein, sich auf das Argument der technisch geschuldeten Intransparenz zurückzuziehen oder absichtlich solche nicht- interpretierbaren Modelle zu verwen-Die Regulierung Künstlicher  Intelligenz 7den, um den wirtschaftlichen Wert eines AES zu bewahren. Denn ein interpretierbares Modell kann prinzipiell auch rekonstruiert werden.Die Veränderungsfähigkeit von AES kann starke Vorteile für viele Anwendungsberei-che mit sich bringen, aber auch Risiken entstehen lassen. Durch einen sich permanent wiederholenden Prozess kann erreicht werden, dass eine Abbildung, also ein Modell eines Prozesses einer Datenlage oder auch kognitive Phänomene auf Maschinen, sich Schritt für Schritt verbessert. Jedoch kann dadurch prinzipiell nicht mehr gewährleis-tet werden, dass die Funktion und Korrektheit, die zu Beginn des Einsatzes attestiert wurde, während der weiteren Verwendung gegeben bleibt.5. Ausgleich zwischen Sicherheit und Innovation findenDie Nutzung von Hochtechnologie birgt regelmäßig das Entstehen von Risiken. Der Gesetzgeber hat hier die Wahrung seiner grundgesetzlich verankerten Schutzpflicht mit dem Bedürfnis nach einer Steigerung des gesellschaftlichen Wohlstandes in Aus-gleich zu bringen. Neue Regelungen dürfen die bestehenden und noch zu erwartenden Innovationen in diesem Bereich möglichst nicht verhindern oder ausbremsen.Bei der Regulierung von AES tritt das Problem hinzu, dass diese Systeme in äußerst unterschiedlichen Anwendungsbereichen eingesetzt werden. Eine horizontale Rege-lung, die – ähnlich der DS-GVO – für alle AES gleichermaßen gelten soll, muss daher zwei Dimensionen bedenken:• Systembezogene Risiken: Dies sind die bereits bei 3. dargestellten, technikspezi-fischen Risiken, die bei allen Anwendungsformen von AES auftreten können - Ri-siken der Verzerrung, der Transparenz und der Veränderungsfähigkeit.• Anwendungsbezogene Risiken: Das sind zum anderen die anwendungsspezifi-schen Risiken, die sich aus dem jeweiligen technischen System ergeben. Ein au-tonomes Auto gefährdet andere Rechtsgüter stärker als bspw. eine Dating-App. Beides kann jedoch ein AES darstellen, wenn die technischen Gegebenheiten vor-liegen.Wenn man die system- mit den anwendungsbezogenen Risiken ins Verhältnis setzt, kann das spezifische Risiko Algorithmischer Entscheidungssysteme bestimmt werden.Diese Einstufung kann dann zur Ermittlung entsprechender Regulierungsmaßnahmen-dienen. Auch die Unterscheidung zwischen einem teil-und einem vollautomatisierten AES sollte Einfluss auf das Ausmaß der gesetzlichen Verpflichtung haben.8hohes anwendungsbezogenes Risikohohes systembezogenes Risikoniedriges anwendungsbezogenes Risikoniedriges systembezogenes RisikoDAAbb. 1. Regulierungsmaßnahmen algorithmischer EntscheidungssystemeBei einem autonomen Auto (A) sind stärkere Regulierungsmaßnahmen zu ergreifen (Gelb). Bei einer Dating-App (D) sind weniger einschneidende Maßnahmen erforderlich (Grün). Das Bestehen eines hohen AES-Risikos (Rot) spricht für das Verbot oder starke Regulierung einer Anwendung.Als Regulierungsmaßnahmen in Betracht kommen u.a.:• Einführung einer Betreiberhaftung verbunden mit einer Pflichtversicherung,• Einführung eines sektorspezifischen Registers,• Überwachung durch eine Aufsichtsbehörde,• Auflagen zur Evaluation der systembezogenen Risiken vor Einführung,• Live-Schnittstellen, die bei Erreichen kritischer Limits einen Alarm senden,• Technische Sicherheitsmaßnahmen, die beim Versagen des Systems einen Schutz vor physischen Schäden gewährleisten und die• Einführung von speziellen Zertifizierungen und Normierungen.

Die Regulierung Künstlicher Intelligenz - Neuer Rechtsrahmen für Algorithmische Entscheidungssysteme?

https://www.ssoar.info/ssoar/bitstream/document/70225/4/ssoar-2020-mueller_et_al-Die_Regulierung_Kunstlicher_Intelligenz.pdf

Die Regulierung Künstlicher Intelligenz - Neuer Rechtsrahmen für Algorithmische Entscheidungssysteme?

Abstract

Similar works

Full text

Available Versions

SSOAR - Social Science Open Access Repository