Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen – ein Überblick

Algorithmische Entscheidungssysteme (AES), also programmierte Verfahren, die aus einem bestimmten Input in verschiedenen, genau definierten Schrittfolgen einen Output berechnen und eine Entscheidung(sempfehlung) ableiten, begegnen uns im Alltag häufig: Sie bestimmen die beste Strecke für eine geplante Fahrt, den passenden Partner in einer Singlebörse oder die eigene Kreditwürdigkeit. Damit stellen sie mehr oder weniger bedeutsame Weichen und bestimmen somit möglicherweise über Lebenschancen – oft, ohne dass es der oder dem Betroffenen bewusst ist. Aufgrund ihrer zahlenbasierten Regelhaftigkeit könnten AES zunächst als objektivere Entscheidungsinstanzen angenommen werden. Einige medienwirksame Fälle von verzerrten maschinellen Entscheidungen – beispielsweise als ein Onlineversandhändler neue Mitarbeitende suchte und sein lernendes AES fast ausschließlich Männer vorschlug – wecken jedoch Zweifel an der Objektivität algorithmischer Entscheidungsempfehlungen und werfen die Frage auf, ob AES (un)fairere Entscheidungen als Menschen treffen: Verändern sich Diskriminierungsrisiken durch den Einsatz von AES? Dieser Frage geht das TAB in der als Hintergrundpapier Nr. 24 erschienenen Studie nach, die anhand von vier Fallbeispielen aus den Bereichen der Arbeitsvermittlung, der medizinischen Versorgung, des Strafvollzugs und der automatisierten Personenerkennung nachzeichnet, dass Ungleichbehandlungen durch AES häufig Fortführungen »vordigitaler« Ungleichbehandlungen sind, und dabei zugleich verdeutlicht, dass die Frage, ob eine konkrete Ungleichbehandlung diskriminierend ist (oder nicht), innerhalb einer Gesellschaft und innerhalb der Rechtsprechung oftmals hoch umstritten ist. Abschließend stellt das Hintergrundpapier verschiedene Handlungsansätze zur Prävention von algorithmisch basierten Diskriminierungen vor. Inhalt Zusammenfassung 7 1 Einleitung 13 2 Algorithmische Entscheidungssysteme und maschinelles Lernen 17 2.1 Definitionen und Charakteristika von algorithmischen Systemen 17 2.2 Zielstellung und Entwicklung von algorithmischen Entscheidungssystemen 20 2.3 Algorithmen und künstliche Intelligenz in der öffentlichen Wahrnehmung 24 2.4 Mensch-Technik-Interaktionen: Wie gehen Menschen mit algorithmischen Entscheidungsvorschlägen um? 26 3 Ungleichbehandlung und Diskriminierung von Individuen und Gruppen 33 3.1 Definitionen und Charakteristika von sozialer Diskriminierung 33 3.2 Diskriminierung durch algorithmische Entscheidungssysteme 34 3.3 Statistische Ungleichbehandlung und statistische Diskriminierung 36 3.4 Rechtliche Aspekte des Umgangs mit Diskriminierung von Individuen und Gruppen 40 4 Fallbeispiele: Ungleichbehandlung durch AES in verschiedenen Lebensbereichen 49 4.1 Fallbeispiel 1: Ungleichbehandlung in der medizinischen Versorgung durch AES und ML 49 4.2 Fallbeispiel 2: Algorithmus zur Klassifizierung von Arbeitslosen in Österreich 51 4.3 Fallbeispiel 3: COMPAS, ein US-amerikanisches AES im Justizvollzug 54 4.4 Fallbeispiel 4: algorithmische Personenerkennung anhand visueller Daten in den USA 57 4.5 Gemeinsamkeiten und Unterschiede der vier Fallbeispiele 60 5 Handlungsoptionen 65 6 Literatur 75 7 Anhang 83 7.1 Abbildungen 83 7.2 Tabellen 8

Towards Our Common Digital Future. Flagship Report.

In the report “Towards Our Common Digital Future”, the WBGU makes it clear that sustainability strategies and concepts need to be fundamentally further developed in the age of digitalization. Only if digital change and the Transformation towards Sustainability are synchronized can we succeed in advancing climate and Earth-system protection and in making social progress in human development. Without formative political action, digital change will further accelerate resource and energy consumption, and exacerbate damage to the environment and the climate. It is therefore an urgent political task to create the conditions needed to place digitalization at the service of sustainable development

Unsere gemeinsame digitale Zukunft

Das Gutachten „Unsere gemeinsame digitale Zukunft“ macht deutlich, dass Nachhaltigkeitsstrategien und -konzepte im Zeitalter der Digitalisierung grundlegend weiterentwickelt werden müssen. Nur wenn der digitale Wandel und die Transformation zur Nachhaltigkeit konstruktiv verzahnt werden, kann es gelingen, Klima- und Erdsystemschutz sowie soziale Fortschritte menschlicher Entwicklung voranzubringen. Ohne aktive politische Gestaltung wird der digitale Wandel den Ressourcen- und Energieverbrauch sowie die Schädigung von Umwelt und Klima weiter beschleunigen. Daher ist es eine vordringliche politische Aufgabe, Bedingungen dafür zu schaffen, die Digitalisierung in den Dienst nachhaltiger Entwicklung zu stellen