Starke Zunahme von automatisierter Entscheidungsfindung und KI-basierten Systemen in Europa: Es fehlt noch immer an Transparenz, Aufsicht und Kompetenz

Der Einsatz automatisierter Entscheidungsfindung (automated decision-making, ADM) und KI-basierter Systeme hat in Deutschland und Europa in den vergangenen zwei Jahren stark zugenommen. Dies wirkt sich auf die Durchsetzung von Rechten, den Zugang zu Dienstleistungen und damit auch auf die Teilhabemöglichkeiten von Millionen von Bürger:innen aus. Trotzdem werden die meisten ADM-Systeme ohne eine breite gesellschaftliche Debatte eingeführt. Oft mangelt es den Systemen an Transparenz in Bezug auf ihre Ziele, Funktionsweise und Wirksamkeit. Doch selbst wenn diese Transparenz in konkreten Anwendungsfällen gegeben ist, bedeutet das noch lange nicht, dass diese einen Nutzen für den Einzelnen oder die Gesellschaft als Ganzes schaffen. Dies sind die Kernergebnisse der neuen Ausgabe des "Automating Society"-Reports 2020. Die Bertelsmann Stiftung und AlgorithmWatch zeigen darin auf Grundlage einer umfassenden Recherche in 16 europäischen Ländern auf, wie sich ADM-Systeme auf alle Aspekte des Lebens auswirken – von der sozialen Sicherung über Gesundheit und Bildung bis hin zu Justiz und Polizeiarbeit.

Mehr als 100 Einsätze von ADM-Systemen dokumentiert

Ein über den ganzen Kontinent verteiltes Recherche-Netzwerk hat mehr als 100 Einsätze von ADM-Systemen dokumentiert und dabei herausgefunden, dass diese Anwendungen in bestimmten Fällen positive Auswirkungen haben können. Beispielsweise wird in den Städten Singen und Weimar ein ADM-System namens DyRiAS eingesetzt, um das Risiko von Gewaltausübung gegen Frauen einzuschätzen. Das algorithmische Prognosepotenzial nutzt auch das Auswärtige Amt, indem es die Software PREVIEW einsetzt, um internationale Krisen früher und besser vorherzusagen.

Die detaillierte Recherche zeigt aber auch, dass die überwiegende Mehrheit der aktuellen Anwendungen eher Nachteile mit sich bringt, statt Menschen zu helfen: Fehlerhafte Systeme haben zum Beispiel im Vereinigten Königreich dazu geführt, Leistungen von Schüler:innen unfair zu benoten, während sie in Dänemark die Jobaussichten von Arbeitslosen falsch einstuften. In Deutschland gab es Kritik an der potenziellen Verletzung von Grundrechten durch den polizeilichen Einsatz von Gesichtserkennungssoftware an einem Berliner Bahnhof.

Viele gute Absichten – oft schlecht umgesetzt

„Automatisierte Entscheidungssysteme haben das Potenzial, einen positiven gesellschaftlichen Beitrag zu leisten", sagt Fabio Chiusi, Projektleiter bei AlgorithmWatch und Koordinator des Recherche-Netzwerks, „aber unser Report zeigt auch, dass dies in der Praxis bisher eher die Ausnahme als die Norm ist."

„Wir sehen viele gute Absichten, die dann oft schlecht umgesetzt werden“, erklärt Sarah Fischer, Expertin für algorithmische Entscheidungsfindung bei der Bertelsmann Stiftung. „Um das volle Potenzial algorithmischer Systeme zu nutzen, brauchen wir einen europäischen Rahmen mit kohärenten Regeln für Transparenz, Aufsicht und Durchsetzungsmechanismen, die aus einer informierten und inklusiven demokratischen Debatte entstehen.“

Der Bericht zeigt aber auch, dass es Möglichkeiten gibt, unfaire und undurchsichtige ADM-Systeme zu identifizieren, in die öffentliche Debatte zu tragen und sie letztlich so zu verbessern, dass sie positive Wirkung entfalten können. In vielen der analysierten Ländern ist es Journalist:innen, Akademiker:innen und zivilgesellschaftlichen Organisationen gelungen, den Einsatz einer wachsenden Anzahl intransparenter und rechtsverletzender ADM-Systeme zu stoppen und so als effektive Wächter einer immer stärker automatisierten Gesellschaft zu wirken.

Handlungsempfehlungen für größeren Nutzen

Jeder dieser einzelnen Erfolge ist zwar wichtig, reicht aber nicht aus, um den gesellschaftlichen Nutzen von ADM-Systemen systematisch zu gewährleisten. Aus diesem Grund enthält der Bericht eine Reihe politischer Handlungsvorschläge, mit deren Umsetzung es möglich wäre, die Chancen der Systeme zu nutzen und gleichzeitig ihre Defizite zu verringern.

AlgorithmWatch und die Bertelsmann Stiftung empfehlen:

• die Transparenz von ADM-Systemen zu erhöhen. Hierzu sollten öffentliche Register für die im öffentlichen Sektor eingesetzten ADM-Systeme eingerichtet und rechtsverbindliche Rahmenbedingungen für den Zugang zu Daten eingeführt werden, um Forschung im gesellschaftlichen Interesse zu ermöglichen und zu unterstützen.

• einen Rahmen für klare Rechenschaftspflichten über ADM-Systeme zu schaffen. Dafür ist es wichtig, Ansätze für die effektive Überprüfung der Anwendungen zu entwickeln, zivilgesellschaftliche Watchdog-Organisationen zu stärken und ADM-Systeme mit hohem Risikopotenzial zu verbieten. 

• algorithmische Kompetenzen und die öffentliche Debatte über ADM-Systeme zu stärken. Zu diesem Zweck sollten unabhängige Kompetenzzentren für automatisierte Entscheidungsfindung aufgebaut sowie eine integrative und pluralistische demokratische Debatte über ADM-Systeme gefördert werden.

Der Bericht ist in englischer Sprache online verfügbar unter: https://algorithmwatch.org/automatingsociety2020