Algorithmische Entscheidungssysteme werden immer breiter angewendet.
(Foto: dpa)
Berlin Was schieflaufen kann, wenn man Algorithmen agieren lässt, illustriert das Beispiel einer schwarzen Frau, die mithilfe einer Software ein Bewerbungsfoto erstellen wollte. Obwohl sie kein Dekolleté trug, zauberte der Softwarefilter einen tiefen Ausschnitt in ihr Kleid. Der Algorithmus hatte sich offenbar an Fotos aus dem Internet orientiert, auf denen schwarze Frauen in sexualisierten Kontexten dargestellt werden.
„Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen“, mahnte die Antidiskriminierungsbeauftragte des Bundes, Ferda Ataman, die das Beispiel am Mittwoch in Berlin präsentierte. Denn was bei dem Bewerbungsfoto noch auffiel, passiert oft unbemerkt.
Algorithmen treffen Entscheidungen oder eine Vorauswahl – beispielsweise im Bewerbungsprozess für eine Arbeitsstelle oder eine Wohnung oder bei einem Antrag auf einen Kredit. Dabei können sie im schlechtesten Fall automatisch Vorurteile und Stereotype reproduzieren.
Ein Interessent, der einen Kredit möchte, aber zufällig in einem Postleitzahlbezirk mit vielen sozial schwachen Familien wohnt, wird so gegebenenfalls automatisch aussortiert. Oder ein Bewerber bekommt keine Chance, weil er Mustafa und nicht Jürgen heißt.
Zum einen kann Benachteiligung entstehen, weil ein Programmierer seine eigenen Vorurteile bewusst oder unbewusst in die Software überträgt. Zum anderen filtern selbstlernende Systeme aus der Datenflut heraus, dass Menschen aus bestimmten Gegenden seltener Kredite bekommen, und treffen danach ihre Entscheidungen.
>> Lesen Sie hier: KI im Konsumalltag: So gefährlich ist die neue Technologie für Verbraucher
Das Allgemeine Gleichbehandlungsgesetz (AGG) biete bisher keinen Schutz gegen solche „automatische“ Benachteiligung durch Algorithmen und KI, sagte Ataman. Die Betroffenen würden oft gar nicht erfahren, auf welche Weise sie aussortiert wurden. Deshalb müsse das AGG nachgeschärft werden.
Dazu hat die Antidiskriminierungsbeauftragte ein Gutachten bei den Rechtswissenschaftlern Indra Spiecker aus Frankfurt und Emanuel V. Towfigh aus Wiesbaden in Auftrag gegeben. Die beiden Juristen schlagen vor, das „Handeln durch automatisierte Entscheidungssysteme“ in den Anwendungsbereich des AGG aufzunehmen.
Außerdem sollten Betreiber von KI-Systemen verpflichtet werden können, Einblicke in die genutzten Daten und die Funktionsweise des Systems zu ermöglichen.
„Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen.“
(Foto: mauritius images / Ute Grabowsky / imageBROKER)
Denn oft sei gar nicht klar, woher die Daten stammten, mit denen eine KI trainiert werde oder arbeite, sagte Spiecker. Angesichts der Fülle von Daten, die moderne Systeme nutzten, könne aus beliebigen und zufälligen Korrelationen Diskriminierung entstehen.
Für den Einzelnen gebe es eine „Rechtsschutzlücke“, weil so gut wie keine Chance bestehe, Diskriminierung nachzuweisen, erläuterte Towfigh. Deshalb sollte, wenn es zum Rechtsstreit kommt, die Beweislast umgekehrt werden. Nicht die Betroffenen müssten dann nachweisen, dass sie diskriminiert wurden, sondern Anwender von KI-Systemen müssten belegen, dass ihre Algorithmen niemanden diskriminieren.
>> Lesen Sie hier: Oberster Datenschützer spricht sich für EU-Sammelklagen aus
Auch bei Streitfällen könnten eine unabhängige Schlichtungsstelle bei der Antidiskriminierungsstelle des Bundes und ein Verbandsklagerecht helfen. Auf die geplante europäische KI-Richtlinie setzen die beiden Juristen dagegen keine allzu großen Hoffnungen, da der bisherige Entwurf keine individuellen Rechte für von Diskriminierung Betroffene vorsieht.
Unternehmen setzten immer öfter Algorithmen ein
Das Thema werde dringlicher, weil algorithmische Entscheidungssysteme immer preiswerter und von Unternehmen immer häufiger eingesetzt würden, so Spiecker. Spektakuläre Fälle aus dem Ausland belegten den Handlungsbedarf, betonte auch Ataman.
So seien 2019 in den Niederlanden mehr als 20.000 Menschen zu Unrecht unter hohen Strafandrohungen aufgefordert worden, Kindergeld zurückzuzahlen. Der Algorithmus, der die Entscheidungen traf, hielt offenbar Menschen mit doppelter Staatsbürgerschaft für besonders anfällig für Sozialbetrug. Die Affäre führte 2021 zum Rücktritt der niederländischen Regierung.
>> Hier geht es direkt zum KI-Ressort
In Deutschland würde ein solcher Fall nicht unter das Allgemeine Gleichbehandlungsgesetz fallen, da Diskriminierung durch staatliche Stellen dort nicht erfasst sei, sagte Ataman. Die Antidiskriminierungsbeauftragte wünscht sich, von der Regierung verstärkt mit eingebunden zu werden. An der neuen Datenstrategie, die das Bundeskabinett am Mittwoch in Meseberg verabschiedete, war sie nicht beteiligt.
Mehr: Welche Ministerien KI bereits einsetzen – in erstaunlich konkreten Projekten