Die Agentur der Europäischen Union für Grundrechte (FRA) hat am Donnerstag, den 8. Dezember, einen Bericht veröffentlicht, in dem untersucht wird, wie sich Vorurteile in Algorithmen auf prädiktive Polizeiarbeit und Modelle zur Moderation von Inhalten auswirken.
Die Studie schließt mit der Aufforderung an die politischen Entscheidungsträger der EU, dafür zu sorgen, dass diese KI-Anwendungen auf Vorurteile getestet werden, die zu Diskriminierung führen könnten.
Diese Studie kommt, während der Vorschlag zum Gesetz über künstliche Intelligenz das Gesetzgebungsverfahren durchläuft, wobei das Europäische Parlament insbesondere die Einführung einer grundrechtlichen Folgenabschätzung für KI-Systeme mit hohem Schadensrisiko erwägt.
„Gut entwickelte und getestete Algorithmen können viele Verbesserungen bringen. Aber ohne angemessene Kontrollen laufen Entwickler und Benutzer ein hohes Risiko, das Leben der Menschen negativ zu beeinflussen“, sagte FRA-Direktor Michael O’Flaherty.
„Es gibt keine schnelle Lösung. Aber wir brauchen ein System zur Bewertung und Minderung von Vorurteilen vor und während der Verwendung von Algorithmen, um Menschen vor Diskriminierung zu schützen.“
Vorausschauende Polizeiarbeit
Die Agentur befasste sich eingehend mit dem Risiko einer diskriminierenden Polizeiarbeit, die darin besteht, die Verteilung von Polizeikräften auf der Grundlage von voreingenommenen Kriminalakten zu beeinflussen, was zu einer Überverteilung oder Unterversorgung bestimmter Bereiche führen könnte, was beides schwerwiegende Auswirkungen auf die Grundrechte haben könnte.
Das Problem bei KI-gestützten Tools für die Strafverfolgung besteht darin, dass sie sich auf historische Kriminalitätsdaten stützen, die durch andere Faktoren verzerrt werden könnten, z. B. Misstrauen gegenüber der Polizei, was zu einer geringeren Tendenz zur Anzeige krimineller Aktivitäten führen kann.
Die Agentur stellt sogar die Solidität dieses Ansatzes in Frage und stellt fest, dass „jahrzehntelange kriminologische Forschung die Grenzen eines solchen Ansatzes gezeigt hat, da Polizeidatenbanken keine vollständige Zählung aller Straftaten darstellen und keine repräsentative Zufallsstichprobe darstellen“.
Das Hauptanliegen von KI ist, dass sie selbst lernt. Daher können so genannte „Rückkopplungsschleifen“ entstehen, die bereits bestehende Vorurteile verstärken. Beispielsweise kann eine geringere Polizeipräsenz in einem Gebiet zu weniger Strafanzeigen führen, was dazu führt, dass das Gebiet in Zukunft noch weniger bedient wird, und so weiter.
Das KI-Gesetz enthält spezifische Anforderungen für Systeme mit hohem Risiko, die Rückkopplungsschleifen verwenden, aber während dies für Predictive Policing gilt, sind ortsbezogene Systeme nicht abgedeckt.
In ähnlicher Weise schreibt die EU-Richtlinie zur Strafverfolgung spezifische Sicherheitsvorkehrungen für die automatisierte Entscheidungsfindung in Bezug auf Einzelpersonen, aber nicht auf geografische Gebiete vor.
Ein weiteres identifiziertes Problem ist, dass diese für Predictive Policing verwendeten Algorithmen hauptsächlich proprietär sind und daher nur sehr wenige öffentliche Informationen darüber vorliegen, wie sie trainiert wurden.
Gleichzeitig fehlen den Strafverfolgungsbeamten möglicherweise die Informationen und Kenntnisse darüber, warum eine bestimmte Entscheidung getroffen wurde, was bedeutet, dass keine kritische Bewertung vorgenommen werden kann, um Fehler oder Vorurteile aufzudecken.
Eine mildernde Maßnahme, die die Behörde ergreift, ist die Durchführung von Viktimisierungserhebungen, bei denen eine zufällige Stichprobe ausgewählt wird, um nach ihrer Kriminalerfahrung zu fragen. Einige technische Lösungen werden auch vorgeschlagen, um zu verhindern, dass maschinelles Lernen extremistische Muster liefert oder Statistiken verwendet, um übermäßig starke Vorhersagen herunterzuspielen.
Entsprechend eine Koalition von über 160 NGOsMigration ist ein besonders sensibler Bereich für KI-gestützte Predictive-Analytics-Tools, da sie zu missbräuchlichen Grenzkontrollmaßnahmen und diskriminierenden Profiling-Systemen führen kann.
Ihr offener Brief kritisiert indirekt die Position des EU-Rates, die umfangreiche Carve-outs für Strafverfolgungs- und Grenzschutzbehörden vorsieht. Inzwischen haben sich die Diskussionen im Europäischen Parlament hin zu einem Verbot von Predictive Policing entwickelt.
Inhaltsmoderation
Der zweite Untersuchungsgegenstand ist das Risiko von ethnischen und geschlechtsspezifischen Vorurteilen automatisierter Tools zur Erkennung von beleidigender Sprache.
In diesen Fällen besteht aufgrund der Verwendung von Wörtern wie muslimisch oder jüdisch ein starkes Risiko von False Flags, da das System den Kontext, in dem diese Begriffe verwendet werden, nicht berücksichtigt.
Fortgeschrittenere Methoden, die Wortkorrelationen aus anderen Datenquellen verwenden, können dieses Problem entschärfen, jedoch nur in begrenztem Umfang.
Darüber hinaus stellen diese Methoden einige Herausforderungen dar, da sie sich stark auf Allzweck-KI stützen, die auch voreingenommen sein kann. Infolgedessen könnten sie, anstatt Vorurteile insgesamt zu beseitigen, sie verstärken oder neue einführen.
Die Forschung berücksichtigte auch zwei andere europäische Sprachen mit geschlechtsspezifischen Begriffen, Deutsch und Italienisch. Die Ergebnisse weisen darauf hin, dass die Tools zur Inhaltserkennung erheblich schlechter abschneiden als Englisch, während geschlechtsspezifische Sprachen zusätzliche Herausforderungen der geschlechtsspezifischen Diskriminierung darstellen.
Algorithmusbewertung
Die Agentur schlägt vor, dass diese Algorithmen nicht ohne vorherige Bewertung der Verzerrung verwendet werden sollten, die sie zur Benachteiligung von Menschen mit sensiblen Merkmalen mit sich bringen, und zu dem Schluss zu kommen, ob das System für seinen Zweck geeignet ist.
Diese Bewertungen sollten von Fall zu Fall durchgeführt werden und nicht nur vor der Inbetriebnahme des KI-Systems, sondern auch während des Lebenszyklus des Systems.
Diese Bewertungen potenzieller Diskriminierung erfordern jedoch Daten zu geschützten Merkmalen, für die gesetzliche Leitlinien dazu erforderlich sind, wie eine solche Datenerhebung zulässig ist und wie sie mit bestehenden Rechtsvorschriften wie der EU-Gleichbehandlungsrichtlinie zusammenwirken.
[Edited by Nathalie Weatherald]