Letzte Woche WIRED veröffentlichte eine Reihe ausführlicher, datengestützter Geschichten über einen problematischen Algorithmus, den die niederländische Stadt Rotterdam mit dem Ziel einsetzte, Leistungsbetrug auszurotten.
In einer Beziehung mit Leuchtturmberichteeine europäische Organisation, die sich auf investigativen Journalismus spezialisiert hat, erhielt WIRED Zugang zum Innenleben des Algorithmus im Rahmen der Gesetze zur Informationsfreiheit und untersuchte, wie er bewertet, wer am wahrscheinlichsten Betrug begeht.
Wir haben festgestellt, dass der Algorithmus aufgrund von ethnischer Zugehörigkeit und Geschlecht diskriminiert und Frauen und Minderheiten unfairerweise höhere Risikobewertungen gibt, was zu Ermittlungen führen kann, die dem Privatleben der Antragsteller erheblichen Schaden zufügen. Ein interaktiver Artikel vertieft sich in den Kern des Algorithmus und führt Sie durch zwei hypothetische Beispiele, um zu zeigen, dass Rasse und Geschlecht zwar nicht zu den Faktoren gehören, die in den Algorithmus eingespeist werden, andere Daten wie die Niederländischkenntnisse einer Person jedoch als Stellvertreter dienen können das ermöglicht Diskriminierung.
Das Projekt zeigt, wie Algorithmen, die entwickelt wurden, um Regierungen effizienter zu machen – und die oft als fairer und datengesteuerter bezeichnet werden – gesellschaftliche Vorurteile verdeckt verstärken können. Die WIRED- und Lighthouse-Untersuchung ergab auch, dass andere Länder ähnlich fehlerhafte Ansätze zur Ermittlung von Betrügern testen.
„Regierungen betten seit Jahren Algorithmen in ihre Systeme ein, sei es eine Tabellenkalkulation oder ein ausgefallenes maschinelles Lernen“, sagt Dhruv Mehrotra, ein investigativer Datenreporter bei WIRED, der an dem Projekt gearbeitet hat. „Aber wenn ein Algorithmus wie dieser auf irgendeine Art von strafender und vorausschauender Strafverfolgung angewendet wird, wird er hochwirksam und ziemlich beängstigend.“
Die Auswirkungen einer vom Rotterdamer Algorithmus veranlassten Untersuchung könnten erschütternd sein, wie der Fall einer Mutter von drei Kindern zeigt, die einem Verhör ausgesetzt war.
Aber Mehrotra sagt, dass das Projekt solche Ungerechtigkeiten nur hervorheben konnte, weil WIRED und Lighthouse die Möglichkeit hatten, die Funktionsweise des Algorithmus zu untersuchen – unzählige andere Systeme arbeiten ungestraft im Schutz der bürokratischen Dunkelheit. Er sagt, es sei auch wichtig zu erkennen, dass Algorithmen wie der in Rotterdam oft auf von Natur aus unfairen Systemen aufgebaut sind.
„Oft optimieren Algorithmen nur eine bereits strafende Technologie für Sozialhilfe, Betrug oder Polizeiarbeit“, sagt er. „Man will nicht sagen, dass ein fairer Algorithmus in Ordnung wäre.“
Es ist auch wichtig zu erkennen, dass Algorithmen auf allen Regierungsebenen immer weiter verbreitet sind und ihre Funktionsweise den am stärksten Betroffenen oft völlig verborgen bleibt.
Eine weitere Untersuchung, die Mehrota im Jahr 2021 durchgeführt hat, bevor er zu WIRED kam, zeigt, wie die Kriminalitätsvorhersage-Software von einigen Polizeidienststellen verwendet wird unfaire Angriffe auf Schwarze und Latinx-Communities. 2016 ProPublica offenbarte schockierende Verzerrungen in den Algorithmen Wird von einigen Gerichten in den USA verwendet, um vorherzusagen, bei welchen kriminellen Angeklagten das größte Rückfallrisiko besteht. Andere problematische Algorithmen bestimmen, welche Schulen die Kinder besuchen, empfehlen, wen Unternehmen einstellen solltenUnd entscheiden, welche Hypothekenanträge der Familien genehmigt werden.
Viele Unternehmen nutzen Algorithmen natürlich auch, um wichtige Entscheidungen zu treffen, und diese sind oft noch intransparenter als in der Regierung. Es gibt eine wachsende Bewegung, Unternehmen für die algorithmische Entscheidungsfindung zur Rechenschaft zu ziehen, und einen Druck auf Gesetze, die eine größere Sichtbarkeit erfordern. Aber das Problem ist komplex – und Algorithmen gerechter zu machen, kann die Dinge manchmal perverserweise noch schlimmer machen.