PITTSBURGH (AP) – Das Justizministerium hat ein umstrittenes Instrument der künstlichen Intelligenz untersucht, das von einer Kinderschutzbehörde in der Region Pittsburgh verwendet wird, nachdem Bedenken geäußert wurden, dass es zu einer Diskriminierung von Familien mit Behinderungen führen könnte, wie The Associated Press erfahren hat.
Das Interesse von Bundesbürgerrechtsanwälten kommt nach einer AP-Untersuchung ergab potenzielle Verzerrungs- und Transparenzprobleme in Bezug auf den undurchsichtigen Algorithmus, der das Risikoniveau einer Familie bewerten soll, wenn sie wegen Bedenken hinsichtlich des Kindeswohls in Allegheny County gemeldet wird.
Im Herbst wurden mehrere Bürgerrechtsbeschwerden über das Allegheny Family Screening Tool eingereicht, das Sozialarbeitern hilft, zu entscheiden, welche Familien untersucht werden sollen, wie AP erfahren hat.
Zwei Quellen sagten, dass Anwälte der Abteilung für Bürgerrechte des Justizministeriums die AP-Untersuchung zitierten, als sie sie aufforderten, formelle Beschwerden einzureichen, in denen sie ihre Bedenken darlegten, wie der Algorithmus Vorurteile gegenüber Menschen mit Behinderungen, einschließlich Familien mit psychischen Problemen, verstärken könnte.
Eine dritte Person sagte AP, dass dieselbe Gruppe von Bundesanwälten für Bürgerrechte im November auch mit ihnen gesprochen habe, als Teil eines breiten Gesprächs darüber, wie algorithmische Tools möglicherweise Ungleichheiten verschärfen könnten, auch für Menschen mit Behinderungen. Dieses Gespräch untersuchte das Design und die Konstruktion von Alleghenys einflussreichem Algorithmus, obwohl der volle Umfang des Interesses des Justizministeriums unbekannt ist.
Alle drei Quellen sprachen mit AP unter der Bedingung der Anonymität und sagten, das Justizministerium habe sie gebeten, die vertraulichen Gespräche nicht zu diskutieren, und zwei sagten, sie befürchteten auch professionelle Vergeltungsmaßnahmen.
Wyn Hornbuckle, ein Sprecher des Justizministeriums, lehnte eine Stellungnahme ab.
Algorithmen verwenden Informationspools, um Datenpunkte in Vorhersagen umzuwandeln, sei es für Online-Einkäufe, die Identifizierung von Brennpunkten der Kriminalität oder die Einstellung von Arbeitskräften. Viele Kinderschutzorganisationen in den USA erwägen die Einführung solcher Tools als Teil ihrer Arbeit mit Kindern und Familien.
Obwohl es eine weit verbreitete Debatte über die moralischen Folgen des Einsatzes künstlicher Intelligenz in Jugendschutzdiensten gegeben hat, markiert das Interesse des Justizministeriums am bahnbrechenden Allegheny-Algorithmus eine deutliche Wende hin zu möglichen rechtlichen Auswirkungen.
Befürworter sehen in Algorithmen einen vielversprechenden Weg, um ein überlastetes Kinderschutzsystem sowohl gründlicher als auch effizienter zu machen, und sagen, dass Kinderschutzbeamte alle ihnen zur Verfügung stehenden Mittel nutzen sollten, um sicherzustellen, dass Kinder nicht misshandelt werden. Kritiker befürchten jedoch, dass die Einbeziehung von Datenpunkten, die größtenteils von armen Menschen gesammelt wurden, die Diskriminierung von Familien aufgrund von Rasse, Einkommen, Behinderungen oder anderen äußeren Merkmalen automatisieren kann.
Robin Frank, eine erfahrene Anwältin für Familienrecht in Pittsburgh und lautstarke Kritikerin des Allegheny-Algorithmus, sagte, sie habe im Oktober auch eine Beschwerde beim Justizministerium im Namen eines Klienten mit einer geistigen Behinderung eingereicht, der darum kämpft, seine Tochter aus der Pflege zurückzuholen . Der AP erhielt eine Kopie der Beschwerde, die Bedenken darüber aufwarf, wie das Allegheny Family Screening Tool das Risiko einer Familie bewertet.
„Ich denke, es ist wichtig, dass sich die Menschen ihrer Rechte bewusst sind, und da wir nicht viele Informationen haben, wenn es scheinbar berechtigte Fragen zum Algorithmus gibt, ist es wichtig, einen gewissen Überblick zu haben“, sagte Frank.
Mark Bertolet, Sprecher des Allegheny County Department of Human Services, sagte per E-Mail, dass die Agentur nichts vom Justizministerium gehört und Interviewanfragen abgelehnt habe.
„Uns sind keine Bedenken hinsichtlich der Einbeziehung dieser Variablen aus der früheren Bewertung der Forschungsgruppen oder dem Feedback der Community zum (Allegheny Family Screening Tool) bekannt“, sagte der Landkreis und beschrieb frühere Studien und Öffentlichkeitsarbeit in Bezug auf das Tool.
Allegheny County sagte, sein Algorithmus habe Datenpunkte verwendet, die mit Behinderungen bei Kindern, Eltern und anderen Mitgliedern lokaler Haushalte in Verbindung stehen, weil sie helfen können, das Risiko vorherzusagen, dass ein Kind nach einer Misshandlungsmeldung aus seinem Zuhause entfernt wird. Der Landkreis fügte hinzu, dass er seinen Algorithmus mehrmals aktualisiert und manchmal behinderungsbezogene Datenpunkte entfernt habe.
Das Allegheny Family Screening Tool wurde speziell entwickelt, um das Risiko vorherzusagen, dass ein Kind in den zwei Jahren nach der Untersuchung der Familie in Pflegefamilien untergebracht wird. Es hat eine Fundgrube detaillierter personenbezogener Daten verwendet, die aus der Geschichte des Kindeswohls sowie Geburts-, Medicaid-, Drogenmissbrauchs-, psychische Gesundheits-, Gefängnis- und Bewährungsunterlagen sowie andere Regierungsdatensätze gesammelt wurden. Wenn der Algorithmus einen Risikowert von 1 bis 20 berechnet, gilt: je höher die Zahl, desto größer das Risiko. Die Risikobewertung allein bestimmt nicht, was in dem Fall passiert.
Der AP enthüllte erstmals im vergangenen April rassistische Vorurteile und Bedenken hinsichtlich der Transparenz in einer Geschichte, die sich auf das Allegheny-Tool konzentrierte und wie seine statistischen Berechnungen Sozialarbeitern helfen, zu entscheiden, welche Familien auf Vernachlässigung untersucht werden sollten – ein nuancierter Begriff, der alles umfassen kann, von unzureichender Unterbringung bis hin zu schlechter Hygiene , ist aber eine andere Kategorie als körperlicher oder sexueller Missbrauch, der in Pennsylvania separat untersucht wird und nicht dem Algorithmus unterliegt.
Eine Untersuchung des Kindeswohls kann dazu führen, dass gefährdete Familien mehr Unterstützung und Dienstleistungen erhalten, aber es kann auch dazu führen, dass Kinder in Pflegefamilien genommen werden und letztendlich die elterlichen Rechte erlöschen.
Das teilte der Landkreis mit dass Hotline-Mitarbeiter bestimmen, was mit dem Fall einer Familie passiert, und die Empfehlungen des Tools jederzeit außer Kraft setzen können. Es wurde auch unterstrichen, dass das Instrument nur zu Beginn der potenziellen Beteiligung einer Familie am Kindeswohlverfahren angewendet wird. Ein anderer Sozialarbeiter, der später die Ermittlungen durchführt, sowie Familien und ihre Anwälte dürfen die Ergebnisse nicht kennen.
Der Algorithmus von Allegheny, der seit 2016 verwendet wird, stützt sich zeitweise auf Daten im Zusammenhang mit Supplemental Security Income, einem Programm der Sozialversicherungsverwaltung, das Erwachsenen und Kindern mit einer Behinderung monatliche Zahlungen gewährt; sowie Diagnosen für psychische, Verhaltens- und neurologische Entwicklungsstörungen, einschließlich Schizophrenie oder Stimmungsstörungen, AP gefunden.
Der Bezirk sagte, dass die Einbeziehung der Daten zu Behinderungen „die Ergebnisse vorhersagt“ und „es nicht überraschen sollte, dass Eltern mit Behinderungen … möglicherweise auch Bedarf an zusätzlicher Unterstützung und Dienstleistungen haben“. Der Landkreis fügte hinzu, dass es andere Risikobewertungsprogramme gibt, die Daten über die psychische Gesundheit und andere Erkrankungen verwenden, die die Fähigkeit eines Elternteils beeinträchtigen können, sich um ein Kind zu kümmern.
Der AP erhielt Aufzeichnungen mit Hunderten spezifischer Variablen, die zur Berechnung der Risikowerte für Familien verwendet werden, die den Kinderschutzdiensten gemeldet werden, einschließlich der öffentlichen Daten, die den Allegheny-Algorithmus und ähnliche Tools antreiben, die in Kinderschutzsystemen anderswo in den USA eingesetzt werden
Die AP-Analyse des Allegheny-Algorithmus und der von ihm inspirierten in Los Angeles County, Kalifornien, Douglas County, Colorado und in Oregon enthüllt eine Reihe kontroverser Datenpunkte, die Menschen mit niedrigem Einkommen und andere benachteiligte demografische Merkmale gemessen haben, manchmal auch Familien Rasse, Postleitzahl, Behinderungen und deren Inanspruchnahme von Sozialleistungen.
Seit die AP-Untersuchung veröffentlicht wurde, hat Oregon seinen Algorithmus eingestellt Aufgrund von Bedenken hinsichtlich der Rassengerechtigkeit betonte das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses, dass Eltern und Sozialarbeiter mehr Transparenz darüber benötigen, wie Regierungsbehörden Algorithmen als Teil der ersten „AI Bill of Rights“ der Nation einsetzen.
Das Justizministerium habe in den letzten Jahren ein breites Interesse an der Untersuchung von Algorithmen gezeigt, sagte Christy Lopez, eine Rechtsprofessorin der Georgetown University, die zuvor einige Rechtsstreitigkeiten und Ermittlungen der Bürgerrechtsabteilung des Justizministeriums leitete.
In einer Keynote vor etwa einem Jahr warnte die stellvertretende Generalstaatsanwältin Kristen Clarke, dass KI-Technologien „ernsthafte Auswirkungen auf die Rechte von Menschen mit Behinderungen“ hätten, und ihre Abteilung gab kürzlich Leitlinien für Arbeitgeber heraus, in denen sie sagte, dass die Verwendung von KI-Tools bei der Einstellung die Amerikaner verletzen könnte Behindertengesetz.
„Sie tun ihre Arbeit als Ermittler für Bürgerrechte, um den Vorgängen auf den Grund zu gehen“, sagte Lopez über die Untersuchung des Instruments von Allegheny durch das Justizministerium. „Mir scheint, dass dies eine Priorität für die Abteilung ist, um zu untersuchen, inwieweit Algorithmen diskriminierende Praktiken aufrechterhalten.“
Traci LaLiberte, eine Expertin für Kindeswohl und Behinderungen an der Universität von Minnesota, sagte, die Untersuchung des Justizministeriums sei ihr aufgefallen, da die Bundesbehörden weitgehend auf örtliche Kinderschutzbehörden verwiesen hätten.
„Das Justizministerium ist ziemlich weit entfernt von der Kinderfürsorge“, sagte LaLiberte. „Es muss wirklich zu einer ziemlich großen Sorge werden, Zeit zu investieren und sich zu engagieren.“
Emily Putnam-Hornstein und Rhema Vaithianathan, die beiden Entwickler des Allegheny-Algorithmus und anderer ähnlicher Tools, haben sich auf die Antworten von Allegheny County über das Innenleben des Algorithmus beschränkt. Sie sagten in einer E-Mail, dass ihnen keine Untersuchung des Justizministeriums in Bezug auf den Algorithmus bekannt sei.
Forscher und Gemeindemitglieder haben seit langem Bedenken geäußert, dass einige der Daten, die Algorithmen für das Wohlergehen von Kindern antreiben, historische Vorurteile gegenüber marginalisierten Menschen innerhalb von Kinderschutzdiensten verstärken könnten. Dazu gehören Eltern mit Behinderungen, eine Gemeinschaft, die eine geschützte Klasse nach dem Bundesbürgerrechtsgesetz ist.
Der Americans with Disabilities Act verbietet Diskriminierung aufgrund von Behinderungen, die ein breites Spektrum von Erkrankungen umfassen können, von Diabetes, Krebs und Hörverlust bis hin zu geistiger Behinderung und psychischer und verhaltensbezogener Gesundheitsdiagnose wie ADHS, Depression und Schizophrenie.
LaLiberte hat Forschungsergebnisse veröffentlicht, in denen beschrieben wird, wie Eltern mit Behinderungen überproportional vom Kinderfürsorgesystem betroffen sind. Sie stellte die Idee in Frage, Datenpunkte im Zusammenhang mit Behinderungen in jedem Algorithmus zu verwenden, da dieser, wie sie sagte, Eigenschaften bewertet, die Menschen nicht ändern können, und nicht ihr Verhalten.
„Wenn es nicht Teil des Verhaltens ist, dann verzerrt es es, wenn es im (Algorithmus) vorhanden ist“, sagte LaLiberte.
___
Burke berichtete aus San Francisco.
____
Folgen Sie Sally Ho und Garance Burke auf Twitter unter @_sallyho und @garanceburke. Kontaktieren Sie das globale Ermittlungsteam von AP unter [email protected] oder https://www.ap.org/tips/