PITTSBURGH (AP) – In den zwei Wochen, in denen das kleine Mädchen der Hackneys in einem Krankenhausbett in Pittsburgh lag, schwach vor Austrocknung, verließen ihre Eltern ihre Seite selten und schliefen manchmal auf dem ausklappbaren Sofa im Zimmer.
Sie blieben rund um die Uhr bei ihrer Tochter, als sie in ein Reha-Zentrum verlegt wurde, um wieder zu Kräften zu kommen. Schließlich hörte die 8 Monate alte Tochter auf, ihre Flaschen wegzuschlagen, und nahm wieder zu.
„Ihr ging es gut und wir fingen an zu fragen, wann sie nach Hause gehen kann“, sagte Lauren Hackney. „Und von diesem Moment an haben sie uns damals komplett abgeblockt.“
Das Paar war fassungslos, als Beamte des Jugendamts auftauchten, ihnen sagten, sie hätten fahrlässig gehandelt und ihre Tochter weggenommen.
„Sie hatten Sorgerechtspapiere und nahmen sie sofort mit“, erinnerte sich Lauren Hackney. „Und wir fingen an zu weinen.“
Mehr als ein Jahr später bleibt ihre Tochter, jetzt 2, in Pflegefamilien und die Hackneys, die Entwicklungsstörungen haben, haben Mühe zu verstehen, wie es als so nachlässig angesehen werden konnte, ihre Tochter ins Krankenhaus zu bringen, als sie sich weigerte zu essen müssen von ihr zu Hause abgeholt werden.
Sie fragen sich, ob ein Tool der künstlichen Intelligenz, das das Allegheny County Department of Human Services verwendet, um vorherzusagen, welche Kinder gefährdet sein könnten, sie wegen ihrer Behinderungen herausgegriffen hat.
Das US-Justizministerium stellt die gleiche Frage. Die Agentur untersucht das Kinderfürsorgesystem des Landkreises, um festzustellen, ob die Verwendung des einflussreichen Algorithmus Menschen mit Behinderungen oder andere geschützte Gruppen diskriminiert, wie The Associated Press erfahren hat. Später in diesem Monat werden Bürgerrechtsanwälte des Bundes die Hackneys und Andrew Hackneys Mutter, Cynde Hackney-Fierro, interviewen, sagte die Großmutter.
Lauren Hackney hat eine Aufmerksamkeitsdefizit-Hyperaktivitätsstörung, die ihr Gedächtnis beeinträchtigt, und ihr Ehemann Andrew hat eine Verständnisstörung und Nervenschäden durch einen Schlaganfall, den er in seinen 20ern erlitten hat. Ihr kleines Mädchen war 7 Monate alt, als sie anfing, ihre Flaschen abzulehnen. Angesichts eines landesweiten Mangels an Formelnahrung reisten sie von Pennsylvania nach West Virginia, um nach welchen zu suchen, und waren gezwungen, die Marke zu wechseln. Dem Baby schien es nicht zu gefallen.
Ihr Kinderarzt versicherte ihnen zunächst, dass Babys beim Füttern unbeständig sein können, und bot ihr Ideen an, um ihr zu helfen, ihren Appetit zurückzugewinnen, sagten sie.
Als sie Tage später lethargisch wurde, sagten sie, sagte ihnen derselbe Arzt, sie sollten sie in die Notaufnahme bringen. Die Hackneys glauben, dass medizinisches Personal die Kinderschutzdienste alarmiert hatte, nachdem sie mit einem dehydrierten und unterernährten Baby aufgetaucht waren.
Zu diesem Zeitpunkt glauben sie, dass ihre Informationen in das Allegheny Family Screening Tool eingespeist wurden, das laut Bezirksbeamten das Standardverfahren für Vernachlässigungsvorwürfe ist. Bald erschien ein Sozialarbeiter, um sie zu befragen, und ihre Tochter wurde in eine Pflegefamilie gegeben.
In den letzten sechs Jahren diente Allegheny County als reales Labor zum Testen von KI-gesteuerten Tools für das Wohlergehen von Kindern, die Unmengen von Daten über lokale Familien verarbeiten, um vorherzusagen, welche Kinder in ihren Häusern wahrscheinlich einer Gefahr ausgesetzt sind. Heute haben Kinderschutzbehörden in mindestens 26 Bundesstaaten und Washington, DC, den Einsatz algorithmischer Tools in Betracht gezogen, und Gerichtsbarkeiten in mindestens 11 haben sie eingesetzt, so die American Civil Liberties Union.
Die Geschichte der Hackneys – basierend auf Interviews, internen E-Mails und juristischen Dokumenten – veranschaulicht die Undurchsichtigkeit, die diese Algorithmen umgibt. Selbst während sie darum kämpfen, das Sorgerecht für ihre Tochter wiederzuerlangen, können sie die „Risikobewertung“, die das Tool von Allegheny County ihrem Fall zugewiesen hat, nicht in Frage stellen, da die Beamten sie ihnen nicht mitteilen werden. Und weder der Bezirk noch die Leute, die das Tool erstellt haben, haben erklärt, welche Variablen möglicherweise verwendet wurden, um die Fähigkeiten der Hackneys als Eltern zu messen.
„Es ist, als hätte man ein Problem mit jemandem, der eine Behinderung hat“, sagte Andrew Hackney. „In diesem Fall … gehen Sie wahrscheinlich jedem nach, der Kinder hat und eine Behinderung hat.“
Als Teil einer einjährigen Untersuchung erhielt der AP die Datenpunkte, die mehreren Algorithmen zugrunde liegen, die von Kinderschutzbehörden eingesetzt werden, darunter einige, die als „VERTRAULICH“ gekennzeichnet sind und einen seltenen Einblick in die Mechanismen bieten, die diese neuen Technologien antreiben. Zu den Faktoren, die sie verwendet haben, um das Risiko einer Familie zu berechnen, ob direkt oder stellvertretend, gehören: Rasse, Armutsquoten, Behinderungsstatus und Familiengröße. Dazu gehört, ob eine Mutter vor der Schwangerschaft geraucht hat und ob eine Familie frühere Beschwerden über Kindesmissbrauch oder Vernachlässigung hatte.
Was sie messen, ist wichtig. Eine kürzlich von ACLU-Forschern durchgeführte Analyse ergab, dass, wenn der Algorithmus von Allegheny Personen markierte, die auf Bezirksdienste für psychische Gesundheit und andere Programme zur Verhaltensgesundheit zugegriffen hatten, die Risikobewertung eines Kindes um bis zu drei Punkte erhöht werden konnte, was eine signifikante Steigerung auf einer Skala von 20 bedeutet.
Der Sprecher von Allegheny County, Mark Bertolet, lehnte es ab, sich mit dem Hackney-Fall zu befassen, und beantwortete keine detaillierten Fragen zum Status der Bundesuntersuchung oder Kritik an den Daten, die das Tool unterstützen, einschließlich der ACLU.
„Aus Grundsatz kommentieren wir keine Klagen oder Rechtsangelegenheiten“, sagte Bertolet in einer E-Mail.
Die Sprecherin des Justizministeriums, Aryele Bradford, lehnte eine Stellungnahme ab.
Die Entwickler des Tools, Rhema Vaithianathan, Professorin für Gesundheitsökonomie an der neuseeländischen Auckland University of Technology, und Emily Putnam-Hornstein, Professorin an der Chapel Hill School of Social Work der University of North Carolina, sagten, ihre Arbeit sei transparent und so Sie machen ihre Modelle öffentlich.
„In jeder Gerichtsbarkeit, in der ein Modell vollständig implementiert wurde, haben wir eine Beschreibung der Felder veröffentlicht, die zum Erstellen des Tools verwendet wurden“, sagten sie per E-Mail.
Die Entwickler haben neue Projekte mit Jugendämtern in Northampton County, Pennsylvania, und Arapahoe County, Colorado, gestartet. Auch die Bundesstaaten Kalifornien und Pennsylvania sowie Neuseeland und Chile baten sie um Vorarbeiten.
Vaithianathan hat kürzlich Forscher in Dänemark und Beamte in den Vereinigten Arabischen Emiraten zu Technologie in der Kinderbetreuung beraten.
Letztes Jahr finanzierte das US-Gesundheitsministerium eine nationale Studie, die von Vaithianathan und Putnam-Hornstein gemeinsam verfasst wurde und zu dem Schluss kam, dass ihr Gesamtansatz in Allegheny ein Modell für andere Orte sein könnte.
Die Sprecherin der HHS-Verwaltung für Kinder und Familien, Debra Johnson, lehnte es ab zu sagen, ob die Untersuchung des Justizministeriums die zukünftige Unterstützung ihrer Behörde für algorithmische Ansätze zum Wohlergehen von Kindern beeinflussen würde.
Besonders wenn die Budgets knapper werden, konzentrieren sich Agenturen mit knappen Kassen verzweifelt darauf, sich auf Kinder zu konzentrieren, die wirklich Schutz brauchen. Bei einem Panel im Jahr 2021 räumte Putnam-Hornstein ein, dass die „Gesamt-Screen-in-Rate von Allegheny seit der Implementierung ihres Tools völlig unverändert geblieben“ sei.
Unterdessen kann die Trennung von der Familie lebenslange Entwicklungsfolgen für Kinder haben.
Die Tochter der Hackneys wurde bereits in zwei Pflegefamilien untergebracht und verbrachte mehr als die Hälfte ihres Lebens getrennt von ihren Eltern.
Im Februar wurde bei ihr eine Störung diagnostiziert, die ihren Geschmackssinn stören kann, so Andrew Hackneys Anwalt Robin Frank, der hinzufügte, dass das Mädchen selbst in Pflegefamilien immer noch Probleme beim Essen hat.
„Ich möchte wirklich mein Kind zurückbekommen“, sagte Andrew Hackney. “Es tut sehr weh. Du hast keine Ahnung, wie schlimm.“
___
Burke berichtete aus San Francisco. Die Videojournalistin Jessie Wardarski von Associated Press und die Fotojournalistin Maye-E Wong in Pittsburgh haben zu diesem Bericht beigetragen.
___
Folgen Sie Sally Ho und Garance Burke auf Twitter unter @_sallyho und @garanceburke.
___
Kontaktieren Sie das globale Ermittlungsteam von AP unter [email protected] oder https://www.ap.org/tips/