Von Sarah Chander, leitende Politikberaterin, EDRi
Während das KI-Gesetz der EU in die Endphase der Verhandlungen eintritt, kommt es zu entscheidenden Auseinandersetzungen um den Schutz der Menschenrechte. Die Regeln für den Einsatz von KI-Technologie zur Überwachung durch die Polizei seien der Kern des Problems, schreibt Sarah Chander.
Das erste verbindliche KI-Gesetz der Welt, das EU-KI-Gesetz, das voraussichtlich weitere globale Regulierungsbemühungen beeinflussen wird, befindet sich derzeit in der Endphase der Verhandlungen.
Während die EU in die Triloge übergeht – die interinstitutionellen Verhandlungen, die über die endgültige Gesetzgebung entscheiden – wird die entscheidende Frage sein, inwieweit das KI-Gesetz Menschenrechtsfragen und die Belange der Menschen, die von „riskanten“ KI-Systemen betroffen sind, in den Mittelpunkt stellt.
In Europa und auf der ganzen Welt werden KI-Systeme eingesetzt, um uns im öffentlichen Raum zu überwachen und zu kontrollieren, unsere Wahrscheinlichkeit zukünftiger Kriminalität vorherzusagen, Migration zu „verhindern“, unsere Emotionen vorherzusagen und wichtige Entscheidungen zu treffen, die unseren Zugang zu öffentlichen Dienstleistungen wie Sozialhilfe bestimmen .
Während das Europäische Parlament mit einem Menschenrechtsmandat in die Verhandlungen geht – einschließlich des Verbots riskanter Technologien wie der Gesichtserkennung in der Öffentlichkeit – versuchen einige EU-Regierungen, die Kapazitäten der Polizei zu erweitern, um uns mithilfe von KI zu überwachen.
Wer schützt uns vor Polizeitechnik?
Was steht für die Menschen auf dem Spiel, die diesen Systemen unterliegen?
In den nächsten Monaten wird darüber debattiert, welche Grenzen für den Einsatz von Überwachungstechnologie durch die Polizei gelten, inwieweit Betroffene den Einsatz von KI anfechten können und inwieweit Unternehmen bei der Entscheidung über die Reichweite dieser Gesetzgebung eine Rolle spielen sollten.
Während wir die schmerzhaften und ärgerlichen Folgen der unkontrollierten Polizeigewalt in Frankreich beobachten, können wir den Abstieg in einen Zustand verschärfter Überwachung und Gewalt durch die Polizei nicht ignorieren.
Technologien wie KI werden diese Realität des strukturellen Rassismus nur mit mehr Werkzeugen, mehr rechtlichen Befugnissen und weniger Rechenschaftspflicht der Polizei verstärken.
Insbesondere KI-Systeme ermöglichen neue und invasivere Techniken zur Überwachung und Kontrolle.
Von der Verwendung von Gesichtserkennung zur Identifizierung von Menschen, die sich frei an öffentlichen Orten bewegen, bis hin zu prädiktiven Polizeisystemen, um zu entscheiden, wer ein Krimineller ist, bevor sie Straftaten begehen – KI eröffnet Regierungen die Möglichkeit, Freiheiten auf neue, schädliche Weise zu verletzen.
Predictive Policing kann Diskriminierung weiter verschärfen
Einige Mitgliedstaaten argumentieren, dass diese Technologien ihnen helfen werden, Verbrechen zu bekämpfen und vermisste Kinder zu finden.
Wir müssen uns fragen: Bedeutet mehr Überwachung mehr Sicherheit? Wer ist sicherer, wenn der Staat besser auf uns aufpassen kann?
Der zunehmende Einsatz von KI in Polizei- und Migrationskontexten hat enorme Auswirkungen auf Rassendiskriminierung.
Der Einsatz solcher Technologien setzt farbige Menschen einer stärkeren Überwachung, diskriminierenderen Entscheidungsfindung und schädlicherem Profiling aus.
KI-Systeme werden Auswirkungen auf unser Protestrecht haben, da sie die Freiheiten abschrecken, sowie auf die Rechte von Kindern, wenn vorausschauende Polizeiarbeit hauptsächlich auf junge Menschen mit rassistischem Hintergrund abzielt, wie wir im Top-400-System in den Niederlanden sehen.
Eine sinnvolle Rechenschaftspflicht und Sicherheit für die Öffentlichkeit erfordern Verbote dieser schädlichen, invasiven Systeme sowie eine klare öffentliche Kontrolle darüber, wie Polizei und Einwanderungskontrolle KI-Systeme nutzen.
KI für das Volk oder die Profiteure?
Auch jenseits von Polizei und Migrationskontrolle kann der Einsatz von KI Leben ruinieren.
Wie wir gesehen haben, als die niederländische Regierung KI einsetzte, um Betrug bei Antragstellern auf Kindergeld vorherzusagen, gibt es zahlreiche Risiken, wenn wir die wichtigsten Entscheidungen an automatisierte Systeme delegieren.
In den Niederlanden wurden zu Unrecht Ermittlungen gegen Eltern wegen Betrugs eingeleitet, und Menschen verloren ihre wirtschaftliche Lebensader, was noch immer nicht vollständig geklärt oder zur Rechenschaft gezogen wurde.
Das KI-Gesetz verfügt über gewisse Kapazitäten, um solch großen Schaden im Leben der Menschen anzugehen und zu verhindern. Die Gesetzgebung beschränkt sich auf KI mit „hohem Risiko“ und schreibt eine Reihe technischer Prüfungen für solche Systeme vor, bevor sie auf den Markt kommen.
Allerdings versuchen große Technologieunternehmen, diesen Prozess zu untergraben. Viele Unternehmen drängen darauf, dass die EU Lücken in der Definition von „hohem Risiko“ einführt, damit KI-Anbieter entscheiden können, ob ihr System „signifikant“ genug ist, um diesen Regeln zu unterliegen.
Wenn KI-Unternehmen, die ein finanzielles Interesse daran haben, ihre Systeme nicht als risikoreich zu kennzeichnen, selbst über die Kennzeichnung ihrer Systeme entscheiden dürfen, wird die gesamte Gesetzgebung gefährdet.
Man sollte KI-Unternehmen nicht zutrauen, sich selbst zu regulieren, wenn für sie riesige Gewinne auf dem Spiel stehen.
Tatsächlich wird das gesamte Regelwerk für „Hochrisiko“-KI ein großes Diskussionsthema sein. Müssen Unternehmen und Regierungen, die KI nutzen, diese offenlegen?
Müssen sie die Risiken messen? Wie können Menschen, die durch diese Systeme geschädigt wurden, deren Nutzung anfechten und Wiedergutmachung verlangen?
Organisationen fordern Rechenschaftspflicht
Um sicherzustellen, dass diese Anliegen zu Beginn der Triloge ganz oben auf der Prioritätenliste der EU-Institutionen stehen, fordert eine große Koalition der Zivilgesellschaft das KI-Gesetz zum Schutz der Rechte der Menschen.
Insgesamt 150 Organisationen fordern, dass die Gesetzgebung die Menschen stärkt, indem sie einen klaren Rahmen für die Rechenschaftspflicht schafft, um Schaden zu verhindern und die Aufsicht zu gewährleisten, wenn KI von Strafverfolgungsbehörden eingesetzt wird, und um Unternehmenslobbyismus zurückzudrängen, die darauf abzielt, die Gesetzgebung zu untergraben.
Das KI-Gesetz ist eine einmalige Gelegenheit, Technologien zu regulieren, die bereits weitreichende Auswirkungen auf das Leben der Menschen haben.
Die EU muss bei dieser wegweisenden Gesetzgebung den Rechten der Menschen Vorrang einräumen.
Sarah Chander ist Senior Policy Adviser bei European Digital Rights (EDRi).
Bei Euronews glauben wir, dass jede Meinung zählt. Kontaktieren Sie uns unter [email protected], um Pitches oder Einsendungen zu senden und an der Diskussion teilzunehmen.