Italien verbietet dem KI-Chatbot Replika die Verarbeitung von Benutzerdaten

Italien hat bestellt(Öffnet in einem neuen Fenster) Der in San Francisco ansässige KI-Chatbot-Hersteller Replika stellt die Verarbeitung der Daten von Italienern ein, da sein KI-gestützter „virtueller Freundschaftsdienst“ Risiken für Minderjährige und emotional gefährdete Personen darstellen könnte, Reuters Berichte(Öffnet in einem neuen Fenster).

Replika bietet Benutzern maßgeschneiderte Avatare, die mit ihnen sprechen und ihnen zuhören, und ist seit 2017 in Betrieb und wurde vermarktet, um das emotionale Wohlbefinden des Benutzers zu verbessern.

Die italienische Datenschutzbehörde sagte jedoch am Freitag, dass ihre Fähigkeit, in die Stimmung des Benutzers einzugreifen, „das Risiko für Personen erhöhen kann, die sich noch in einem Entwicklungsstadium oder in einem Zustand emotionaler Zerbrechlichkeit befinden“.

Die Datenschutzbehörde beschuldigte auch den Replika-Entwickler Luka Inc, die gesetzlichen Anforderungen nicht eingehalten zu haben, um zu zeigen, wie es die Daten von Menschen verwendet, und sagte, dass das Unternehmen nicht das gesetzliche Recht besitze, die Daten von Kindern gemäß den EU-Datenschutzgesetzen zu verarbeiten.

Infolgedessen wurde Replika angewiesen, die Verarbeitung von Daten der Italiener mit sofortiger Wirkung einzustellen.

In einem Pressemitteilung(Öffnet in einem neuen Fenster)sagten die Aufsichtsbehörden, dass die App „faktische Risiken für Kinder birgt – in erster Linie die Tatsache, dass ihnen Antworten zugestellt werden, die ihrem Alter absolut unangemessen sind“, und führten zusätzlich das Fehlen eines Altersüberprüfungssystems an, was bedeutet, dass die Plattform dies nicht ist für Minderjährige gefiltert oder gesperrt und für diese leicht zugänglich sind.

In einer Erklärung fuhr die Agentur fort: „Es gibt eigentlich keinen Altersüberprüfungsmechanismus: kein Gating-Mechanismus für Kinder, keine Sperrung der App, wenn ein Benutzer erklärt, dass er minderjährig ist. Während der Kontoerstellung fordert die Plattform lediglich den Namen, das E-Mail-Konto und das Geschlecht eines Benutzers an.“

Die Aufsichtsbehörde forderte das in San Francisco ansässige Unternehmen auf, es innerhalb von 20 Tagen über Maßnahmen zu informieren, die ergriffen wurden, um seine Richtlinien und Praktiken gemäß den italienischen und EU-Richtlinien zu ändern. Andernfalls könnte das Unternehmen mit einer Geldstrafe von bis zu 21,8 Millionen US-Dollar belegt werden, was fast 4 % seines weltweiten Jahresumsatzes entspricht.

Replika antwortete nicht sofort auf die Bitte von PCMag um einen Kommentar.

Im Januar 2021 war TikTok bestellt(Öffnet in einem neuen Fenster) von der italienischen Datenschutzbehörde, Benutzer zu sperren, deren Alter sie nicht überprüfen konnte. Dies geschah als Reaktion auf den Tod eines 10-jährigen Mädchens in Sizilien, das starb, nachdem es an einer beliebten „Blackout“-TikTok-Herausforderung teilgenommen hatte. Die Anordnung führte zur Entfernung von über einer halben Million Konten.