Twitch hat „Nothing, Forever“, den KI-generierten Seinfeld-Stream, nach einem transphobischen und homophoben Ausbruch für mindestens 14 Tage gesperrt. Es ist das jüngste Beispiel für „Hate in, Hate out“, wenn KI-Chatbots ohne angemessene Moderation auf anstößige Inhalte trainiert werden.
Wie Seinfeld, „Nothing, Forever“ wechselt zwischen Standup-Bits und Szenen in der Wohnung des Komikers (er heißt in der KI-Version „Larry Feinberg“). Als erstes gemeldet von Vize, während einer der jüngsten KI-geskripteten Standup-Acts, schlug das Seinfeld-Pendant vor, dass Transgender eine Geisteskrankheit sei. Der KI-Komiker schien sich fast der Anstößigkeit des Materials bewusst zu sein und fügte schnell hinzu: „Aber niemand lacht, also höre ich auf. Danke, dass du heute Abend rausgekommen bist. Bis zum nächsten Mal. Wo sind alle hingegangen?“
Obwohl Twitch nicht bestätigt hat, dass der „Witz“ der Grund für das Verbot war, wurde der Stream kurz nach der Ausstrahlung des problematischen Segments entfernt. Die Macher des Programms machen eine Modelländerung für die verletzende Tirade verantwortlich, die den Stream versehentlich ohne Moderationstools verlassen hat.
„Heute Abend begannen wir mit einem Ausfall des GPT-3-Davinci-Modells von OpenAI, was dazu führte, dass die Show fehlerhaftes Verhalten zeigte (vielleicht haben Sie gesehen, wie leere Räume durchgelaufen sind)“, schrieb ein Mitarbeiter auf Discord. „OpenAI hat ein weniger ausgefeiltes Modell, Curie, das der Vorgänger von Davinci war. Als davinci anfing zu versagen, wechselten wir zu Curie, um zu versuchen, die Show ohne Ausfallzeiten am Laufen zu halten. Der Wechsel zu Curie führte dazu, dass der unangemessene Text generiert wurde. Wir nutzen die Inhaltsmoderationstools von OpenAI, die bisher für das Davinci-Modell funktioniert haben, aber mit Curie nicht erfolgreich waren. Wir konnten die Ursache unseres Problems mit dem Davinci-Modell identifizieren und werden Curie in Zukunft nicht mehr als Fallback verwenden. Wir hoffen, dass dies ein wenig Aufschluss darüber gibt, wie das passiert ist.“
Zucken
Das Team hat in einem anderen Discord-Beitrag (über Der Rand). „Wir glaubten fälschlicherweise, dass wir das Inhaltsmoderationssystem von OpenAI für ihre Textgenerierungsmodelle nutzen würden. Wir arbeiten jetzt daran, die Inhaltsmoderations-API von OpenAI zu implementieren (es ist ein Tool, mit dem wir die Sicherheit der Inhalte überprüfen können), bevor wir wieder live gehen, und untersuchen sekundäre Inhaltsmoderationssysteme als Redundanzen.“
Obwohl das Team wirklich entschuldigend klingt und betont, dass der bigotte Tiraden ein technischer Fehler war, der nicht seine Ansichten widerspiegelt, bekräftigt es die Bedeutung einer konsequenten KI-Moderation. Sie erinnern sich vielleicht an den Twitter-Chatbot von Microsoft, der nur etwa 16 Stunden lief, nachdem Benutzer ihm beigebracht hatten, Verschwörungstheorien, rassistische Ansichten und frauenfeindliche Bemerkungen auszuspucken. Dann war da noch der vollständig auf 4chan trainierte Bot, der genau so ausfiel, wie Sie es erwarten würden. Unabhängig davon, ob „Nothing, Forever“ zurückkehrt oder nicht, wenn ein Entwicklerteam das nächste Mal vor der Wahl steht, unerwartete Ausfallzeiten zu vermeiden oder sicherzustellen, dass diese Filter vorhanden sind, entscheiden Sie sich für Letzteres.
Alle von Engadget empfohlenen Produkte werden von unserem Redaktionsteam unabhängig von unserer Muttergesellschaft ausgewählt. Einige unserer Geschichten enthalten Affiliate-Links. Wenn Sie etwas über einen dieser Links kaufen, erhalten wir möglicherweise eine Affiliate-Provision. Alle Preise sind zum Zeitpunkt der Veröffentlichung korrekt.