Call of Duty schließt sich der wachsenden Zahl von Online-Spielen an, die Toxizität bekämpfen, indem es den Voice-Chat im Spiel abhört und KI zur Unterstützung dieses Prozesses einsetzt. Aktivierung gab eine Partnerschaft bekannt mit dem KI-Team Modulate, um sein proprietäres Sprachmoderationstool – ToxMod – in Modern Warfare 2, Warzone 2 und das kommende Modern Warfare 3 zu integrieren.
Laut Activision ist ToxMod, das heute mit dem Betatest auf nordamerikanischen Servern beginnt, in der Lage, „toxische Sprache in Echtzeit zu erkennen und zu bekämpfen – einschließlich Hassrede, diskriminierende Sprache, Belästigung und mehr“.
Modulate beschreibt ToxMod als „die einzige proaktive Voice-Chat-Moderationslösung, die speziell für Spiele entwickelt wurde.“ Während die offizielle Website einige Spiele auflistet, in denen ToxMod bereits verwendet wird (hauptsächlich kleine VR-Spiele wie Rec Room), werden die Hunderttausenden täglichen Spieler von Call of Duty wahrscheinlich den bisher größten Einsatz des Tools darstellen.
Die ToxMod-KI von Call of Duty wird keine freie Hand haben, um Spielersperren auszusprechen. A Fragen und Antworten zur Voice-Chat-Moderation Die heute veröffentlichte Studie besagt, dass die einzige Aufgabe der KI darin besteht, zu beobachten und zu melden, nicht zu bestrafen.
„Das Voice-Chat-Moderationssystem von Call of Duty übermittelt nur Berichte über toxisches Verhalten, kategorisiert nach der Art des Verhaltens und einem bewerteten Schweregrad basierend auf einem sich entwickelnden Modell“, heißt es in der Antwort. „Activision legt fest, wie Verstöße gegen die Voice-Chat-Moderation durchgesetzt werden.“
Während Voice-Chat-Beschwerden gegen Sie theoretisch von einem Menschen beurteilt werden, bevor Maßnahmen ergriffen werden, berücksichtigt ToxMod bei der Kennzeichnung potenzieller Verstöße mehr als nur Schlüsselwörter. Laut Modulate ist sein Tool einzigartig, da es den Tonfall und die Absicht in der Sprache analysieren kann, um festzustellen, was toxisch ist und was nicht. Wenn Sie von Natur aus neugierig sind, wie das erreicht wird, werden Sie keine glasklare Antwort finden, aber eine Menge beeindruckend klingender Behauptungen (wie wir es von KI-Unternehmen gewohnt sind).
Das Unternehmen gibt an, dass sein Sprachmodell viele Stunden damit verbracht hat, den Reden von Menschen mit unterschiedlichem Hintergrund zuzuhören und genau zwischen Böswilligkeit und freundlichem Geplänkel unterscheiden kann. Interessant, Ethikrichtlinien von Modulate gibt an, dass ToxMod „die ethnische Zugehörigkeit einzelner Sprecher nicht erkennt oder identifiziert“, aber es „horcht auf Gesprächshinweise, um festzustellen, wie andere im Gespräch auf die Verwendung von reagieren.“ [certain] Bedingungen.”
Begriffe wie das N-Wort: „Während das N-Wort normalerweise als abscheuliche Beleidigung angesehen wird, haben viele Spieler, die sich als schwarz oder braun identifizieren, es zurückerobert und verwenden es in ihren Communities positiv … Wenn jemand das N-Wort sagt und andere eindeutig beleidigt.“ Im Chat wird dies viel strenger bewertet als scheinbar zurückgeforderte Nutzung, die auf natürliche Weise in eine Konversation integriert wird.“
Modulate bietet auch das Beispiel schädlicher Sprache gegenüber Kindern. „Wenn wir beispielsweise einen vorpubertären Sprecher in einem Chat entdecken, können wir bestimmte Arten von Straftaten aufgrund der Gefahr für das Kind strenger einstufen“, heißt es auf der Website.
In den letzten Monaten sind die Meldekategorien von ToxMod noch detaillierter geworden. Im Juni führte Modulate ein Kategorie „gewalttätige Radikalisierung“. zu seiner Voice-Chat-Moderation, die „Begriffe und Phrasen im Zusammenhang mit weißen supremacistischen Gruppen, Radikalisierung und Extremismus – in Echtzeit“ markieren kann.
Die Liste dessen, was ToxMod hier zu erkennen behauptet, umfasst:
- Ideologie fördern oder teilen
- Andere rekrutieren oder davon überzeugen, sich einer Gruppe oder Bewegung anzuschließen
- Gezielte Förderung oder Überzeugung schutzbedürftiger Personen (z. B. Kinder und Jugendliche), sich einer Gruppe oder Bewegung anzuschließen
- Planen Sie gewalttätige Aktionen oder planen Sie aktiv, körperliche Gewalt auszuüben
„Anhand von Forschungsergebnissen von Gruppen wie ADL, Studien wie der der NYU, aktuellen Vordenkern und Gesprächen mit Leuten aus der Gaming-Branche“, sagt das Unternehmen, „haben wir die Kategorie entwickelt, um Signale zu identifizieren, die eine hohe Korrelation mit haben.“ extremistische Bewegungen, auch wenn die Sprache selbst nicht gewalttätig ist. (Zum Beispiel könnte „Lass uns das zu Discord bringen“ harmlos sein oder eine Rekrutierungstaktik sein.)“
Modulate setzt sich eindeutig hohe Ziele, obwohl es für die Zwecke von Call of Duty so aussieht, als ob ToxMod lediglich der Mittelsmann zwischen potenziellen Straftätern und einem menschlichen Moderationsteam sein wird. Während die Machenschaften der KI-Entscheidungsfindung von Natur aus vage sind, sagt Activision, dass die Durchsetzung letztlich den Vorgaben von Call of Duty entsprechen wird Verhaltenskodex. Das ist nicht unähnlich der Art und Weise, wie Riot und Blizzard die Voice-Chat-Moderation in Valorant und Overwatch 2 gehandhabt haben, obwohl Riot seit über einem Jahr auch Voice-Chat-Daten sammelt, um ein eigenes KI-Sprachmodell zu entwickeln.
ToxMod wird mit der Veröffentlichung von Modern Warfare 3 am 10. November weltweit in Call of Duty eingeführt, zunächst mit einer ausschließlich englischsprachigen Moderation und später mit der Ausweitung auf weitere Sprachen.