Laut Forschern, die sich auf Online-Extremismus konzentrieren, haben die Aktivitäten von Terrororganisationen, die auf Twitter operieren, um mindestens 69 % zugenommen, seit der Multimilliardär Elon Musk das soziale Netzwerk übernommen hat. Aber diese Konten mussten kreativ werden, um die Inhaltsmoderation zu umgehen. Von „Sockenpuppen“-Accounts bis hin zu verschlüsselten Nachrichten und „kaputtem“ Text steht terroristischen Organisationen eine breite Palette neuer Techniken zur Verfügung. Sie setzen sie auf Twitter sowie auf anderen Plattformen wie YouTube und Facebook ein.
Letzten März, Elon Musk proklamierte sich ein “Redefreiheits-Absolutist”. Auf Twitter führte er eine Umfrage unter seinen Anhängern durch, um festzustellen, ob sie der Meinung seien, dass Twitter das Prinzip der freien Meinungsäußerung „rigoros einhält“. Mehr als 70 % der Befragten sagten „Nein“.
Doch die Übernahme des sozialen Netzwerks durch den Milliardär am 27. Oktober hat die Befürchtung neu entfacht, dass Falschinformationen und Hassreden – die zuvor in gewissem Umfang moderiert wurden – mit voller Wucht zurückkommen würden.
Diese Befürchtungen werden durch Erkenntnisse von Forschern des Institute for Strategic Dialogue (ISD) untermauert, die herausfanden, dass Inhalte von Terrorgruppen und ihren Unterstützern – insbesondere der Gruppe Islamischer Staat – seit Anfang November explodiert sind.
Obwohl dieser Anstieg mit Musks Übernahme von Twitter zusammenfiel, kam es auch auf Facebook und YouTube zu ähnlichen Aktivitätsschüben von Konten, die terroristischen Organisationen nahe stehen und diese unterstützen.
„Was sie tun werden, ist, offizielle Inhalte des Islamischen Staates zu beschönigen [group] Kanäle
Moustafa Ayad, Geschäftsführer des Instituts für strategischen Dialog, erklärte dem Beobachterteam von FRANCE 24:
In Bezug auf die Art der inoffiziellen Unterstützungsbasis auf beliebten Plattformen wie YouTube, Twitter und Facebook: Was wir gesehen haben, ist, dass ihre Fähigkeit, sich an Techniken zur Moderation von Inhalten anzupassen, zugenommen hat. Indem sie ihre Strategien auf Dinge wie die Einrichtung gefälschter Medien umstellen. […] Sie nennen diese Desinformationsstellen oder diese Medien eine Reihe sehr allgemeiner Namen wie Breaking News oder Iraq News. Und was sie tun werden, ist, offizielle Inhalte des Islamischen Staates zu beschönigen [group] Kanäle auf Telegram über diese Kanäle, über diese anderen Medienkanäle.
Künstliche Intelligenz austricksen, indem erkennbare Inhalte verschleiert werden
Um an automatisierten Inhaltsmoderationstools vorbeizukommen, müssen sich diese Konten alle ihre Inhalte ansehen, ob visuell, textlich oder codiert. Das bedeutet, zu verbergen, „was inzwischen zum Synonym für den Islamischen Staat geworden ist [group], aber nicht unbedingt seine Flagge. Also zum Beispiel das mit Emojis zu verdecken oder Nacheffekte zu verwenden, um Inhalte zu zeichnen oder zu kritzeln, um das Auffinden zu erschweren“, erklärte Ayad.
Die Verwendung von Emojis, die bei inoffiziellen Unterstützern terroristischer Gruppen beliebt sind, wurde auch verwendet, um Propaganda auf eine Weise zu verbreiten, die es der künstlichen Intelligenz erschwert, terroristische Inhalte zu kennzeichnen.
Einige Emojis wurden sogar von einigen extremistischen Gruppen „kodiert“, um bestimmte Botschaften an ihre Abonnenten zu übermitteln, während sie es für den durchschnittlichen Zuschauer – oder ein Computerprogramm – schwieriger machen, sie zu entschlüsseln.
„Broken Text“: Kopfzerbrechen für die Moderation von Inhalten
Desinformationen, die auf terroristischen Konten geteilt werden, liegen in den einfachsten Formaten vor. Manchmal verwenden Konten Benutzernamen, um sich als Medienunternehmen auszugeben und Informationen zu verbreiten, die darauf abzielen, dschihadistische Operationen zu verherrlichen.
In den sozialen Netzwerken sind sie allgegenwärtig: Seiten namens „Breaking News“, „Iraq News“ oder „ISW News“ verwenden Gattungsnamen wie diese, um terroristische Propaganda zu verbreiten.
Andere verwenden Logos von echten Medien, um ihre Botschaft zu vermitteln.
Eine komplexere Technik stellt jedoch jedes dieser Social-Media-Netzwerke vor eine große Herausforderung. „Broken Text“ kommt durch automatisierte und manuelle Inhaltsmoderation aus.
Sie tun dies in Englisch, Arabisch und anderen Sprachen, in denen heikle Wörter oder Kommentare durch Satzzeichen oder andere Symbole getrennt werden. Ein Wort wie „Dschihad“ hätte zum Beispiel einen Punkt zwischen den Buchstaben oder einen Schrägstrich, den sie verwenden werden.
Meta, das Unternehmen, dem Facebook gehört, behauptet, zwischen Juni und September 2022 verschiedene Strafmaßnahmen auf mehr als 16,7 Millionen terroristische Inhalte angewendet zu haben. Diese Zahl ist deutlich höher als im Vorquartal (13,5 Millionen).
Was YouTube betrifft, so behauptet das Unternehmen, im selben Zeitraum 67.516 Videos entfernt zu haben, die „Gewalt und Extremismus fördern“, eine Zahl, die etwas niedriger ist als im vorangegangenen Quartal.
„Early Adopters“ neuer Plattformen
Die Verbreitung des Terrorismus und insbesondere die Online-Unterstützung des Terrorismus ist eine sich ständig weiterentwickelnde Aktivität. Um die Moderation zu umgehen, sei es manuell oder künstlich, verwenden Konten, die mit terroristischen Gruppen in Verbindung stehen, Techniken, die im Laufe der Zeit verfeinert wurden.
Unterstützer terroristischer Gruppen, insbesondere der Gruppierung Islamischer Staat, gehören oft zu den ersten, die das Potenzial neuer Plattformen und Techniken zur Verbreitung ihrer Propaganda testen und nutzen.
Konten, die mit terroristischen Organisationen in Verbindung stehen, testen regelmäßig neue Techniken, um gewalttätige Inhalte online zu fördern und an ein ständig wachsendes Publikum zu verbreiten. Die Strategie läuft laut Ayad auf „Versuch und Irrtum“ hinaus. “Was erfolgreich ist, wird letztendlich zum Standardträger dafür, wie Sie Inhalte teilen.”
„YouTube konnte Inhalte in 30 Minuten entfernen, Twitter in sechs bis 12 Stunden und Facebook manchmal Tage oder Monate.“
Im November 2020, ISD die Fähigkeit großer Plattformen, Konten von Terroristen zu sperren, zeitgesteuert nach der Veröffentlichung einer von Unterstützern mit Spannung erwarteten Rede eines Sprechers der Gruppe Islamischer Staat.
Wir fanden heraus, dass YouTube diesen Inhalt innerhalb von 30 Minuten entfernen konnte. Und das ist brandneuer Inhalt, der gerade veröffentlicht wurde. Darauf folgte Twitter, das im Allgemeinen zwischen sechs und zwölf Stunden brauchte, bevor es gemeldet wurde. Und dann landete Facebook auf dem letzten Platz, wobei die Inhalte manchmal Tage oder Monate dauerten, je nachdem, wie schnell sie gemeldet wurden oder ob sie automatisch gemeldet wurden.
Laut ISD soll heute ein Archiv im Wert von etwa 2,1 Terabyte (etwa 500 Stunden hochauflösendes Video) mit Inhalten der Gruppe „Islamischer Staat“ in mehreren Sprachen, darunter Französisch, Deutsch, Englisch und hauptsächlich Arabisch, ohne weiteres online verfügbar sein. Es wird von den Online-Unterstützern der Gruppe kontinuierlich verbreitet oder beworben.
Moderation weit unter den europäischen Anforderungen
Andere Plattformen moderieren kaum die Inhalte, die auf ihnen kursieren. Die verschlüsselte Messaging-Anwendung Telegram zum Beispiel bleibt das bevorzugte digitale Werkzeug von Terrorgruppen.
Eine Europol-Kampagne zur Entfernung terroristischer Inhalte, die im Oktober 2018 in mehreren westeuropäischen Ländern und in Zusammenarbeit mit Telegram durchgeführt wurde, hatte nur kurzfristige Ergebnisse.
Was passierte, war die Art von Unterstützern und Unterstützungskanälen des Islamischen Staates, die sich zu Tam Tam verlagerten [a messaging app]. Und als die Hitze auf Telegram nachließ, [they] wechselte zurück zu Telegram, ohne irgendwie den Halt auf Tam Tam aufzugeben.
Die von den großen Social-Media-Plattformen veröffentlichten Quartalszahlen zeigen eine Zunahme der seit Juli 2022 entdeckten Inhalte, die den Terrorismus fördern, jedoch bleiben diese Berichte in Bezug auf den Prozess der Inhaltsmoderation undurchsichtig. Ayad nennt die Notwendigkeit von mehr Transparenz bei der Kennzeichnung von Inhalten – sei es von künstlicher Intelligenz oder anderen Benutzern.
Diese Zahlen spiegeln auch nicht die Ziele vom April 2021 wider EU-Verordnung zur Bekämpfung der Verbreitung terroristischer Inhalte. Die Verordnung sieht eine „Ein-Stunden-Regel“ vor, nach der Anbieter die Verbreitung schädlicher Inhalte innerhalb einer Stunde stoppen müssen oder mit Bußgeldern in Höhe von bis zu 4 % der Gesamteinnahmen rechnen müssen.
Eine weitere neue europäische Gesetzgebung, das Digital Services Act, trat am 16. November in Kraft und zielt darauf ab, „einen sichereren digitalen Raum zu schaffen, in dem die Grundrechte der Nutzer geschützt sind“.
Aber Ayad behauptet, dass die von Social-Media-Plattformen regulierten terroristischen Inhalte nur die Spitze des Eisbergs sind:
Ich würde die Schuld nicht allein den Plattformen zuschieben, aber die Plattformen tragen die Verantwortung dafür, dass diese Inhalte nicht überleben oder gedeihen. Dies erfordert eine Investition in Moderation und die Sicherstellung, dass die Moderation in verschiedenen Sprachen gerecht ist.
Dies ist nur die scharfe Spitze des Speers der Online-Schäden. Wir sprechen in diesen Sprachen nicht einmal über Hass, der wahrscheinlich noch höher ist. Wenn wir also nicht auf diese Inhalte abzielen können, wie geht es uns dann mit Dingen wie gewalttätiger Frauenfeindlichkeit? Oder Belästigung?