Drei Teile Bosnisch Text. Dreizehn Teile Kurdisch. Fünfundfünfzig Teile Swahili. Elftausend Teile Englisch.
Das ist Teil des Datenrezepts für das neue große Sprachmodell von Facebook, das nach Angaben des Unternehmens in der Lage ist, schädliche Inhalte in über 100 Sprachen zu erkennen und einzudämmen. Bumble verwendet eine ähnliche Technologie, um unhöfliche und unerwünschte Nachrichten in mindestens 15 Sprachen zu erkennen. Google verwendet es für alles, von der Übersetzung bis zum Filtern von Zeitungskommentaren. Alle haben vergleichbare Rezepte und die gleiche dominierende Zutat: englischsprachige Daten.
Seit Jahren konzentrieren sich Social-Media-Unternehmen bei ihren Bemühungen zur automatischen Erkennung und Entfernung von Inhalten mehr auf Inhalte in Englisch als auf die 7.000 anderen Sprachen der Welt. Facebook ist fast gegangen 70 Prozent der italienisch- und spanischsprachigen Covid-Fehlinformationen nicht gekennzeichnet, im Vergleich zu nur 29 Prozent ähnlicher englischsprachiger Fehlinformationen. Das zeigen durchgesickerte Dokumente Arabisch-sprachige Beiträge werden regelmäßig fälschlicherweise als Hassrede gekennzeichnet. Eine schlechte Moderation von Inhalten in der Landessprache hat zu Menschenrechtsverletzungen beigetragen, darunter Völkermord in Myanmar, ethnische Gewalt in Äthiopien usw Wahldesinformation in Brasilien. In großem Umfang wirken sich Entscheidungen, Inhalte zu hosten, herabzustufen oder zu entfernen, direkt auf die Grundrechte der Menschen aus, insbesondere auf die von marginalisierten Menschen, die kaum andere Möglichkeiten haben, sich zu organisieren oder frei zu sprechen.
Das Problem liegt zum Teil im politischen Willen, es ist aber auch eine technische Herausforderung. Der Aufbau von Systemen, die Spam, Hassreden und andere unerwünschte Inhalte in allen Sprachen der Welt erkennen können, ist bereits schwierig. Erschwerend kommt hinzu, dass viele Sprachen „ressourcenarm“ sind, was bedeutet, dass ihnen nur wenige digitalisierte Textdaten zum Trainieren automatisierter Systeme zur Verfügung stehen. Einige dieser ressourcenarmen Sprachen haben nur wenige Sprecher und Internetnutzer, andere, wie Hindi und Indonesisch, werden jedoch von Hunderten Millionen Menschen gesprochen, was den durch fehlerhafte Systeme verursachten Schaden vervielfacht. Selbst wenn Unternehmen bereit wären, in die Entwicklung individueller Algorithmen für jede Art schädlicher Inhalte in jeder Sprache zu investieren, verfügen sie möglicherweise nicht über genügend Daten, um diese Systeme effektiv funktionieren zu lassen.
Eine neue Technologie namens „Multilingual Large Language Models“ hat die Herangehensweise von Social-Media-Unternehmen an die Moderation von Inhalten grundlegend verändert. Mehrsprachige Sprachmodelle – wie wir in beschreiben ein neues Papier– ähneln GPT-4 und anderen großen Sprachmodellen (LLMs), außer dass sie allgemeinere Sprachregeln lernen, indem sie Texte in Dutzenden oder Hunderten verschiedener Sprachen trainieren. Sie wurden speziell entwickelt, um Verbindungen zwischen Sprachen herzustellen und es ihnen zu ermöglichen, aus den Sprachen zu extrapolieren, für die sie viele Trainingsdaten haben, wie zum Beispiel Englisch, um diejenigen besser zu handhaben, für die sie weniger Trainingsdaten haben, wie zum Beispiel Bosnisch.
Diese Modelle haben sich als fähig erwiesen, einfache semantische und syntaktische Aufgaben in einer Vielzahl von Sprachen zu bewältigen, etwa die Grammatikanalyse und die Stimmungsanalyse. Es ist jedoch nicht klar, wie leistungsfähig sie bei der weitaus sprach- und kontextspezifischeren Aufgabe der Inhaltsmoderation sind, insbesondere in Sprachen, in denen sie kaum geschult sind. Und abgesehen von gelegentlichen Selbstbeweihräucherungen Blog PostSocial-Media-Unternehmen haben wenig darüber preisgegeben, wie gut ihre Systeme in der realen Welt funktionieren.
Warum vielleicht mehrsprachig? Sind Models weniger in der Lage, schädliche Inhalte zu erkennen, als Social-Media-Unternehmen vermuten?
Ein Grund dafür ist die Qualität der Daten, auf denen sie trainieren, insbesondere in Sprachen mit geringeren Ressourcen. In den großen Textdatensätzen, die häufig zum Trainieren mehrsprachiger Modelle verwendet werden, sind die am wenigsten vertretenen Sprachen auch diejenigen, die am häufigsten Text enthalten beleidigend, pornographisch, schlecht maschinell übersetzt oder einfach nur Kauderwelsch. Entwickler versuchen manchmal, schlechte Daten auszugleichen, indem sie die Lücke mit maschinell übersetztem Text füllen, aber auch das bedeutet, dass das Modell immer noch Schwierigkeiten haben wird, die Sprache so zu verstehen, wie die Leute sie tatsächlich sprechen. Zum Beispiel, wenn ein Sprachmodell nur auf maschinell übersetzten Text trainiert wurde vom Englischen ins Cebuanoeiner Sprache, die von 20 Millionen Menschen auf den Philippinen gesprochen wird, hat das Modell möglicherweise nicht den Begriff „Kuan“ gesehen, einen Slang, der von Muttersprachlern verwendet wird, für den es aber in anderen Sprachen keinen vergleichbaren Begriff gibt.