Bereits im August stellte Meta sein multimodales KI-Übersetzungsmodell SeamlessM4T vor, das fast 100 Sprachen für Text und 36 Sprachen für Sprache unterstützt. Mit einer aktualisierten „v2“-Architektur ist der Technologieriese jetzt da expandieren an diesem Tool, um Konversationsübersetzungen spontaner und ausdrucksstärker zu machen – letzteres ist ein fehlender Schlüssel für eine authentische Konversation über mehrere Sprachen hinweg.
Die erste der beiden neuen Funktionen ist „SeamlessExpressive“, die, wie der Name schon sagt, Ihre Ausdrücke auf Ihre übersetzte Sprache überträgt. Dazu gehören Ihre Tonhöhe, Lautstärke, emotionaler Ton (Aufregung, Traurigkeit oder Flüstern), Sprechgeschwindigkeit und Pausen. Wenn man bedenkt, dass übersetzte Reden bisher immer roboterhaft klangen, ist dieser Durchbruch möglicherweise ein Game-Changer – sowohl in unserem täglichen Leben als auch bei der Produktion von Inhalten. Zu den unterstützten Sprachen gehören Englisch, Spanisch, Deutsch, Französisch, Italienisch und Chinesisch Demoseite Zum Zeitpunkt des Schreibens dieses Artikels fehlten Italienisch und Chinesisch.
Die zweite Funktion ist „SeamlessStreaming“, die mit der Übersetzung einer Rede beginnt, während der Sprecher noch spricht, sodass andere die Übersetzung schneller hören können. Es gibt immer noch eine kurze Latenz von knapp zwei Sekunden, aber man muss zumindest nicht warten, bis jemand einen Satz beendet hat. Laut Meta besteht die Herausforderung hier darin, dass verschiedene Sprachen unterschiedliche Satzstrukturen haben. Deshalb musste ein Algorithmus entwickelt werden, der sich mit der Untersuchung teilweiser Audioeingaben befasst, um zu entscheiden, ob genügend Kontext vorhanden ist, um mit der Generierung einer übersetzten Ausgabe zu beginnen, oder ob man weiter zuhören sollte .
Metas neueste Entwicklung dieser „Seamless Communication“-Suite scheint beeindruckend zu sein – mehr als die mobilen Dolmetscher-Tools von Unternehmen wie Google und Samsung. Es gibt kein Wort darüber, wann die Öffentlichkeit diese neuen Funktionen nutzen kann, aber ich kann mir schon vorstellen, dass Meta sie eines Tages in seine Datenbrillen integriert und sie damit noch praktischer als je zuvor macht.