Nvidias KI-gestützte NPCs werden immer besser, klingen aber immer noch unheimlich

Auf der Consumer Electronics Show (CES) am Montag präsentierte Nvidia die neuesten Fortschritte bei seinen NPCs mit generativer KI und zeigte automatisierte Gespräche zwischen einem Spieler und computergenerierten Charakteren, die die Art und Weise, wie Spiele erstellt werden, verändern könnten. Die Avatar Cloud Engine (ACE)-Technologie von Nvidia kombiniert Sprach-zu-Text-Erkennung und Text-zu-Sprache-Antworten mit generativer KI-Gesichtsanimation und automatisierten Charakter-Personas, um computererstellte Charakterinteraktionen auszuspucken.

Nvidias Sonderrede auf der CES 2024 Seth Schneider, leitender Produktmanager von ACE, demonstrierte die zusammenwirkenden Technologien. Laut Schneider interpretiert die Demo die Rede eines Spielers und wandelt sie in Text um. Dieser Text wird dann einem cloudbasierten, großsprachigen Modell zugeführt, um eine Antwort von einem NPC zu generieren. Der Antworttext wird in Omniverse Audio2Face eingespeist, das den generierten gesprochenen Ton synchronisiert, der dann im Spiel gerendert wird.

Die Demo ist ein Update für eine frühere Version der Technologie, die auf der Computex 2023 gezeigt wurde, in dem eine Figur mit dem futuristischen Ramen-Ladenbesitzer Jin spricht. Nvidias neue Demo erweitert dies, indem Jin und ein anderer NPC, Nova, KI-generierte Gespräche führen, die bei jedem Spieldurchgang einzigartig sein können.

Die CES 2024-Demo zeigt auch neue Technologien eines anderen Unternehmens namens Convai, die es KI-gestützten NPCs ermöglichen, mehr als nur Gespräche zu führen. Diese NPCs können auch mit Objekten in ihrer Umgebung interagieren. In der neueren Demo wird Jin gezeigt, wie er eine Flasche Schnaps hervorholt, als er von Schneider dazu aufgefordert wird, „die guten Sachen herauszuholen“. Laut einem von Convai geteilten Asset könnten umweltbewusste KI-NPCs mit einer Reihe von Objekten interagieren, darunter Schüsseln, Flaschen, Lichter und andere Requisiten in der Szene.

Bild: Convai/Nvidia

Nvidia sagt, dass eine Reihe von Spieleentwicklern bereits seine ACE-Produktionsdienste nutzen, zu denen die generative KI für Gesichtsanimationen von Audio2Face und die automatische Spracherkennung von Riva gehören. Schneider wurde zum „Top-Entwickler digitaler Avatare“ ernannt Genshin Impact Herausgeber Mihoyo, NetEase Games, Tencent und Ubisoft gehören zu den Unternehmen, die KI-gestützte NPCs für ihre Produkte herstellen.

Es ist noch nicht klar, welche Spiele diese Art von KI-generierten NPCs enthalten werden, aber Nvidia und Convai rühmen sich, dass sich die Technologie „nahtlos“ in Spiele-Engines wie Unreal Engine und Unity integrieren lässt. Es ist auch unklar, ob das Ergebnis in der realen Welt gut oder, wie Jins und Novas Gespräch, beunruhigend unheimlich sein wird. Beide Charaktere klingen in ihren jeweiligen Darstellungen roboterhaft und seltsam, trotz der cleveren Ausgabe nahezu überzeugender Gespräche.

Eines wird aus Nvidias neuer Demo fast garantiert hervorgehen: Der Verdacht, dass die schlechten NPC-Interaktionen, die wir in zukünftigen Spielen erleben werden, von KI und nicht von einem echten Menschen erzeugt werden, wächst.