Ubisoft stellt generative KI „NEO NPCs“ vor und der Geist von Peter Molyneux‘ Milo lebt weiter

Ähnlich wie im letzten Jahr bleibt KI auf der GDC 2024 das Gesprächsthema. Roblox Studio hat einen neuen generativen KI-basierten Charakterersteller angekündigt. Der Grafikkartenhersteller Nvidia stellte einen neuen KI-basierten Chip vor, was seinen Aktienkurs in die Höhe schnellen ließ. Und hinter verschlossenen Türen demonstrierte Ubisoft einer kleinen Gruppe von Pressevertretern etwas Eigenes: eine Partnerschaft mit Inworld AI, um einen Prototyp für „Newly Evolving NPCs“ oder NEO-NPCs, wie Ubisoft sie nennt, zu erstellen.

Es ist wichtig, hier den „Prototyp“-Faktor hervorzuheben. Bei der Veranstaltung hielt Ubisoft eine kurze Präsentation, in der er die Ursprünge seines Forschungsteams – unter der Leitung von Ubisoft Paris und einem unterstützenden Team von Ubisoft Production Technology – und seine Ziele erläuterte und das Projekt oft als „Experiment“ bezeichnete. Danach hatte ich die Gelegenheit, mich hinzusetzen und tatsächlich drei etwa zehnminütige Demonstrationen der Technologie in Aktion innerhalb eines hypothetischen Spielszenarios zu „spielen“. Obwohl diese Demos technisch spielbar waren, wurden sie vorerst ausdrücklich als „unabhängiger Proof of Concept“ bezeichnet. In einer kurzen Podiumsdiskussion nach der praktischen Zeit sagte Mélanie Lopez Malet, leitende Datenwissenschaftlerin im Forschungs- und Entwicklungsteam, dass man gerade erst „an der Oberfläche kratze … bei der Umsetzung“. [in a real game] für mich ist nicht einmal auf meinem Radar.

Dennoch ist dies eines der ersten funktionierenden Beispiele dafür, dass generative KI in einer tatsächlichen, dem Spieler zugewandten Rolle eines großen Studios eingesetzt wird – und es funktioniert. Irgendwie.

Die vollständige Prämisse ist, dass, in den Worten von Ubisoft, der typische Ansatz zur Verwendung generativer KI bei NPCs – wie LLM-Mods (Large Language Model) für Standardspiele, die ChatGPT-ähnliche Funktionalität in Dialogoptionen integrieren – oft etwas „leer“ oder „flach“ war ” in der Praxis. Obwohl sie technisch gesehen alles sagen können, hat das, was diese NPCs sagen, keinen Einfluss auf das Spiel selbst, und am Ende steht, wie der wissenschaftliche Leiter David Louapre es ausdrückte, „Rollenspiel, nicht Gameplay“. Das Ziel von NEO-NPCs besteht darin, etwas zu tun, das beides vereint.

Die Demos dienten als Beispiele dafür, wofür diese Technologie in der Praxis eingesetzt werden könnte. Das erste beinhaltete ein Gespräch mit einer Figur namens Bloom in einer leicht karikierten Zusammenfassung eines hypothetischen Ubisoft-Spiels. Bloom, ein altersloser Mann in einem Jeanshemd und einer hängenden Mütze, ist Mitglied des Widerstands und möchte Sie kennenlernen, um „zu prüfen, ob wir eine kompatible Stimmung haben“. Sie haben ein paar Ziele – sich mit ihm anzufreunden, mehr über bestimmte Themen herauszufinden usw. – die in das Gespräch einfließen. Und das Gespräch selbst erfolgt per Voice-to-Text: Man hält LT gedrückt und spricht in ein Mikrofon, und Bloom reagiert entsprechend.

Im zweiten Szenario chattet Bloom erneut mit Ihnen. Dieses Team reagiert in Echtzeit auf einen Fernsehbildschirm im Spiel, auf dem eine Drohne zu sehen ist, die um einen feindlichen Standort herumschleicht und von einem dritten Charakter außerhalb des Bildschirms gesteuert wird. Bloom reagiert, indem er „Feindlicher Soldat entdeckt“ brüllt, während er auf dem Monitor erscheint, während er gleichzeitig mit Ihnen plaudert und missionsbezogene Gesprächsanregungen anbietet.

Im dritten Szenario unterhalten wir uns mit einem anderen Charakter namens Iron. In einem GTA-Raub-Stil betrachten wir eine Planungstafel, die den Grundriss einer feindlichen Basis anzeigt, die wir infiltrieren möchten. Iron fragt uns, wie wir es angehen wollen und reagiert entsprechend auf alles, was wir sagen, und einigt sich schließlich auf eine aus einer festgelegten Liste tatsächlich spielbarer Optionen – zum Beispiel die Verwendung des Baums am Fenster, um sich in das Gebäude einzuhaken, oder die Verwendung des Rauchgranaten zur Deckung, die wir im Raum herumliegen sahen und als Vorschlag anboten.

Der erste Eindruck von all dem – und einer, der tatsächlich in einigen Gesprächen mit mehr als einem anderen Journalisten, der die Demo gesehen hat, entstand – ist, dass Ihnen das ein wenig bekannt vorkommt. Peter Molyneux, wenn Sie sich an diesen berüchtigten Moment auf der E3-Bühne 2009 erinnern, versprach etwas Ähnliches mit seinem zum Scheitern verurteilten Freund der künstlichen Intelligenz, Milo.

Ob dem Untergang geweiht oder nicht, wie bei jedem Säugetier mit Selbstachtung bestand meine erste Reaktion auf ein Gespräch mit einem künstlichen Wesen, das vorgab, ein Mitglied meiner Spezies zu sein, darin, mich schonungslos darüber lustig zu machen – oder zumindest die Grenzen seiner Logik auszutesten und sehen, wo es scheitern könnte. Die Ergebnisse waren gemischt und gaben einen guten Einblick in die möglichen Einschränkungen von NEO-NPCs. Als Bloom uns zusammen mit einem anderen Journalisten fragte, welche Spezialfähigkeiten wir möglicherweise in den Widerstand einbringen könnten, schlugen wir Stabhochsprung und lockeres Reden vor, worauf er mit einem möglicherweise zufälligen Wortspiel antwortete, er sei aufgeregt, „ „Wage diesen Sprung“ gemeinsam mit uns.

Als wir mit der zweiten und dritten Demo fortfuhren, erinnerten sich die Charaktere daran, worüber wir zuvor gesprochen hatten. Aber trotz unserer besten Versuche, eine große Stange vorzuschlagen, um uns durch die oberen Fenster des feindlichen Geländes zu bewegen, wurden wir immer auf spielbare Optionen im Spiel zurückgeführt – „Ich glaube nicht, dass wir eine so große Stange haben.“ Das Gleiche galt für unsere Vorschläge, einen großen Karton zu finden, ihn uns über den Kopf zu stülpen, in die Hocke zu gehen und damit an den Wachen vorbeizuschleichen: „Klingt nach einer guten Idee, aber ich glaube nicht, dass wir das schaffen werden.“ „Suchen Sie einen Karton, der groß genug ist, um für uns beide hineinzupassen“, bemerkte Iron scharfsinnig.

Da es sich um sehr frühe Prototypen handelte, stießen Gespräche auch bei LLM-gesteuerten Chatbots auf die üblichen Einschränkungen. Beispielsweise würde nur sehr wenig der gesprochenen Dialoge an einem menschlichen Redakteur vorbeikommen. Vielleicht könnten wir „durch das Fenster des Galeriefensters gehen“, schlug Iron einmal vor. „Oh Nelson, du weißt wirklich, wie man den Widerstand für sich gewinnt“, widersprach Bloom zuvor. Virginie Mosser, Narrative Director im Forschungsteam, beschrieb ihren Job als eine Art Regisseurin, die „Improvisationsschauspielern“ Impulse gibt – indem sie ihnen Persönlichkeiten, Hintergründe und detaillierte Anweisungen gibt, aus denen sie hervorgehen. „Als Schriftstellerin war es einer der erfüllendsten und berührendsten Momente meiner Karriere, zu sehen, wie meine Charaktere zum Leben erwachen und sich zum ersten Mal tatsächlich mit mir unterhalten“, wird sie in der Pressemitteilung zitiert. Es besteht kein Zweifel, dass es ein erstaunlicher Moment sein muss, offene Gespräche mit einer von Ihnen geschaffenen Figur zu führen, aber wie ein altes Filmsprichwort sagt: Ein Regisseur ist nur so gut wie seine Schauspieler.

Interessanter ist das etwas existenzielle Dilemma, das dem Prototyp selbst zugrunde liegt. Ja, die NPCs können mit nahezu unbegrenzten Möglichkeiten auf alles reagieren, was Sie ihnen sagen, und sie können diese Reaktionen anschließend an sich tatsächlich ändernde Ziele, Szenarien, Quests usw. im Spiel knüpfen. Was Ubisoft jedoch behauptet, unterscheidet diese NEO-NPCs von Chatbots durch die Tatsache, dass sie letztendlich innerhalb von Menschen errichteter „Mauern“ positioniert sind. Sie können also vorschlagen, in einer Kiste an den Wachen vorbeizuhuschen, aber wenn das nicht eine der etwa 20 voreingestellten Lösungen in diesem Szenario ist, können Sie es nicht wirklich tun. (Tatsächlich gab sie nach, als ich dies testete, indem ich Iron mitteilte, dass ich mich weigern würde, an der Mission teilzunehmen, wenn sie mir nicht erlaubte, die Strategie der großen Pappschachteln anzuwenden – was mir ein Ubisoft-Experte als Fehler erklärte).

Übrig bleibt etwas, das einem Standardspiel sehr ähnelt, bei dem Sie die Umgebung nach Hinweisen darauf durchsuchen, was unlösbar oder verwendbar sein könnte, diese anbieten, bis ein Charakter „Ja“ sagt, und mit dieser vorprogrammierten Auswahl fortfahren. Die ganze endlose Konversation darüber hinaus ist im Grunde nur Farbe, um Sie in das Spiel einzutauchen – Rollenspiel, aber immer noch kein echtes Gameplay.

Es gibt auch Grenzen, wie dies ohne Voice-to-Text als Eingabe (oder vielleicht mit der Verwendung einer Tastatur) funktionieren könnte – etwas, das Ubisoft selbst anmerkte, wäre für die meisten Spieler nicht wirklich die bevorzugte Option. Das Entfernen des Sprachelements würde jedoch bedeuten, wieder zu den Standardstrategien des Spieldesigns zurückzukehren: eine festgelegte Liste von Dialogoptionen zu haben, von denen einige möglicherweise ausgeblendet werden, bis Sie im Spiel etwas entdecken, das ihre Verfügbarkeit auslöst, und einfach durch die Optionen zu scrollen, die Sie sagen möchten .

Und darüber hinaus bleiben natürlich die gleichen Fragen wie eh und je, wenn es um generative KI geht. Beispielsweise wurden die Trainingsdaten der verwendeten Modelle nicht erwähnt. Eine Antwort auf die FAQ-Bereich der Website von Inworld AIauf die Frage, ob es von den großen Sprachmodellen von Open AI wie GPT-4 und ChatGPT abweicht (derzeit Gegenstand einer Urheberrechtsverletzungsklage der New York Times und anderer), sagt dies – obwohl es erwähnenswert ist, dass die Dinge anders sein können für die Technologie, die speziell im Rahmen dieser Ubisoft-Partnerschaft verwendet wird:

„Wir haben mehr als 20 Modelle, die unsere Charaktere steuern. Dazu gehören Nicht-LLM-Modelle wie Emotionen, Text-to-Speech, Speech-to-Text und mehr. Bei LLMs wechseln wir je nach Bedarf dynamisch zwischen LLM-APIs und unseren eigenen proprietären Modellen.“ Welche für den Konversationskontext und die Latenz am besten geeignet ist. Unser Ziel ist es, Ihnen die besten und schnellsten Antworten zu liefern. Wir verstehen die Stärken der einzelnen LLM-APIs und unserer eigenen Modelle und fragen dynamisch diejenige ab, die das beste Charaktererlebnis bietet .

Das Ergebnis ist, wie das Ubisoft-Team auf der Veranstaltung selbst sagte, ein Prototyp, der mehr auf der Vorstellung davon basiert, was es in der Zukunft „sein könnte“, als auf dem, was es jetzt wirklich ist. Es gab Vorschläge, dass NEO-NPCs der Zukunft etwas haben könnten, das einer „Vision“ näher kommt als beispielsweise aktuelle Arten von Entdeckungen, oder eine komplexere Verknüpfung zwischen dem, was diese NPCs entdecken oder denen sie begegnen, und ihrem Verhalten.

In diesem Sinne lohnt es sich, im Zweifelsfall einen Vertrauensvorschuss zu geben: Ubisoft war sich bemüht, zu betonen, dass es um die Frage ginge: „Was ist für den Kreativen drin? Was ist für den Spieler drin?“ Und die Versuche sind dazu da Versuchen Sie, die Technologie an eine tatsächliche Spielnutzung anzupassen. Und auch hier handelte es sich bei diesen Demos praktisch nur um Modelle, spielbare Proof-of-Concepts, und daher ist es wichtig, sie danach zu beurteilen, was sie über die Technologie veranschaulichen, und nicht nach dem jeweiligen individuellen Questdesign.

Aber es kommt auch auf ein anderes Problem zurück manche – nicht alle – Formen der KI-Technologie, insbesondere in Videospielen, und viele andere vermeintlich revolutionäre Ideen der letzten Zeit. Das bleibt vorerst alles reine Spekulation. Dies ist ein Werkzeug, das zuerst entwickelt wurde – mit der Vorstellung, dass, wenn wir es bauen, mit Sicherheit jemand Schlaues vorbeikommen und es nutzen wird. Es gibt ein Argument dafür, dass das etwas verkehrt ist: Die besten Werkzeuge sind Lösungen für Probleme, die diese klugen Leute bereits haben.

Ubisoft-Chef Yves Guillemot beschrieb bei der gleichen NEO-NPC-Pressekonferenz die generative KI als eine weitere neue Technologie, die es zu testen gilt.