Ubisoft, der Hersteller von Assassin’s Creed, hat heute das vorgestellt, was er „Neo NPCs“ nennt, einen Prototyp für spielerorientierte generative KI, der es im Wesentlichen ermöglicht, mit NPCs in einem Videospiel zu sprechen – im wahrsten Sinne des Wortes mit der Stimme zu sprechen.
Auf der Game Developers Conference in San Francisco durfte ich eine kurze Proof-of-Concept-Demo durchspielen, in der ich diese Technologie in die Tat umsetzte – und es fühlte sich an wie ein Blick auf die nächste große Innovationsgrenze in der Videospielentwicklung.
In der Demo schlüpfte ich in die Rolle eines neuen Rekruten einer Widerstandsgruppe, die eine Operation plante, um „das Megakorps zu Fall zu bringen“. Ich begann mit einem Chat mit einer Figur namens Bloom, erfuhr einige Informationen über die Aktivitäten der Gruppe und erfuhr einige persönliche Details über einige Gruppenmitglieder. Um ehrlich zu sein, ziemlich normales Videospiel-Kost – aber während diese Art von Konversation normalerweise durch einen verzweigten Dialogbaum gesteuert wird, fand sie hier als verbale Konversation zwischen dem NPC und mir statt. Ich sprach in ein Mikrofon und fragte Bloom, wie lange er schon im Widerstand war, ob er sich Sorgen machte, dass Menschen verletzt werden könnten, oder ob er in andere Mitglieder verknallt war. Blooms Charakter beantwortete nacheinander jede Frage, trieb das Gespräch voran und füllte gleichzeitig eine kleine Beziehungsanzeige, die persönlichere Antworten freigab, sobald wir Level zwei erreichten.
Später in der Demo sahen Bloom und ich uns einen Video-Feed einer Drohne an, die Wachen überwacht und die Fähigkeit des Technikers demonstrierte, auf Dinge zu reagieren, die im Spiel passieren. In diesem Fall könnte ich Bloom fragen, wie viele Wachen bisher gesichtet wurden oder was passierte, als die Drohne begann, die Signalreichweite zu verlassen. Als ich schließlich eine Mission plante, unterhielt ich mich mit einem anderen NPC, der einen bestimmten Plan hatte, aber seine Meinung änderte, nachdem ich ihr eine alternative Vorgehensweise vorgestellt hatte. Wir besprachen verschiedene Möglichkeiten, einen Balkon im zweiten Stock zu betreten, den besten Weg, die Wachen auszuschalten und wie man mit den Überwachungskameras umgeht. Es fühlte sich an, als wäre man mitten in einem Raubüberfallfilm angesiedelt, während die Crew Optionen diskutierte und abwägte, welchen Weg sie einschlagen sollte, bevor sie ihre Pläne in die Tat umsetzte.
Neo-NPCs werden mit Technologie von Nvidia und Inworld AI gebaut, sodass die Entwickler von Ubisoft ein narratives Erlebnis mit KI unter der Haube schaffen können. Die Technologie selbst ist im Wesentlichen ein Stapel mehrerer verschiedener KI-Implementierungen: ein Speech-to-Text-Analysator (der Ihre gesprochenen Wörter in eine Texteingabe umwandelt); Die Character Engine von Inworld AI, ein umfangreiches Sprachmodell, das bestimmt, wie der NPC agiert und reagiert; ein Text-to-Speech-Programm, das diese Antwort dann aufnimmt und eine verbale Antwort generiert; und schließlich die Audio2Face-Technologie von Nvidia, ein Echtzeit-Gesichtsanimationssystem, das die Lippen und Verhaltensweisen des NPCs an die laut gesprochenen Wörter anpasst.
Das Ergebnis fühlt sich fast so an, als würde man ein Tabletop-Rollenspiel spielen und eine Diskussion mit Ihrem DM führen, um das Gespräch und die Geschichte gemeinsam voranzutreiben.
Nvidia zeigte Anfang des Jahres auf der CES eine ähnliche, wenn auch weniger ehrgeizige Demo, in der man mit einem NPC in einem Cyberpunk-Ramen-Laden chattet, und gestern auf der GTC eine weitere, in der man als Detektiv spielt und versucht, von seinem Kollegen Informationen über einen Biotech-CEO zu erhalten in einer Hotellobby. Von den drei Demos, die ich erlebt habe, fühlen sich Neo-NPCs am besten entwickelt an. Das macht Sinn – weder Nvidia noch Inworld AI behaupten, Spieleentwickler zu sein, daher wirken ihre Demos deutlich eher wie Proofs of Concept, während die Version von Ubisoft die Erzähl- und Spieldesignfähigkeiten des Unternehmens nutzt.
Wir haben Nvidias KI-Plattform gebeten, Cyberpunk 2077 mit einer Punktzahl von 10 zu bewerten, und uhhhh … #ces #ces2024 pic.twitter.com/lScWr0O4lR
– IGN (@IGN) 12. Januar 2024
Natürlich handelt es sich bei Neo-NPCs immer noch nur um Prototypen einer technischen Demo, sodass umfassende Spielerlebnisse, die auf dieser Art generativer KI basieren, noch in weiter Ferne liegen. Dennoch hat mich der Anblick der Technologie in Aktion auf eine Art und Weise für die Zukunft des Gamings gespannt, wie ich es schon lange nicht mehr erlebt habe. Richtig umgesetzt ist dies die Art von Technologie, die, ähnlich wie der Sprung von 2D zu 3D oder von geschlossenen zu offenen Spielwelten, zu völlig neuen Arten von Spielen und Erlebnissen führen könnte.
Bo Moore ist Executive Tech Editor von IGN. Sie finden ihn online unter @usebomswisely.