Es gibt so viele Möglichkeiten, einen Text-Chat mit einem großen Sprachmodell zu führen, von ChatGPT über Google Bard bis hin zu MLC LLM, einem lokalen Chatbot, der auf Ihrem Telefon ausgeführt werden kann. Die nächste Grenze für die KI besteht darin, die Leistungsfähigkeit von LLMs auf NPCs (Nicht-Spieler-Charaktere) in Spielen zu übertragen, in denen man statt einer vorgefertigten Reihe von Interaktionen eine offene Konversation führen kann.
Während seiner Keynote zur Computex 2023 stellte Nvidia-CEO Jensen Huang vor ACE für Spiele, ein KI-Modell-Foundry-Service, der darauf ausgelegt ist, Spielcharaktere mithilfe natürlicher Sprachkonversation, Audio-zu-Gesichtsausdruck und Text-to-Speech/Speech-to-Text-Funktionen zum Leben zu erwecken. Huang zeigte eine Spieldemo, in der ein NPC namens Jin, der einen Ramen-Nudelladen betreibt, mit einem menschlichen Spieler interagierte, der mit seiner Stimme Fragen stellte und realistische Antworten erhielt, die zur Hintergrundgeschichte des NPCs passten.
In der Demo geht der Spieler (genannt Kai) in Jins Ramen-Laden, fragt ihn (mit Stimme), wie es ihm geht, und unterhält sich darüber, dass die Gegend eine hohe Kriminalitätsrate hat. Kai fragt, ob er helfen kann, und Jin antwortet: „Wenn Sie etwas dagegen unternehmen möchten, habe ich Gerüchte gehört, dass der mächtige Verbrecherboss Kumon Aoki allerlei Chaos in der Stadt verursacht. Er könnte die Wurzel dieser Gewalt sein.“ .” Kai fragt, wo Aoki zu finden ist, und Jin sagt es ihm, was den Benutzer auf die Suche bringt.
„KI wird nicht nur zur Umgestaltung und Synthese der Umgebung beitragen, sie wird auch die Charaktere animieren“, sagte Huang. „KI wird ein sehr großer Teil der Zukunft von Videospielen sein.“
Nvidia ACE for Games bietet Hochgeschwindigkeitszugriff auf drei verschiedene bereits vorhandene Komponenten. Das erste, Nvidia NeMo, ist ein KI-Framework zum Trainieren und Bereitstellen von LLMs und umfasst NeMo Guardrails, die unangemessene/„unsichere“ KI-Gespräche verhindern sollen. Vermutlich würde dies NPCs davon abhalten, auf unangemessene, themenfremde Aufforderungen von Benutzern zu antworten. Guardrails verfügt auch über Sicherheitsfunktionen, die Benutzer oder potenzielle Injektoren daran hindern sollen „Jailbreaking“ die Bots und bringt sie dazu, schlechte Dinge zu tun.
Nvidia Riva ist die Speech-to-Text/Text-to-Speech-Lösung des Unternehmens. Im ACE for Games-Workflow stellt ein Spieler über sein Mikrofon eine Frage und Riva wandelt sie in Text um, der dem LLM zugeführt wird. Das LLM generiert dann eine Textantwort, die Riva wieder in Sprache umwandelt, die der Benutzer hören kann. Natürlich würden wir erwarten, dass Spiele die Antworten auch im Text anzeigen. Sie können die Speech-to-Text- und Text-to-Speech-Funktionen von Nvidia Riva selbst ausprobieren Website des Unternehmens.
Nvidia Omniverse Audio2Face stellt den letzten Schritt im ACE-Workflow für Spiele dar, da es den Charakteren ermöglicht, Gesichtsausdrücke zu haben, die zu dem passen, was sie sagen. Das Unternehmen bietet dieses Produkt derzeit in der Beta-Phase an, und Sie können es tun Probieren Sie es hier aus.
Die Demo namens Kairos wurde von entworfen Convaiein KI-in-Gaming-Startup, das Teil von ist Nvidias Inception-Programm das aufstrebende Unternehmen mit Risikokapital verbindet. Auf der Website des Unternehmens wird ein Toolset angeboten, mit dem Spieleentwickler lebensechte NPCs mit komplexen Hintergrundgeschichten bauen können.
Das Unternehmen hat ein tolles Erklärvideo darüber, wie seine Tools funktionieren und was sie können. Im Video können Sie sehen, wie Spieler mit NPCs sprechen und sie auffordern, Dinge zu tun, bei denen es um tatsächliche Objekte und andere Charaktere im Spiel geht.
Im Video bittet ein Spieler beispielsweise einen NPC, ihm eine Waffe zu geben, die auf einem Tisch liegt, und der NPC kommt dieser Bitte nach. In einem anderen Teil des Videos bittet der Spieler einen Soldaten-NPC, auf ein Ziel zu schießen, das sich an einem bestimmten Ort befindet. Wir sehen auch, wie die Tools von Convai all dies ermöglichen.
Es ist sehr wichtig, diesen zusätzlichen Kontext zu haben, damit der NPC weiß, was im Spiel vor sich geht. Kürzlich haben wir ein Minecraft-KI-Plugin getestet, mit dem Sie in diesem Spiel mit NPCs sprechen können, aber die NPCs haben überhaupt kein Situationsbewusstsein. Wir konnten beispielsweise ein Gespräch mit einem Schaf fortsetzen, nachdem wir es getötet hatten (und es nicht wusste, dass es tot war).