Mitte April berichtete ich über eine Pressemitteilung über die Einführung von Popul8, einem generativen KI-Tool, das das Leben von Künstlern, die in Spieleentwicklungsstudios arbeiten, erheblich erleichtern soll.
Erstellt von einem Technologieunternehmen namens DidimoPopul8 bietet die Möglichkeit, unzählige einzigartige Charaktere in großem Maßstab zu erstellen. Wie oft haben Sie ein Open-World-Spiel gespielt, dessen vermeintlich riesige und realistische virtuelle Welten tatsächlich von denselben Dutzend Charaktermodellen bevölkert waren, was Ihre Immersion erheblich beeinträchtigte?
Es handelt sich um ein intrinsisches Problem, das kein Videospiel lösen konnte. Die generative KI-Technologie könnte jedoch der Schlüssel sein, um diese Einschränkung endlich zu überwinden. Um Popul8 und seine Funktionen weiter zu besprechen, hatte ich ein tolles Gespräch mit Didimo-Gründerin und CEO Veronica Costa Orvalho. Das vollständige Transkript (aus Gründen der Übersichtlichkeit bearbeitet) finden Sie unten.
Können Sie uns etwas über Ihr Unternehmen erzählen?
Absolut. Didimo wurde 2016 gegründet. Wir sind Techstars-Alumni aus London.
Wir haben es als Ergebnis von mehr als 15 Jahren Forschung und Entwicklung entwickelt, die sich mit der Automatisierung des Charaktererstellungsprozesses beschäftigt haben, mit dem übergeordneten Ziel, Unternehmen eine einfache, schnelle und kostengünstige Möglichkeit zu bieten, digitale Menschen einzubeziehen, und zwar nun auch für jede Art von Mensch Charaktere in ihren virtuellen Welten.
Ich schätze, mein ganzer Traum, der mich jedes Mal weitermachen lässt, wenn es schwierig ist, ist die Überzeugung, dass digitale Charaktere das Element sind, das uns auf menschlichere Weise mit der virtuellen Welt verbinden wird. Es wird unsere Identität schaffen, egal für welche Form und Gestalt wir uns entscheiden.
Wie viele Mitarbeiter haben Sie derzeit?
Im Moment sind wir 25. Die meisten von ihnen sind Teil des Engineering-Teams, der Rest ist Geschäftsentwicklung, Marketing und finanzielle Unterstützung in der Verwaltung.
Aber der Kern besteht hauptsächlich aus Super-Top-Ingenieuren, die von großen Unternehmen wie Electronic Arts, Siemens und anderen kommen. Ich bin wirklich stolz auf das Team, das wir haben, es sind superschlaue Leute.
Ihr Hauptaugenmerk liegt auf dem Produkt Popul8, richtig?
Ja. Es ermöglicht die automatische Generierung von NPCs (nicht spielenden Charakteren) mit drei zentralen Wertversprechen. Die erste besteht darin, dass die Spielefirmen den Spielstil in unsere Software hochladen können und alle Charaktere mit diesem Stil herauskommen.
Der zweite Grund besteht darin, dass sich Künstler wirklich auf die Erstellung aller Elemente konzentrieren können, die zu dieser Figur gehören, sodass sie ihre Fähigkeiten beim Entwerfen von Kleidungsstücken, Hüten und Brillen wirklich nutzen und sogar die Grundgeometrie und Texturen der digitalen Figuren ganz nach ihren Wünschen erstellen können sein.
Künstler sind für unseren Prozess von grundlegender Bedeutung. Normalerweise ist es der Hauptkünstler der Spielefirma, mit der wir zusammenarbeiten. Dann können sie das in unsere Popul8-Software hochladen. Was wir tun, ist, dass alle Charaktere, die erstellt werden, alle diese Vermögenswerte wiederverwenden können. Wir verfügen über ein sehr starkes generatives KI-System, das dieses Retargeting und die Erstellung unendlicher Variationen digitaler Charaktere ermöglicht.
Das andere wichtige Wertversprechen besteht darin, dass wir über einen großen Datensatz verfügen, der in unsere maschinellen Lernalgorithmen von Menschen aus der ganzen Welt einfließt und jede einzelne ethnische Zugehörigkeit abdeckt, die Sie sich vorstellen können. Auf dieser Grundlage können wir eine unendliche Anzahl verschiedener und einzigartiger Charaktere erstellen, sodass jedes Spiel einzigartige Charaktere haben wird. Wir werden die Charaktere von einem Spiel zum anderen nicht wiederholen und das führt uns zu dem anderen Wertversprechen, das heißt, wir können den Unternehmen Code zur Optimierung der Darstellung dieser Charaktere zur Verfügung stellen.
Anstatt also etwa 20 verschiedene Charaktere in einem Spiel wie Sin City oder GTA haben zu müssen. Dank des Optimierungscodes, den wir in unserer Engine haben, können Sie jetzt unendlich viele verschiedene Zeichen verwenden.
Ich denke, dass wir Popul8 am einfachsten dadurch erklären können, dass wir letztes Jahr etwa zwei bis drei Monate damit verbracht haben, technische Direktoren, Art Directors, Produzenten und Game Directors zu interviewen. Wir fragten sie, was ihr Hauptproblem sei, das allgemein innerhalb einer Produktion gelöst werden müsse.
Die meisten von ihnen würden sagen, dass die Erstellung eines Charaktereditors sehr mühsam war. Jedes Mal, wenn Sie etwas ändern oder einen neuen Titel haben, können Sie natürlich Teile der zuvor erstellten Charakter-Editoren wiederverwenden, aber das stellt ein riesiges Budget bereit, das sie anderen Bereichen der Spielentwicklung zuweisen und sich stattdessen auf das Gameplay konzentrieren könnten Man muss sich auf passende Assets konzentrieren, die die Künstler bereits geschaffen haben.
Aus diesem Grund haben wir Popul8 zusätzlich zu unserer API erstellt.
Ich frage mich, ob Sie etwas über die generative KI-Technologie sagen können, die hinter der Software steckt. Ist es proprietär? Haben Sie Patente angemeldet?
Ja, absolut. Wir sind sehr technikorientiert und besitzen daher jede einzelne Codezeile, die wir bei Didimo haben. Alles wurde von uns entwickelt. Natürlich verwenden wir immer noch einige Bibliotheken wie OpenCV und so weiter. Aber jede einzelne Codezeile gehört uns. Wir besitzen auch alle unsere Datensätze, weil wir entweder einige hochwertige Scans kaufen oder weil wir sie selbst erstellt haben.
Deshalb hatte ich ein Team von Künstlern, die unseren Datensatz unter Bezugnahme auf Variationen von Ethnien auf der ganzen Welt erstellt haben. Wir haben vier Patente und ein fünftes wurde angemeldet, um die Bedeutung der Technologie, über die wir verfügen, widerzuspiegeln. Diese Patente sind sorgfältig ausgearbeitet in dem Sinne, dass sie jede Säule der Technologie repräsentieren, die wir entwickelt haben.
Wir haben ein Patent für die komprimierte Übertragung von Daten. Wir haben ein weiteres Patent, bei dem es um die Automatisierung unseres Rigs und das Retargeting geht.
Wir haben ein weiteres Patent für das Animationssystem und das neueste Patent befasst sich damit, wie wir synthetische Charaktere aus synthetischen Daten erstellen können, und das ist ein riesiges Patent, das wir letztes Jahr auf der SIGGRAPH vorgestellt haben.
Es ist wirklich wirkungsvoll für das, was man als generative KI bezeichnet. Wir machen das schon seit vielen, vielen Jahren. Wir sind außerdem dafür, unser Wissen so weit wie möglich weiterzugeben, damit auch andere Unternehmen unsere Arbeit nutzen können, um ebenfalls großartige Dinge zu schaffen.
Deshalb präsentiert sich unser F&E-Team auf Veranstaltungen wie dieser. Natürlich haben wir auch andere Algorithmen, die einfach nirgendwo geteilt werden, sie bleiben im Unternehmen und sind nicht einmal patentiert, so wie Geschäftsgeheimnisse.
Natürlich. Ist Popul8 bereits in gängige Spieleentwicklungs-Engines wie Unreal und Unity integriert?
Bevor ich diese Frage beantworte, möchte ich nur eine Sache erklären, die meiner Meinung nach bedeutungsvoll sein wird. Ich möchte, dass die Leute Popul8 als ein Werkzeug betrachten, das … Sie erstellen zunächst Charaktere und sortieren sie nach Stil oder ethnischer Zugehörigkeit. Sie erstellen also einen Charakter und können dann ein Team aus Charakteren erstellen. Stellen Sie sich eine ganze Schwimmmannschaft vor. Sobald Sie diese Schwimmmannschaft haben, können Sie jeden einzelnen Charakter anpassen, den Sie benötigen, sie in Form, Form und Kleidung anpassen und dann so etwas wie die gesamte olympische Schwimmmannschaft haben.
All dies kann automatisch generiert und in großem Maßstab durchgeführt werden, indem Tausende von Zeichen auf dem Bildschirm angezeigt werden. Das ist auch möglich, weil die Ausgabe unserer Dateien eine Standarddatei ist und wir außerdem über spezifische Beispielcodes verfügen, die in jede Engine eingefügt werden können. Wir sind motorunabhängig.
Die Ausgabedateien sind Standarddateien, und die Spielefirmen können sie dann tatsächlich in Unity, Unreal Engine, WebGL oder ihre proprietären Engines integrieren, was auch immer sie damit machen wollen.
Bedeutet das, dass Popul8 bereits mit MetaHuman von Unreal Engine kompatibel ist?
Das ist eine ausgezeichnete Frage. Wir haben tatsächlich mit einigen Kunden gesprochen, die einige der MetaHuman-Daten verwenden, damit wir in unserer Engine das MetaHuman-Netz einrichten können und die von uns generierten Ausgaben dann mit der MetaHuman-Software kompatibel sein können.
Das liegt daran, dass wir die Spezifikationen unserer Kunden eingeben können, also könnte es MetaHuman sein, aber es könnte sein … Stellen Sie sich vor, ein Spielestudio befindet sich mitten in der Produktion und hat bereits das Mesh, das Rig und das Texturlayout. Sie können uns das geben, wir richten das in Popul8 ein, und dann werden alle Charaktere diese Spezifikationen entwickeln, damit wir jederzeit und überall problemlos in ihre Pipeline einspeisen können.
Ich beschäftige mich schon seit so vielen Jahren mit der Entwicklung von Technologie, und viele davon waren Forschung und Entwicklung. Dann haben wir Didimo und noch einmal jede Menge Technik geschaffen. Dies ist das erste Mal, dass ich wirklich sehe, dass eine Branche etwas, das schon seit so langer Zeit gewünscht wird, wirklich bejubelt. Es ist wirklich aufregend.
Popul8 muss in der Lage sein, stark zu skalieren, oder? Einige Spiele erfordern äußerst detaillierte Charaktere, während andere je nach Genre und Design weitaus weniger anspruchsvolle Anforderungen stellen.
In der Tat. Wir unterstützen LODs (Detaillierungsgrad), sodass wir von einem LOD von Null zu einem beliebigen anderen LOD, beispielsweise fünf, wechseln können. Über fünf würde es nicht mehr so gut aussehen, aber wir können jedes LOD machen.
Auch hier kommt es wirklich auf das Spielestudio an. Sie werden uns sagen: „Veronica, wir haben ein Netz mit 10.000 Polygonen, wie Kopf und Körper, oder wir haben ein Netz mit 60.000 oder 100.000.“ Für uns wäre es dasselbe. Die Prämisse besteht immer darin, die vom Spielestudio festgelegten Spezifikationen zu respektieren, da diese dann besser wissen, wie sie in ihre Engine integriert werden.
Und zweitens liegt die kreative Leitung beim Künstler. Aus diesem Grund haben wir den stilisierten Algorithmus erstellt, damit wir ihren Stil hochladen können, sodass Sie eine Ausgabe erhalten, die wie ein Manga oder Final Fantasy aussieht. Oder es könnte eine neue Kreatur sein, die entworfen wurde. Oder es könnte wie ein Elf oder ein Ork sein.
Es ist wirklich spannend zu sehen, wie wir es schaffen, zu expandieren. Wir begannen mit dem schwierigsten Problem aller Zeiten, nämlich dem digitalen Menschen. Und jetzt, da wir das gelöst haben, ist es uns gelungen, all diese Variationen umzusetzen.
Schließlich könnten Sie sich sogar selbst hochladen und Ihre Version eines digitalen Menschen erstellen, die wie ein digitaler Mensch aussieht. Oder es könnte eine Elfenversion von dir sein. So weit wollen wir gehen. Wir haben bereits einen Kunden, der das Spiel in drei Jahren auf den Markt bringen wird, und genau das bauen wir mit ihm auf.
Sie verfügen also bereits über die Technologie, Benutzer zu scannen und digital zu replizieren?
Ja, so haben wir eigentlich angefangen. Was wir gerade machen und ich hoffe, dass wir es bis zum Sommer haben werden, wir werden diese Funktion in Popul8 integrieren. Bis Ende des Jahres werden wir einen In-Game-Editor haben und wir haben bereits ein Spiel, das diese Funktion enthalten wird.
Es ist ein Schwesterprodukt von Popul8. Es ist eine Erweiterung dessen, was wir tun werden. Wir können einen Gesichtsscan in 30 Sekunden durchführen. Wir haben diese Software, diese API bereits. Es gibt bereits ein Spiel, das es den Spielern ermöglicht, sie selbst im Spiel zu sein, also nutzen sie bereits unsere API. In diesem Fall verwenden sie dazu unser Unity SDK.
Was wir tun wollen, ist einfach eine einheitliche Software zu bringen, alles unter Popul8.
Ihr generatives KI-Tool kann möglicherweise im Alleingang einen der am längsten bestehenden Mängel in Videospielen beheben. In jedem Spiel, das Sie heute spielen können, selbst in Blockbustern wie Grand Theft Auto, werden Sie zwangsläufig davon abgelenkt, wie sich in der gesamten Spielwelt etwa ein Dutzend NPCs wiederholen. Wie fühlst du dich darüber?
Ja, wir wollten unbedingt das von Ihnen erwähnte Variationsproblem lösen. Wenn Sie beispielsweise GTA spielen, haben Sie dieselben 25 Charaktere mit nur kleinen Abweichungen. Sie werden von hinten auf sie blicken und erkennen, wer sie sind, weil sie alle die gleiche Körperform haben.
Es besteht jedoch wahrscheinlich auch ein Optimierungsproblem für Spieleentwickler. Hast du das mit Popul8 gelöst?
Das haben wir im Hinblick auf die Speicheroptimierung getan. Da wir Eigentümer des Datensatzes sind, haben wir einen optimierten Code erstellt, den wir den Spielefirmen zur Verfügung stellen. Es baut sich auf, sagen wir, acht Basisnetzen auf und dann können wir, da wir über die Algorithmen des maschinellen Lernens verfügen, unendlich viele Mikrovariationen erstellen, um neue einzigartige Charaktere zu generieren. Wir haben auch einen Code, mit dem Sie sogar das optimieren können.
Es ist das, was wir den Spielestudios geben, damit sie es in ihre Engine integrieren können. Natürlich müssen sie möglicherweise einige Anpassungen dieses Codes vornehmen, je nachdem, wie ihre Engine funktioniert.
Das neueste Spiel, das auf der Gamescom angekündigt wird, kann Zehntausende einzigartiger Charaktere auf die Leinwand bringen, und es ist verrückt, wenn man es sich ansieht. Es ist sehr bedauerlich, dass ich die Bilder bisher nicht teilen kann, denn es ist wirklich einzigartig und niemand hat es gemacht.
Ich kann es kaum erwarten, es auszuprobieren. Vielen Dank für Ihre Zeit.