Eine zukünftige Version von DLSS wird wahrscheinlich vollständiges neuronales Rendering umfassen, deutete Bryan Catanzaro, ein Nvidia-Vizepräsident für angewandte Deep-Learning-Forschung, an. In einer Diskussionsrunde organisiert von Digitale Gießerei (Video) sprachen verschiedene Experten der Videospielbranche über die Zukunft der KI in der Branche. Während der Diskussion zog Catanzaro von Nvidia einige Augenbrauen hoch, da er so offen war, einige Schlüsselmerkmale eines hypothetischen „DLSS 10“ vorherzusagen.
Wir haben im Laufe der Jahre bedeutende Entwicklungen in der DLSS-Technologie von Nvidia gesehen. Als es erstmals mit den GPUs der RTX 20-Serie auf den Markt kam, fragten sich viele, welchen wahren Wert Technologien wie die Tensor-Kerne in Gaming-GPUs haben. Die ersten Raytracing-Spiele und die erste Version von DLSS waren von fragwürdigem Wert. Allerdings verbesserte DLSS 2.X die Technologie und machte sie nützlicher, was dazu führte, dass sie weiter verbreitet wurde – und zunächst über FSR2 und später mit XeSS kopiert wurde.
DLSS 3 debütierte mit den Grafikkarten der RTX 40-Serie und fügte Frame Generation-Technologie hinzu. Mit 4-facher Hochskalierung und Frame-Generierung ermöglicht das neuronale Rendering möglicherweise, dass ein Spiel nur 1/8 (12,5 %) der Pixel vollständig rendert. Zuletzt bot DLSS 3.5 mit der Einführung der Ray Reconstruction-Technologie verbesserte Rauschunterdrückungsalgorithmen für Raytracing-Spiele.
Der obige Zeitplan wirft Fragen darüber auf, wohin Nvidia mit zukünftigen Versionen von DLSS als nächstes gehen könnte. Und natürlich gilt „Deep Learning Super Sampling“ nicht mehr wirklich, da die letzten beiden Ergänzungen andere Aspekte des Renderings zum Ziel hatten. Digital Foundry stellte der Gruppe diese Frage: „Wo sehen Sie DLSS in der Zukunft?“ Welche anderen Problembereiche könnten durch maschinelles Lernen sinnvoll angegangen werden?“
Bryan Catanzaro brachte sofort das Thema vollständiges neuronales Rendering zur Sprache. Diese Idee ist nicht ganz so weit entfernt, wie es scheint. Catanzaro erinnerte das Gremium daran, dass Nvidia-Forscher auf der NeurIPS-Konferenz im Jahr 2018 eine Open-World-Demo einer Welt zeigten, die mithilfe eines neuronalen Netzwerks in Echtzeit gerendert wurde. Während dieser Demo lieferte die UE4-Spiel-Engine Daten darüber, welche Objekte sich in einer Szene befanden, wo sie sich befanden usw. sowie das bereitgestellte neuronale Rendering alle die Bildschirmgrafiken.
Die Grafiken im Jahr 2018 waren eher einfach – „Nicht annähernd an Cyberpunk“, gab Catanzaro zu. Die Fortschritte bei der KI-Bilderzeugung waren in der Zwischenzeit jedoch ziemlich erstaunlich. Schauen Sie sich zum Beispiel die Qualitätssprünge an, die wir im letzten Jahr bei KI-Bildgeneratoren gesehen haben.
Catanzaro meinte, die Demo 2018 sei ein Einblick in einen wichtigen Wachstumsbereich der (generativen) KI im Gaming. „DLSS 10 wird (in ferner, ferner Zukunft) ein vollständig neuronales Rendering-System sein“, spekulierte er. Das Ergebnis werden „immersivere und schönere“ Spiele sein, als sich die meisten heute vorstellen können.
Bis DLSS 10 glaubt Catanzaro, dass wir einen schrittweisen Prozess erleben werden, der für Entwickler kontrollierbar und kohärent ist. Entwickler verfügen mittlerweile über Erfahrung mit Tools, die es ihnen ermöglichen, ihre Vision mithilfe traditioneller Spiele-Engines und 2D-/3D-Rendering-Technologie zu steuern. Sie benötigen ähnlich fein kontrollierte Werkzeuge, die für generative KI bereit sind, bemerkte der Nvidia-Vizepräsident.
Eine weitere interessante Perspektive auf die Zukunft der KI im Gaming lieferte Jakub Knapik, VP Art und Global Art Director bei CD Projekt RED. Knapik war völlig transparent, als er sagte, Catanzaros leicht glaubwürdige Vision generativer KI-Grafiken „macht mir wahnsinnige Angst.“ Er schien jedoch mehr davon begeistert zu sein, dass KI die interaktiven und immersiven Welten verbessert, die das Spielen so viel Spaß machen, und nicht nur die Grafik.
Derzeit könnten 90 % eines Spiels präskriptiv sein, bemerkte der leitende CDPR-Entwickler. Im Gegensatz dazu verwies er auf Nvidias „Cyberpunky“-Demo eines KI-gestützten interaktiven NPCs als einen Einblick in tiefergehende KI-gestützte Spiele. Knapik merkte weiter an, dass für CDPR die Geschichte das A und O ist und er darin den besten Einsatz von KI für die Zukunft sieht.
Sowohl Catanzaro als auch Knapik schienen sich darin einig zu sein, dass Entwickler umfassende Kontrolle über die KI benötigen, um ihre kreativen Visionen zu verwirklichen. „Die Leute werden nicht einfach aus einer Chat-Eingabeaufforderung heraus ein AAA-Spiel heraufbeschwören können“, scherzte der Nvidia-Vizepräsident. Wir können es jetzt sehen: „/Stellen Sie sich vor: Ein dystopisches Zukunfts-Ego-Spiel mit RPG-Elementen in einer gewalttätigen Welt, die von Konzernen dominiert wird.“
Wo auch immer wir in der Zwischenzeit hingehen, bis DLSS 10 auf den Markt kommt, könnten wir Spiel-Engines sehen, die KI-generierte Grafiken für eine bessere Grafikqualität und Leistung in Echtzeit verwenden, wobei KI-verbesserte Charaktere, Geschichten und Umgebungen zu dem beitragen, was daraus werden könnte eine völlig neue Kategorie von Medien.