NVIDIA hat schon sehr früh auf KI gesetzt und profitiert nun davon, wie das unglaubliche Wachstum im vergangenen Jahr zeigt. Alles begann mit dem Deep Learning Super Sampling (DLSS) von Gaming, einer Technik, die sich auf die Beschleunigung der Spielleistung mit der Leistung von KI (insbesondere einem trainierten neuronalen Netzwerk) konzentriert. Zu diesem Zeitpunkt begann NVIDIA, Tensor-Kerne in alle GeForce-Grafikkarten ab der RTX-Serie einzubauen; Mit dem Aufkommen von Echtzeit-Raytracing bestand ein dringender Bedarf, so viel Leistung wie möglich zurückzugewinnen.
Im Laufe der Zeit hat NVIDIA DLSS weiterentwickelt. Version 2.0 lieferte eine deutlich höhere Qualität und behielt gleichzeitig seinen Status als Leistungsbeschleuniger; Version 3.0 fügte die Frame-Generierung hinzu, die neue Leistungsniveaus erschloss, insbesondere bei CPU-gebundenen Spielen; und Version 3.5 konzentrierte sich auf die Verbesserung der Qualität des Raytracings beim Upscaling mit der neuen Ray Reconstruction-Funktion, die gerade in Cyberpunk 2077 eingeführt wurde und große Anerkennung fand.
Im letzten Abschnitt des letzten Rundtisch „AI Visuals“, veranstaltet von Digital FoundryBryan Catanzaro, Vizepräsident für angewandte Deep-Learning-Forschung bei NVIDIA, sagte, er glaube, dass zukünftige Versionen von DLSS, vielleicht in Version 10, jeden Aspekt des Renderings in einem neuronalen, KI-basierten System abdecken könnten.
Im Jahr 2018 haben wir auf der NeurIPS-Konferenz tatsächlich eine wirklich coole Demo einer Welt zusammengestellt, die zwar vollständig von einem neuronalen Netzwerk gerendert, aber von einer Spiel-Engine gesteuert wurde. Im Grunde genommen haben wir die Spiel-Engine genutzt, um Informationen darüber zu generieren, wo sich Dinge befinden, und diese dann als Eingabe für ein neuronales Netzwerk verwendet, das das gesamte Rendering übernehmen würde, sodass es im Grunde für jeden Teil des Rendering-Prozesses verantwortlich war . Dieses Ding im Jahr 2018 in Echtzeit zum Laufen zu bringen, war eine Art visionäre Sache. Die Bildqualität, die wir damit erzielt haben, war sicherlich nicht annähernd so hoch wie die von Cyberpunk 2077, aber ich denke, langfristig wird sich die Grafikindustrie in diese Richtung entwickeln. Wir werden für den Grafikprozess immer mehr generative KI einsetzen. Auch hier wird der Grund dafür derselbe sein wie bei jeder anderen Anwendung von KI: Wir können viel kompliziertere Funktionen lernen, indem wir riesige Datensätze betrachten, als wenn wir Algorithmen manuell von unten nach oben erstellen.
Ich denke, wir werden den Realismus erhöhen und es hoffentlich auch billiger machen, tolle AAA-Umgebungen zu erstellen, indem wir auf ein viel, viel neuronaleres Rendering umsteigen. Ich denke, das wird ein schrittweiser Prozess sein. Das Besondere an der traditionellen 3D-Pipeline und den Spiel-Engines ist, dass sie kontrollierbar sind: Man kann Künstlerteams Dinge bauen lassen und sie haben zusammenhängende Geschichten, Orte, alles. Mit diesen Werkzeugen kann man tatsächlich eine Welt aufbauen.
Wir werden diese Werkzeuge auf jeden Fall brauchen. Ich glaube nicht, dass KI Spiele so entwickeln wird, dass man einfach einen Absatz über die Entwicklung eines Cyberpunk-Spiels schreibt und dann etwas so Gutes wie Cyberpunk 2077 herausbringt. Ich glaube schon, dass, sagen wir mal, DLSS 10 in ferner Zukunft auf den Markt kommt Es soll ein vollständig neuronales Rendering-System sein, das auf unterschiedliche Weise mit einer Spiel-Engine interagiert und dadurch immersiver und schöner wird.
Catanzaro bezieht sich auf dieses „Fahrspiel“, das erstmals auf der NeurIPS-Konferenz im Dezember 2018 in Montreal, Kanada, vorgestellt wurde. Natürlich war die Qualität nicht besonders gut, aber die KI ist in der Lage, in relativ kurzer Zeit große Verbesserungen zu erzielen.
Es ist gar nicht so weit hergeholt, sich vorzustellen, dass DLSS in etwa zehn Jahren in der Lage sein könnte, die herkömmlichen Rendering-Methoden vollständig zu ersetzen. NVIDIA arbeitet bereits an weiteren neuronalen Techniken wie radialem Caching und Texturkomprimierung, die der DLSS-Suite hinzugefügt werden könnten, wenn sie erweitert wird, um zusätzliche Teile des Rendering-Prozesses zu ersetzen. Wenn sich jedoch herausstellt, dass dies die richtige Richtung ist, muss NVIDIA möglicherweise die Anzahl der in seinen GPUs verfügbaren Tensor-Kerne erheblich erhöhen.
Wir werden die neuen Forschungsarbeiten genau im Auge behalten, da sie der beste Hinweis darauf sind, was NVIDIA im Bereich des neuronalen Renderings zu bieten hat.