NVIDIA war schon immer führend in der KI-Forschung, beispielsweise bei der Entwicklung von Deep Learning Super Sampling (DLSS). Bildrekonstruktion und Hochskalierung sind jedoch nur eines von vielen Forschungsgebieten, in denen neuronale Grafiktechniken anwendbar sind.
Auf der kommenden SIGGRAPH 2023, die vom 6. bis 10. August in Los Angeles stattfindet, wird NVIDIA 20 Papers zu generativer KI und neuronaler Grafik präsentieren. Für diejenigen, die von faszinierenden, aber sehr technischen Lektüre unerschrocken sind, sind alle Veröffentlichungen aufgelistet auf dieser Seite.
In diesem Artikel werde ich einige der interessantesten Techniken durchgehen, die in den neuen NVIDIA-Papieren für Spieleentwickler beschrieben werden. Am einfachsten anwendbar ist die neurale Kompressionstechnik für Materialtexturen, die in beschrieben wird Neurale Komprimierung von Materialtexturen mit wahlfreiem Zugriff (Karthik Vaidyanathan, Marco Salvi, Bartlomiej Wronski, Tomas Akenine‑Möller, Pontus Ebelin, Aaron Lefohn).
Das Team von NVIDIA-Ingenieuren stellte fest, dass die Anforderungen an die Texturspeicherung in einer Zeit reduziert werden müssen, in der Assets von extrem hoher Qualität sind, aber auch immer mehr Speicherplatz erfordern. Um dieses Ziel zu erreichen, haben sie die Kompression von GPU-Texturen mit neuralen Kompressionstechniken kombiniert.
Mit diesem Ansatz ermöglichen wir eine Komprimierung mit niedriger Bitrate, wodurch zwei zusätzliche Detailebenen (oder 16 × mehr Texel) mit ähnlichen Speicheranforderungen wie häufig verwendete Texturkomprimierungstechniken freigeschaltet werden. In der Praxis ermöglicht dies einem Betrachter, einem Objekt sehr nahe zu kommen, bevor wesentliche Texturdetails verloren gehen. Unsere Hauptbeiträge sind:
• Ein neuartiger Ansatz zur Texturkomprimierung, der Redundanzen räumlich, über Mipmap-Ebenen und über verschiedene Materialkanäle ausnutzt. Durch die Optimierung für reduzierte Verzerrung bei einer niedrigen Bitrate, Wir können zwei weitere Detailebenen im selben Speicher wie blockkomprimierte Texturen komprimieren. Die resultierende Texturqualität bei solch aggressiv niedrigen Bitraten ist besser oder vergleichbar mit neueren Bildkomprimierungsstandards wie AVIF und JPEG XL, die nicht für Echtzeit-Dekomprimierung mit wahlfreiem Zugriff ausgelegt sind.
• Eine neuartige Low-Cost-Decoderarchitektur, die speziell für jedes Material optimiert ist. Diese Architektur ermöglicht Echtzeitleistung für wahlfreien Zugriff und kann in Material-Shader-Funktionen wie Filter integriert werden, um die Dekomprimierung nach Bedarf zu erleichtern.
• Eine hochgradig optimierte Implementierung unseres Kompressors mit Fused Backpropagation, die eine praktische Optimierung pro Material mit Auflösungen von bis zu 8192 × 8192 (8k) ermöglicht. Unser Kompressor kann Verarbeiten Sie einen 9-Kanal-4K-Materialtextursatz in 1-15 Minuten auf einer NVIDIA RTX 4090-GPU, je nach gewünschter Qualitätsstufe.
Wie in der Videodemonstration oben gezeigt, ist die Verbesserung der Materialtexturdetails erheblich. Das Speicherbudget ist fast das gleiche wie bei regulären BCx-Texturen (3,6 MB gegenüber 3,3 MB), während die Rendering-Kosten der GPU-basierten Dekomprimierung bei nativer 4K-Auflösung mehr als doppelt so hoch sind (1,15 ms gegenüber 0,49 ms). Die NVIDIA-Ingenieure glauben jedoch, dass diese Overhead-Kosten in realistischen Fällen aufgrund der Latenzverbergungsfunktionen der GPU geringer wären.
Ein weiteres beeindruckendes SIGGRAPH 2023-Papier mit dem Titel Interaktive Haarsimulation auf der GPU mit ADMM zeigt neuronale Physik, die eine unglaublich realistische Simulation von Zehntausenden von Haarsträhnen ermöglicht. Im Wesentlichen lernt das neuronale Netz von einer KI-Technik, wie sich die Haare bewegen sollen.
Der NVIDIA-Forscher Gilles Daviet, der dieses Papier erstellt hat, wies jedoch darauf hin, dass es unklar ist, wie sich diese Methode in groß angelegten Szenen schlagen würde, sodass sie möglicherweise noch nicht sehr gut auf Spiele anwendbar ist.
Als Beweis dafür, dass sich diese Papiere sehr oft zu brauchbaren Lösungen entwickeln, hat NVIDIA seine NeuralVDB-Technik bestätigt ist jetzt im Early Access verfügbardie KI- und GPU-Optimierung für einen bis zu 100-mal geringeren Speicherbedarf im Vergleich zu OpenVDB bietet, wenn volumetrische Wolken, Feuer, Wasser oder Rauch gerendert werden.