Jede Woche wähle ich gerne ein bestimmtes Thema aus der neuesten Ausgabe von DF Direct Weekly aus, um es zu diskutieren – und in einer weiteren umfangreichen Folge gibt es sicherlich eine Menge Reichtümer zur Auswahl. Wir setzten uns am Morgen nach den Game Awards zusammen, um unsere 141. Show zu filmen, und trotz der üblichen Herunterspielung der Erwartungen von Geoff Keighley kam es zu heftigen „Weltpremieren“. Bei diesem Blog handelt es sich jedoch tatsächlich um eine Unterstützerfrage, die zu diesem Artikel geführt hat. DF-Unterstützer Julian Sniter fragte uns, ob Upscaling-Technologien wie AMDs FSR und Epics TSR es uns schwerer machen ‘Pixel zählen’ und ermitteln Sie native Auflösungen. Die Antwort ist ja, aber die ausführlichere Antwort lautet, dass sich die Upscaling-Technologien seit Beginn der Bildqualitätstests mindestens zweimal weiterentwickelt haben – und dass es heute schwieriger denn je ist.
Es ist nun schon ein paar Jahre her, seit ich es mir zur persönlichen Aufgabe gemacht habe, die Offenlegung der nativen Rendering-Auflösung eines bestimmten Spiels herunterzuspielen – wenn nicht sogar ganz zu eliminieren. In der Xbox 360- und PlayStation 3-Ära lag die angestrebte Auflösung typischerweise bei 720p, und eine Hochskalierung von darunter konnte erhebliche Auswirkungen auf die Bildqualität eines bestimmten Spiels haben. Mit Beginn der Ära der PS4 Pro/Xbox One Days Gone und viele andere) und zeitliches Supersampling/Jittering (Marvels Spider-Man und For Honor sind zwei großartige Beispiele). Wir bezeichnen diese letztgenannte Technologie oft als TAAU – eine Kombination aus Hochskalierung und zeitlichem Anti-Aliasing.
Mit ein paar offensichtlichen Ausreißern (The Avengers nutzten CBR auf PS5, TAAU auf Xbox) war die Richtung der Entwickler zugunsten von TAAU und zu diesem Zeitpunkt schien das Argument, die Pixelanzahl ein für alle Mal zu vernichten, unangreifbar. Erkennbare Hochskalierungsartefakte schienen größtenteils zu Gunsten der Klarheit zu verschwinden: Je höher die interne Auflösung, desto weniger unscharf war das Bild. Und je mehr Pixel Sie hochskalieren, desto geringer ist die Rendite. Es gibt viele großartige Beispiele für „native“ 1440p-Auflösungen, die überzeugend als 4K-Bild durchgehen könnten – oder zumindest auf einem 4K-Bildschirm immer noch großartig aussehen. Wir haben mit einigen unglaublich talentierten Leuten zusammengearbeitet und einige interessante Beispiele für einen „Klarheitsindex“ erstellt, der durch den Vergleich der TAAU-Hochskalierung mit dem Rendern mit nativer Auflösung zwischen 1080p und 2160p funktionierte und die Pixelanzahl zugunsten eines Qualitätsvergleichs basierend auf dem effektiv entfernte Das menschliche Auge sieht tatsächlich.
-
0:00:48 News 01: The Game Awards – Senua’s Saga: Hellblade 2
- 0:08:51 OD
- 0:17:48 Keine Ruhe für die Bösen, Monster Hunter Wilds
- 0:26:58 Marvel’s Blade, Licht, kein Feuer
- 0:39:13 Schwarzer Mythos: Wukong, Persona 3 Reload, Metapher Refantazio, Skull and Bones
- 0:51:58 News 02: Avatar: Frontiers of Pandora veröffentlicht!
- 1:01:58 Unterstützer F1: Wie zählt man Spiele mit Upsampling?
- 1:09:06 Unterstützer F2: Vermeiden moderne Spiele physikbasiertes Gameplay aufgrund von Verarbeitungsbeschränkungen oder Spieldesign?
- 1:12:19 Unterstützer F3: Lässt die Hinzufügung der Pfadverfolgung zu den Lobbys von Call of Duty eine spätere umfassendere Implementierung vermuten?
- 1:16:07 Unterstützer F4: Sollten die Konsolenhersteller Jailbreak-Patches für ältere Konsolen veröffentlichen?
- 1:19:38 Unterstützer F5: Sollten GPU-Hersteller Funktionen von Special K in ihre Treiber integrieren?
- 1:24:25 Unterstützer F6: Können Sie die Game Awards mit Pixeln zählen?
TAAU war für seine Zeit eine fantastische Technologie und hat sich auch heute noch bewährt – Insomniac verwendet immer noch seine eigene Version, ITGI. Es ist von akademischem Interesse, die tatsächliche native Auflösung genau zu bestimmen, aber wenn jedes Bild Details aus mehreren vorherigen Bildern enthält, wird 1440p – oder was auch immer – zu viel mehr. Ein weiteres großartiges Beispiel ist der Upscaler von Infinity Ward in Call of Duty. Vor ein paar Jahren konnte ich im polnischen Studio des Teams das Rendern in nativer Auflösung im Vergleich zur endgültigen Ausgabe auf der PS4-Version von Vanguard sehen und war erstaunt über den Unterschied. Mithilfe von Prototypen-Tools, die auf Warzone-Wiederholungen basieren, konnten wir die verbesserte Bildqualität auf Xbox One X im Vergleich zu PlayStation 4 Pro erneut programmgesteuert quantifizieren.
Und doch zählt Digital Foundry ein paar Jahre später immer noch die Pixel auf die altmodische Art und Weise. Und um die Frage von Unterstützer Julian Sniter zu beantworten: Ja, es ist viel schwieriger als früher. Spiele mit schlechtem Anti-Aliasing, MSAA oder sogar FXAA könnten relativ einfach gezählt werden. Sie finden eine Kante und lokalisieren die „tatsächlichen“ Pixel innerhalb der „Ausgabe“-Pixel des endgültigen Bilds. Das gefundene Verhältnis definiert die Wiedergabe mit nativer Auflösung. TAAU macht die Sache viel schwieriger, weil diese Kanten immer schwerer zu finden sind. Darüber hinaus könnten Sie sich zwei Pixelzahlen ansehen – die interne Auflösung und die Ausgabeauflösung, die das Spiel aufzulösen versucht.
Trotzdem sah der „Clarity Index“ als Ersatz gut aus, aber als wir uns Nvidias DLSS ansahen, machten sich Zweifel breit. Remedys Control verfügt über eine ziemlich einfache Form von TAA, die viel Rauschen enthält – aber Nvidias DLSS hat selbst bei einer niedrigeren Rendering-Auflösung einen geringeren Grad an Rauschen und insgesamt ein wohl angenehmeres Bild. Ein Klarheitsindex funktioniert hier nicht, wenn verschiedene Upscaling-Methoden verglichen werden, und darüber hinaus hat sich herausgestellt, dass Rauschen und Artefakte im Wesentlichen zu „falsch positiven“ Detailwerten führten. Dies zeigte, dass ein Ersatz für die Pixelzählung auf genau denselben Hochskalierungstechniken basieren würde, die zwischen den Versionen verwendet wurden – was nicht immer der Fall war. Und wenn es überhaupt keine PC-Version gäbe, um Ground Truth 1080p und 2160p zu erzeugen, wären wir sowieso auf der Strecke.
Cookie-Einstellungen verwalten
AMDs FSR 2 komplizierte die Sache noch weiter. Theoretisch ist es TAAU deutlich überlegen – was erklärt, warum so viele Entwickler ältere Techniken zugunsten dieser Technologie aufgegeben haben (Cyberpunk 2077 und The Witcher 3 sind zwei gute Beispiele). Beim Versuch, ein natives Bild aus einer viel niedrigeren Auflösung zu rekonstruieren, erzeugt FSR 2 jedoch eine eigene Reihe von Artefakten – Geisterbilder, Flimmern und mehr. An diesem Punkt sind wir zu dem Schluss gekommen, dass es keine programmatische Möglichkeit gibt, Bildqualität auszudrücken. Insbesondere das Sprudeln von FSR 2 sagt einem Algorithmus, der die Klarheit messen will, lediglich, dass es mehr Details gibt – und vielleicht gibt es das, aber es sind unerwünschte Details. An dieser Stelle ist eine subjektive Aufschlüsselung der Bildqualität und, ja, der Pixelzählung der beste Weg, die Bildqualität zu erklären, insbesondere in einer Zeit, in der 4K-Konsolen FSR 2 verwenden, um von allem, was so niedrig wie 720p ist, hochzuskalieren. Das Bild kann schlecht aussehen und die Basisauflösung erklärt den Grund dafür.
Gibt es einen Weg, die Pixelanzahl endgültig zu eliminieren? Kürzlich wurden wir auf ein maschinelles Lernmodell hingewiesen, das von Netflix und anderen zur Beurteilung der Qualität der Videokodierung verwendet wird. Sie füttern ihn mit den gleichen Inhalten mit verschiedenen Codierungen und jeder Lauf erhält eine Punktzahl zwischen 0 und 1. Einer unserer Unterstützer hat viel Arbeit in den Versuch gesteckt, dieses Modell zum Vergleich von DLSS und FSR 2 zu verwenden. Und zunächst sahen die Ergebnisse interessant aus . DLSS schnitt immer besser ab als FSR 2, was unserer Meinung nach der Fall sein würde, wenn man bedenkt, dass Nvidias Upscaler tendenziell deutlich höhere Qualitätsniveaus liefert als FSR 2. Doch je mehr Inhalte wir testeten, desto weniger überzeugt waren wir von den Ergebnissen.
Es stellte sich heraus, dass die Verwendung eines videobasierten Modells einfach nicht geeignet war. Die Art und Weise, wie dieses Encoder-Modell zusammengestellt wurde, war jedoch faszinierend: Im Wesentlichen wurde das Modell trainiert, indem den Leuten verschiedene Videovergleiche gezeigt und sie gebeten wurden, das zu bewerten, was ihrer Meinung nach besser aussah. Es ist wahrscheinlich, dass Tausende solcher Vergleiche durchgeführt wurden und das Modell daraus Gestalt annahm. Könnte also vielleicht etwas Ähnliches erreicht werden, indem man die verschiedenen heute verfügbaren Upscaling-Techniken vergleicht? Vielleicht wird KI in Zukunft das Problem der Pixelzählung ein für alle Mal lösen, aber im Moment sind wir wieder am Anfang. Es geht um eine subjektive Analyse, die besser fundiert ist, indem die Grundauflösung auf altmodische Weise ermittelt wird. Die Pixelanzahl selbst sagt nicht viel aus, hilft aber auf jeden Fall dabei, einige der schlechteren Beispiele für Bildqualität zu erklären, die wir in letzter Zeit gesehen haben.