Die meisten neuen Funktionen und Experimente, die Adobe kürzlich angekündigt hat, betreffen KI, wie das Hinzufügen und Entfernen von Objekten für Premiere Pro und die textbasierte Bildgenerierung in Photoshop. Jetzt hat das Unternehmen enthüllt VideoGigaGANeine experimentelle KI-Funktion, die angeblich Videos um das Achtfache hochskalieren kann, ohne dass es zu den üblichen Artefakten wie Flimmern oder Verzerrungen kommt. Der Rand gemeldet.
Laut Adobe übertrifft VideoGigaGAN andere Video Super Resolution (VSR)-Methoden, weil es die üblichen Artefakte und Flimmern vermeidet, die durch GAN (General Adversarial Networks) verursacht werden. Gleichzeitig sorgt es für mehr Schärfe und Details – was bei den meisten anderen Systemen nicht gelingt.
Natürlich erfindet das System Details, die nicht vollständig vorhanden sind, daher wäre dies nicht für Dinge wie forensische Videoverbesserung geeignet. a la Krimiserien im CSI-Stil. Aber die Details, die es hinzufügt, wirken beeindruckend echt, wie Hauttexturen, feine Haare, Schwanenfederdetails und mehr.
Laut Adobe-Forschern basiert das Modell auf einem großformatigen Bild-Upsampler namens GigaGAN. Frühere VSR-Modelle hatten Schwierigkeiten, in den Ergebnissen reichhaltige Details zu erzeugen, daher kombinierte Adobe „zeitliche Aufmerksamkeit“ (Reduzierung von Artefakten, die sich im Laufe der Zeit ansammeln), Feature-Propagation (Hinzufügen von Details, wo keine vorhanden sind), Anti-Aliasing und etwas namens „HF-Shuttle“ (Shuttle). Hochfrequenzfunktionen), um das Endergebnis zu erzielen.
Wenn es zu Produkten wie Premiere Pro oder After Effects hinzugefügt wird, könnte es Videoproduzenten ermöglichen, Aufnahmen mit niedriger Auflösung viel besser aussehen zu lassen, obwohl die Verwendung von KI zur Verbesserung von Personen eine umstrittene Praxis ist. Es gibt noch kein Wort darüber, ob Adobe dies plant (derzeit sind die Clips kurz und werden nur mit 12 Bildern pro Sekunde abgespielt), aber viele Unternehmen, darunter NVIDIA, Microsoft, Blackmagic Design und andere, arbeiten ebenfalls an KI-Upscaling-Technologie.