Um den Effekt, bei dem ein vor einem Green Screen gefilmter Schauspieler in eine andere Einstellung eingefügt wird, überzeugend umzusetzen, sind in der Regel leistungsstarke Software und talentierte Visual-Effects-Künstler erforderlich. Aber Forscher bei Netflix sagen sie haben Kommen Sie mit einem viel einfacheren, und möglicherweise genauerGreen-Screen-Technik, die nutzt die Funktionsweise von Digitalkameras– mit einer Prise KI.
Das Ersetzen des Hintergrunds von Filmmaterial, in dem Schauspieler vor einem farbenfrohen Hintergrund gefilmt wurden, ist eine Technik, die Hollywood und sogar Ihre lokalen Nachrichten seit Jahrzehnten verwenden, da es eine viel schnellere Alternative ist, als dass ein Künstler einen Schauspieler mühsam rotoskopieren muss ein Clip von Hand. Typischerweise werden entweder hellgrüne oder leuchtend blaue Hintergründe verwendet, da es sich dabei um Farben handelt, die in menschlichen Hauttönen natürlicherweise nicht vorkommen, sodass die Schauspieler nicht automatisch entfernt werden, wenn die Softwarealgorithmen ihre Aufgabe erfüllen.
Die typische Green-Screen-Technik bringt jedoch einige Herausforderungen mit sich. Der Darsteller auf dem Bildschirm darf kein Make-up oder keine Kleidung tragen, die der Farbe des Hintergrunds entspricht, und oft sind in der Postproduktion zusätzliche Aufräumarbeiten erforderlich, um den bunten Glanz um den Darsteller herum zu entfernen. Das Extrahieren feiner Details, wie z. B. dünner Haare, aus Greenscreen-Aufnahmen kann ebenfalls eine Herausforderung sein, ebenso wie der Umgang mit transparenten Objekten wie Fenstern, die trotz des durchscheinenden grünen Hintergrunds nicht vollständig verschwinden können.
Mehr Zeit, die in der Postproduktion zur Behebung dieser Art von Problemen benötigt wird, erhöht auch die Kosten für die Fertigstellung einer Aufnahme. Daher ist es verständlich, warum ein Unternehmen wie Netflix Wege finden möchte, den Greenscreen-Prozess einfacher und schneller zu gestalten. Aber die alternative Technik, die die Forscher des Unternehmens entwickelt haben, scheint fast kontraintuitiv, wenn man sieht, wie das aufgenommene Greenscreen-Material tatsächlich aussieht.
Es wird immer noch ein hellgrüner Hintergrund verwendet, aber die Vordergrundbeleuchtung (die im Test von einem riesigen umlaufenden LED-Bildschirm kam) taucht die Schauspieler, Requisiten und Bühnenbilder in eine Mischung aus nur blauem und rotem Licht, sodass sie alle einen starken Eindruck machen Magenta-Tönung. Für das menschliche Auge sieht das Filmmaterial völlig falsch aus, aber für eine Digitalkamera, deren Sensorpixel den Anteil des in einer Szene erkannten roten, grünen und blauen Lichts aufzeichnen, erzeugt die bizarre Beleuchtung letztendlich einen grünen Kanal, in dem sich Schauspieler und Objekte in der Szene befinden Der Vordergrund hebt sich perfekt von einem hellen, gleichmäßigen Hintergrund ab.
Der grüne Kanal des aufgenommenen digitalen Filmmaterials kann problemlos zum Erstellen eines sogenannten Alphakanals verwendet werden, eines Schwarzweißbilds, das definiert, welche Teile jedes Bildes erhalten bleiben und welche entfernt und durch anderes Filmmaterial ersetzt werden sollen. Die neue Technik funktioniert sogar mit transparenten Objekten, wie der Glasflasche, die einer der Darsteller im Testmaterial hält, und stellt sicher, dass der Hintergrundersatz auch durch die Flasche hindurch sichtbar ist, wie es im wirklichen Leben der Fall wäre.
Natürlich gibt es bei dieser Technik ein ganz offensichtliches Problem. Um mit dem hellen Magenta-Farbton von allem vor dem Green Screen umzugehen, setzten die Netflix-Forscher eine „Machine-Learning-Kolorierungstechnik“ ein, die auf zusätzlichem Filmmaterial des Vordergrundmotivs trainiert wird, das unter herkömmlicher weißer Beleuchtung gefilmt wurde, damit das KI-Modell weiß, wie alles ist angeblich wie man nachträglich aussieht und wie man die Tönung entfernt.
Abgesehen davon, dass sie möglicherweise schneller ist und genauere Ergebnisse liefert, hat die neue Technik noch einen weiteren großen Vorteil: Sie schränkt nicht ein, was die Schauspieler auf dem Bildschirm tragen können. In den Testaufnahmen ist ein Darsteller zu sehen, der ein grünes Kleid trägt und eine grüne Glasflasche in der Hand hält, und keiner von beiden verschwindet, wenn der grüne Hintergrund ersetzt wird.
Aber die Technik bringt auch einige neue Herausforderungen mit sich. Wenn alles am Set magentafarben ist, kann es für die Crew schwieriger sein, das Filmmaterial am Set richtig zu visualisieren und in der Vorschau anzuzeigen. Außerdem funktioniert die Technik nicht in Echtzeit, wie die Systeme, die von Wettervorhersagern verwendet werden, die oft vor einer Vorhersagekarte erscheinen . Die Forscher arbeiten an Techniken zur Farbkorrektur des Filmmaterials in Echtzeit, um Vorschauen am Set zu erleichtern, und selbst wenn die Ergebnisse für die Crew nicht perfekt sind, könnten sich die Kompromisse lohnen, wenn das Endprodukt das Publikum noch überzeugender macht .