Pixar hatte eine Problem. Es gab eine großartige neue Idee für einen Film –Elementarbasierend auf Charakteren aus Die guten Dinosaurier Regisseur Peter Sohn – aber die eigentliche Animation der Titelelemente des Films erwies sich als Problem. Schließlich ist es eine Sache, einen bröckelnden Haufen empfindungsfähiger Erde zu zeichnen, aber wie fängt man die ätherische Natur des Feuers auf dem Bildschirm ein und wie wäre es überhaupt mit einem Körper aus Wasser möglich? arbeiten? Kannst du es durchschauen? Schweben die Augen einfach herum?
Während einige dieser Fragen mit der guten altmodischen Aufhebung des Unglaubens beantwortet werden konnten, hielten die Animatoren von Pixar das Feuerproblem für ein echtes Rätsel, insbesondere wenn man bedenkt, dass einer der Hauptdarsteller ihres Films, Ember, eigentlich aus diesem Stoff gemacht sein sollte. Sie verfügten über Werkzeuge, um einen Flammeneffekt aus jahrelangen früheren Animationen zu erzeugen, aber als man tatsächlich versuchte, daraus eine Figur zu formen, waren die Ergebnisse ziemlich erschreckend, eine Mischung aus beidem Calcifer von Studio Ghibli und Nicolas Cages Ghost Rider, aber irgendwie härter.
„Unsere Brandflüssigkeitssimulationen sind sehr naturalistisch und so konzipiert, dass sie die Realität nachahmen“, sagt VFX-Supervisor Sanjay Bakshi. Bei einer Figur wie Ember, sagt Bakshi, „ist es wirklich wichtig, sich auf die Leistung des Gesichts zu konzentrieren“, aber das Studio hatte Schwierigkeiten, die Dynamik des Feuers mit der Form und den Sensibilitäten der Figur in Einklang zu bringen. Paul Kanyuk, technischer Leiter für Crowds bei Pixar, sagt, dass Ember auf den ersten Blick wie ein Geist oder sogar ein Dämon aussah. „Es kann erschreckend aussehen, wenn es zu realistisch ist, als hätte man tatsächlich eine menschliche Figur aus echtem Pyro“, erklärt er.
Auch wenn es gelingt, das Gruselige einzudämmen, sagt Sohn, muss man dennoch etwas erschaffen, das erkennbar feurig ist. „Feuer ist von Natur aus sehr geschäftig, aber wenn man es verlangsamt, kann es sich in etwas verwandeln, das wie ein Plasma aussieht“, erklärt er. „Es war interessant, es mit anderen anthropomorphisierten Charakteren zu vergleichen, weil sie alle sehr fantastisch sind und man mit ihnen alles machen kann. Wenn man eine Emotion zeichnet, gibt es keine Eins-zu-Eins-Einstellung, aber jeder weiß, wie Feuer aussieht.“
Im Grunde erklärt Sohn, dass jeder einzelne Schuss Ember machen soll Elementar bräuchte einen Effektpass, was nicht nur unglaublich zeitaufwändig, sondern auch sehr teuer ist.
Zum Glück hatte Kanyuk eine Idee. Seit 2005 arbeitete er bei Pixar an Crowd-Animationen Ratatouille, und hatte immer Probleme damit, die Kleidung großer Menschenmengen richtig aussehen zu lassen. Während er versuchte, das Problem zu lösen, hatte er sich darauf eingelassen Verband für Rechenmaschinen‘S Siggraph, eine Gemeinschaftsorganisation, die sich der Weiterentwicklung der Computergrafik widmet. Etwa im Jahr 2016 entdeckte er einige Forschungsergebnisse der Gruppe zur Verwendung von maschinellem Lernen zur Verbesserung von Stoffsimulationen und versucht seitdem, diese zu meistern.
Elementar gab ihm die Möglichkeit, das Gelernte anzuwenden.
Um 2019, Kanyuk stieß auf einen Artikel von Siggraph Asia über die Verwendung von Neural Style Transfer (NST) – der Art künstlicher Intelligenz, die verwendet wird, um ein Foto wie ein Van Gogh oder Picasso aussehen zu lassen –, um Voxel (im Grunde 3D-Pixel mit Volumen) in Animationen zu bewegen , alles mit dem Ziel, einem Charakter ein bestimmtes Aussehen zu verleihen. Kanyuk glaubte, dass NST Pixar dabei helfen könnte, sein Flammenproblem zu meistern, obwohl er Sohn (der sich auch für die Regie des Films engagiert hatte) sagte, dass die Wahrscheinlichkeit, dass es funktionieren würde, wie bei vielen maschinellen Lernverfahren nur bei etwa 50 Prozent liege. „Ich sagte: ‚Ich werde Ihnen fünf Ideen nennen, und vielleicht funktionieren zwei davon.‘ Aber er sagte: ‚Lasst uns alle machen‘“, sagt Kanyuk.
Kanyuk nahm die Hilfe von in Anspruch Disney Research Studiosmit dem Pixar schon einmal zusammengearbeitet hatte, auf Toy Story 4. Das in Zürich ansässige Labor ist auf die Erforschung spezialisiert, wie KI und maschinelles Lernen beispielsweise Folgendes bewirken können: Schauspieler älter oder jünger erscheinen lassenoder wie es am besten geht die Hautqualität einer Person wiederherstellen. „Viele von uns haben sich erst mit maschinellem Lernen beschäftigt, bis es sich vor Kurzem durchgesetzt hat, wir haben also sozusagen bei der Arbeit gelernt“, sagt Kanyuk, „während die Forschung aus dem Disney-Labor – sie leben und atmen dieses Zeug.“ ”
Er fing an, sich regelmäßig mit dem Team von Research Studios zu treffen, und schließlich lösten sie das Problem, indem sie einen Pixar-Künstler namens Jonathan Hoffman engagierten, um eine Reihe wirbelnder, spitzer und fast cartoonartiger Flammen zu zeichnen, die das Team „Fleur-de-lis“ nannte. Das NST könnte sie mit dem klecksigeren Feuer aus der Originalsimulation kombinieren und – bam – Sie erhalten die Bewegung und Intensität des Feuers, gemildert mit ein wenig Pixars Kontrolle und Stil.