Während in der gesamten Unterhaltungsbranche Debatten über den Einsatz von KI im Mittelpunkt stehen, unterstützt die Technologie seit Jahren in aller Stille Animations- und Visual-Effects-Teams. Es waren einige der erstaunlichsten visuellen Bilder möglich, als Handwerker gebeten wurden, etwas zu tun, was zuvor für unmöglich gehalten wurde.
Als Regisseur Peter Sohn für seinen neuen Film „Elemental“ Charaktere wollte, die auf den Elementen Feuer, Wasser, Luft und Erde basieren, setzten VFX-Supervisor Sanjay Bakshi und sein Team bei Pixar auf KI, um den Prozess reibungsloser zu gestalten. Das Aussehen der Charaktere hing von Anpassungen ab, die sie mit Sohns Vision in Einklang bringen würden.
„Wir haben KI für eine ganz bestimmte Art von Problem eingesetzt und einen Algorithmus für maschinelles Lernen namens Neural Style Transfer verwendet“, sagt Bakshi. „Unsere Animation wird sehr genau unter die Lupe genommen. Wir durchlaufen so viele Überprüfungszyklen für jede Aufnahme und die Animatoren arbeiten wirklich daran, und es gibt nicht viele Orte, an denen maschinelles Lernen in der aktuellen Form anwendbar ist.
„Aber bei ‚Elemental‘ haben wir das eine Problem, dass wir diese Feuersimulationen über den Charakteren laufen lassen, damit sie sich feurig anfühlen. Anschließend durchlaufen die Flammen selbst eine Pyro-Simulation, die sehr realistisch ist. Es ist eine Flüssigkeitssimulation, eine echte Temperatursimulation. Daher sind die Flammen, die es erzeugt, sehr realistisch. Wir brauchten eine Möglichkeit, diese Flammen selbst zu stilisieren. Wie Sie sich vorstellen können, ist die Stilisierung einer Simulation kein einfaches Problem. Es ist einfach so zeitlich. Es verändert sich ständig. Und das ist das Schöne am Feuer. Es ist immer so anders, deshalb ist es faszinierend, es anzusehen. Es gibt also nicht viele Techniken, um Flammen zu stilisieren, aber wir haben eine gefunden, die sich Neural Style Transfer nennt, und das ist die Technik, die wir verwendet haben. Es war wirklich die einzig praktikable Lösung.“
Auch Gavin Kelly, Gründungspartner der in Dublin ansässigen Piranha Bar, einem Animations- und VFX-Haus, sieht KI als eine Technologie, die immer häufiger eingesetzt werden wird, da Animatoren und Content-Ersteller versuchen, die Grenzen ihrer Visuals zu erweitern.
„Am anderen Ende, und wir sind noch nicht ganz da, filmt man einfach etwas und teilt der KI dann einfach mit, in was man es im Hinblick auf die Leistungserfassung ändern möchte“, sagt Kelly. „Die Leistungserfassung ist also sehr komplex. Sie stellen die Animationssache zusammen, setzen das Gesichts-Headset auf und sprechen mit der Software, die mit den Händen, dem Körper und allem anderen kommuniziert. Das sind alles verschiedene Teile, die alles zusammenbringen. Die Erstellung dieser Pipeline ist sehr, sehr kompliziert. Und nebenbei gibt es eine Menge Fehlersuche. Derzeit besteht also kein Zweifel daran, dass es in der Vergangenheit KI-Lösungen zur Bewegungserfassung gab. Wir haben sie uns vorher angesehen, sie waren schrecklich und noch nicht serienreif. Wir stehen nun kurz vor der Produktionsreife und sind in der Lage, die Kamera zu rollen, und die KI wird das regeln und sie wird robust sein. Und es wird nicht wackeln und es wird sehr überzeugend aussehen.“
Für Bakshi und sein Team erfordert die KI immer noch sorgfältige Anpassungen seitens der Künstler und VFX-Teams, um die Visuals dorthin zu bringen, wo sie hin sollen. Nichts kann als selbstverständlich angesehen werden.
„Die Person, mit der wir an der KI gearbeitet haben, war Jonathan Hoffman und er beschrieb es so, als würde man Fische in einen Tornado werfen und hoffen, mithilfe dieser maschinellen Lernalgorithmen Sushi zu bekommen“, lacht Bakshi. „Sie können also eingeben, was Sie wollen, und vielleicht erhalten Sie etwas wirklich Schönes, aber es ist möglicherweise immer noch nicht das, was Sie von der Animation, die Sie erhalten, erhalten möchten.“