Meta Reality Labs macht große Fortschritte beim Avatar-Rendering mit den neuesten Fortschritten, die maschinelles Lernen (ML) mit Sensordaten von Quest VR-Headsets kombinieren, um Ihren ganzen Körper zu zeigen, einschließlich Arme, Beine, Oberkörper und Kopf. Das Ergebnis ist eine sehr realistische und genaue Darstellung der Posen und Bewegungen einer Person, die ein Quest 2-Headset trägt.
Das ist ziemlich erstaunlich, da nur die Positionen und Ausrichtungen des Quest VR-Headsets und seiner beiden Controller verwendet wurden, um die Beinbewegung und -position zu schätzen. Es gibt keine Tracking-Bänder an den Beinen und keine externen Kameras, die für dieses bemerkenswerte System verwendet werden. Metaforscher Alexander Winkler teilte mehrere Videos auf Twitter zusammen mit Links zu der wissenschaftlichen Arbeit auf arXiv und ein YouTube-Video mit mehr Details.
Im wissenschaftlichen Sinne ist dies als Bewegungsverfolgung von spärlichen Sensoren bekannt, und ML ist besonders geschickt darin, aus sehr wenig sinnvolle Informationen zu extrahieren, wenn es genügend Abhängigkeiten zwischen Bekanntem und Unbekanntem gibt. Da wir unsere Arme beim Gehen und Laufen ausbalancieren, ist die Armbewegung ein guter Indikator dafür, was die Beine normalerweise tun. In Kombination mit Kopfneigung und -richtung kann das ML-System die meisten menschlichen Bewegungen sehr genau vorhersagen.
Traditionellere Ansätze zur Verfolgung von Gliedmaßen beruhen auf zusätzlicher Hardware, wie z. B. reflektierenden Markierungen an Beinen und Oberkörper, die von externen Kameras identifiziert werden, oder Bändern mit drahtlosen Beacons, die an verschiedenen Stellen an Ihren Beinen getragen werden, um Positions- und Bewegungsdaten zu übertragen.
Obwohl diese Methoden funktionieren, werden sie normalerweise als Zubehörartikel verkauft, die mehr kosten und in den meisten Apps und Spielen nicht gut unterstützt werden. Wenn Meta mit einem Quest 2-Headset so gute Ergebnisse erzielen kann, werden Entwickler eher Body-Tracking in ihre Spiele und Apps einbauen.
Trotz dieser bedeutenden Fortschritte räumt Meta Reality Labs ein, dass noch mehr Arbeit getan werden muss. Wenn Sie sich schnell genug bewegen, kann das ML-Modell Ihre Pose nicht richtig erkennen. Ungewöhnliche Körperhaltungen sind für den Computer schwer einzuschätzen und wenn die virtuelle Umgebung Hindernisse aufweist, die in der Realität nicht vorhanden sind, passt die Bewegung nicht zusammen. Der Gesamteffekt scheint aber sehr gut zu sein und es wäre ein nettes Upgrade, wenn man beim Chatten mit Freunden in VR einen ganzen Körper statt schwebender Oberkörper sehen könnte.
Hoffentlich ist diese Technologie bald startbereit. Da die Ankündigung des Quest Pro-Headsets von Meta in nur wenigen Wochen erwartet wird, scheint das Timing für Ganzkörper-Avatare perfekt zu sein. Der Meta Quest Pro kann Augenbewegungen und Gesichtsausdrücke verfolgen, was Ihren Freunden, Ihrer Familie und Ihren Kollegen ein verbessertes Gefühl der Präsenz bietet und in naher Zukunft möglicherweise erheblich verbessert wird.
Empfehlungen der Redaktion