NYU ist ein Projekt starten um die Entwicklung immersiver 3D-Videos für die Tanzausbildung – und vielleicht auch für andere Bereiche – voranzutreiben. Unterstützt durch ein vierjähriges Stipendium der National Science Foundation in Höhe von 1,2 Millionen US-Dollar wird das Unternehmen versuchen, die Point-Cloud Video (PCV)-Technologie für das Streaming nutzbar zu machen.
Eine Punktwolke ist eine Reihe von Datenpunkten in einem 3D-Raum, die die Oberfläche eines Subjekts oder einer Umgebung darstellen. Laut NYU befindet sich Point-Cloud Video, das Punktwolkenbilder zu einer bewegten Szene aneinanderreiht, seit einem Jahrzehnt in der Entwicklung. Für praktische Zwecke ist es jedoch in der Regel zu datenintensiv und erfordert eine Bandbreite, die weit über die Möglichkeiten heutiger vernetzter Geräte hinausgeht.
Laut einem am Montag veröffentlichten Blogbeitrag von NYU Engineering planen die Forscher, diese Hindernisse zu beseitigen, indem sie „den Bandbreitenverbrauch und die Lieferlatenz reduzieren und die Stromverbrauchseffizienz erhöhen, damit PCVs viel einfacher gestreamt werden können“. Projektleiter Yong Liu, Professor für Elektro- und Computertechnik an der NYU, glaubt, dass moderne Durchbrüche dies möglich machen. „Mit den jüngsten Fortschritten bei den Schlüsseltechnologien stehen wir nun kurz davor, das Rätsel der Teleportation von Hologrammen realer Menschen, Kreaturen und Objekte über das globale Internet zu lösen“, schrieb Liu am Montag.
Der ChatGPT-Hersteller OpenAI hat letztes Jahr ein Modell auf den Markt gebracht, mit dem aus Texteingaben 3D-Punktwolken erstellt werden können. Engadget hat sich an den Projektleiter gewandt, um zu klären, ob es oder andere generative KI-Tools Teil des Prozesses sind, und wir werden diesen Artikel aktualisieren, wenn wir etwas hören.
Das Team wird die Technologie mit der NYU Tisch School of the Arts und dem Dance Center der Mark Morris Dance Group testen. Tänzer beider Organisationen werden auf einer volumetrischen Capture-Bühne auftreten. Das Team wird seine Bewegungen live und auf Abruf streamen und damit Bildungsinhalte für angehende Tänzer anbieten, die von hochrangigen Künstlern lernen möchten – und es Ingenieuren ermöglichen, ihre PCV-Technologie zu testen und zu optimieren.
Die Forscher gehen davon aus, dass die Arbeit Türen zu fortschrittlicheren VR- und Mixed-Reality-Streaming-Inhalten öffnet. „Der Erfolg der vorgeschlagenen Forschung wird zum breiten Einsatz hochwertiger und robuster PCV-Streaming-Systeme beitragen, die immersive Augmented-, Virtual- und Mixed-Reality-Erlebnisse ermöglichen und neue Möglichkeiten in vielen Bereichen schaffen, darunter Bildung, Wirtschaft, Gesundheitswesen und Unterhaltung“, sagte Liu .
„Point-Cloud-Video birgt ein enormes Potenzial, eine Reihe von Branchen zu verändern, und ich freue mich, dass das Forschungsteam von NYU Tandon der Tanzausbildung Priorität eingeräumt hat, um diese Vorteile frühzeitig zu nutzen“, sagte Jelena Kovačević, Dekanin von NYU Tandon.