Ein Forschungsteam der Hong Kong Baptist University hat ein neues Verfahren zur Gestenerkennung in Virtual-Reality-Umgebungen vorgestellt. Die Methode soll Bewegungen ohne Trackingkamera, spezielle Sensoren oder umfangreiche Trainingsdaten erm\u00f6glichen, indem gro\u00dfe Sprachmodelle akustische Signale analysieren. Sollten sich LLMs auch f\u00fcr die Interpretation akustischer Bewegungsdaten eignen, k\u00f6nnten sie k\u00fcnftig als flexible Schnittstelle f\u00fcr nat\u00fcrliche Bewegungen in immersiven Umgebungen dienen.<\/p>\n
Weiterlesen nach der Anzeige<\/p>\n
Ultraschalltracking mit Smartphone und LLM<\/p>\n
Moderne VR-Brillen wie die Meta Quest 3<\/a> erfassen Bewegungen der H\u00e4nde oder VR-Controller in Echtzeit \u00fcber im Headset verbaute Kameras. Eine KI-gest\u00fctzte Software analysiert diese, um sie zu interpretieren und exakt im Raum zu verorten. W\u00e4hrend das Tracking von VR-Controllern bei guten Lichtverh\u00e4ltnissen nahezu latenzfrei m\u00f6glich ist, gibt es beim deutlich aufwendigeren kamerabasierten Handtracking nach wie vor Ungenauigkeiten.<\/p>\n Ger\u00e4te in h\u00f6heren Preisregionen wie Apples Vision Pro<\/a> oder Samsungs Galaxy XR<\/a> nutzen deshalb erg\u00e4nzend zur Kamera Eye-Tracking. Damit k\u00f6nnen die Ger\u00e4te pr\u00e4zise berechnen, wohin Nutzer blicken, w\u00e4hrend sie eine Eingabe t\u00e4tigen. Auch hier sind die Interaktionen nicht immer perfekt, wenngleich sp\u00fcrbar geschmeidiger als bei herk\u00f6mmlichem Handtracking. Eines haben jedoch s\u00e4mtliche Tracking-L\u00f6sungen gemeinsam: Sie erfordern kostspielige Hardware, viel technisches Know-how und Unmengen an Trainingsdaten.<\/p>\n Statt die sichtbaren Bewegungen per Kamera zu erfassen und auszuwerten, m\u00f6chten die Forschenden aus Hongkong eine g\u00fcnstigere und effizientere Methode etablieren: die Messung von Schallwellen im Ultraschallbereich. W\u00e4hrend eines ersten Experiments setzte das Team ein Smartphone ein, das kontinuierlich hochfrequente Signale aussendet und empf\u00e4ngt, die durch Hand- oder Controllerbewegungen reflektiert und ver\u00e4ndert werden. Diese Ver\u00e4nderungen werden als sogenannte Channel Impulse Responses (CIR) gemessen und anschlie\u00dfend in dCIR-Bilder umgewandelt, die die zeitlichen Unterschiede im Schallmuster darstellen.<\/p>\n heise online XR-Briefing abonnierenheise online XR-Briefing abonnieren<\/p>\n Jeden zweiten Montag, liefern wir Ihnen die wichtigsten Entwicklungen der XR-Branche. Damit Sie alles im Blick behalten. <\/p>\n E-Mail-Adresse<\/p>\n Ausf\u00fchrliche Informationen zum Versandverfahren und zu Ihren Widerrufsm\u00f6glichkeiten erhalten Sie in unserer Datenschutzerkl\u00e4rung<\/a>.<\/p>\n Um diese Bilder zu interpretieren, kommen multimodale Sprachmodelle zum Einsatz, die neben Text auch visuelle Eingaben verarbeiten k\u00f6nnen. Das Forschungsteam definierte 15 unterschiedliche Gesten, darunter Zahlen, Buchstaben und einfache Formen. Zehn Testpersonen f\u00fchrten jede Geste mit einem VR-Controller jeweils zehnmal aus. Die daraus entstandenen 1500 dCIR-Bilder wurden zur Klassifikation genutzt. Das System vergleicht dabei ein neues Bild mit \u00e4hnlichen Beispielen aus der Datenbank. Diese Auswahl sowie das zu analysierende Bild werden in einen Prompt eingebettet und dem Sprachmodell \u00fcbergeben. Anschlie\u00dfend entscheidet das Modell, welche Geste am wahrscheinlichsten ist, und liefert eine Begr\u00fcndung f\u00fcr die Wahl.<\/p>\n Je klarer die Geste, desto eindeutiger das Ergebnis<\/p>\n Weiterlesen nach der Anzeige<\/p>\n Laut den Forschenden zeigen die Ergebnisse eine besonders hohe Erkennungsrate bei klar strukturierten Gesten wie Ziffern oder geometrischen Formen. Hier erreichten die Sprachmodelle Werte von \u00fcber 90 Prozent. Komplexere Buchstaben mit mehreren Kurven f\u00fchrten hingegen h\u00e4ufiger zu Verwechslungen. Das zuverl\u00e4ssigste Modell f\u00fcr Zahlen war OpenAIs GPT-5<\/a>. Bei Buchstaben und Formen hatte Anthropics Claude 4<\/a> die Nase vorn. Gemini 2.5 Pro<\/a> lag in s\u00e4mtlichen Bereichen auf dem dritten Platz. Im Vergleich zu klassischen Verfahren f\u00fcr Klassifikationsaufgaben wie k-Nearest-Neighbor oder Support-Vector-Machines lagen die Sprachmodelle noch leicht zur\u00fcck, ben\u00f6tigten daf\u00fcr aber deutlich weniger Trainingsdaten. Zudem liefern sie im Gegensatz zu den herk\u00f6mmlichen Modellen eine schriftliche Begr\u00fcndung f\u00fcr ihre Entscheidung, was die Ergebnisse nachvollziehbarer macht und bei der Weiterentwicklung der Systeme hilfreich sein soll.<\/p>\n Bisher beweisen die Forschenden nur, dass ihr System grundlegend funktioniert. In der Praxis m\u00fcsste es allerdings nahezu latenzfrei arbeiten. Zudem bleibt die Frage offen, wie es \u00fcberhaupt in einem fertigen Produkt umgesetzt werden k\u00f6nnte. Google scheiterte bereits mit dem Konzept Gestensteuerung durch Schallwellen \u2013 damals allerdings noch ohne den Einsatz von LLMs. Der 2015 vorgestellte Chip \u201eProject Soli\u201c<\/a> sonderte elektromagnetische Wellen ab und erkannte Abweichungen in deren Wellenmuster submillimetergenau. Soli kam schlie\u00dflich als \u201eMotion Sense\u201c im Smartphone Pixel 4<\/a> zum Einsatz und sollte dort die Steuerung des Smartphones per Fingerbewegungen aus der Ferne erm\u00f6glichen. Als Gestensteuerung funktionierte Soli allerdings nicht zuverl\u00e4ssig genug und wurde sp\u00e4ter als Messger\u00e4t f\u00fcr Atem- und K\u00f6rperbewegungen w\u00e4hrend des Schlafes in der Smart-Home-Zentrale Nest Hub 2<\/a> verbaut.<\/p>\n