Der Fall Kinect

Frederic Blais hat die Leitung über Ubisofts Kinect-Output. Und wie auch Blitz Games macht das französische Unternehmen einen Bogen um die Microsoft-Libraries. Allerdings aus anderen Gründen.

„Der Prozess ist nicht so kompliziert: Wir nehmen das Videosignal von Natal und bilden den Spieler in Echtzeit auf dem Bildschirm ab. Diese Methode ist besser, wenn man eine weiche menschliche Animation haben möchte", verrät Blais in diesem französischsprachigen Interview.

Die andere Methode ist es, das Skelett von Natal zu nehmen und es auf einen 3D-Avatar anzuwenden, aber das produziert eine weniger weiche Animation. Die Haupt-Herausforderung mit Natal liegt im Videosignal. Wir müssen es optimieren, um das beste Bewegungsresultat auf dem Bildschirm zu haben."

Beide Ubisoft-Titel – Your Shape und das kommende Michael-Jackson-Tanz-Spiel (und wir vermuten, das Blitz-Spiel ebenfalls) – verwenden die rohe Depth Map und nehmen Microsofts vollständiges Skeletterschaffungssystem aus der Rechnung. Dies ersetzen sie durch ein simplifiziertes Modell, das mehr den Anforderungen des jeweiligen Titels entspricht.

Wie Blais sagt, ist die die Standard-Lösung, die der Plattform-Hersteller anbietet, auch eng mit Rares Avatarsystem verknüpft: Wenn ein Entwickler die Skelett-Daten nutzen will, um die Spielerbewegungen auf dem Spiel zu replizieren, dann muss die visuelle Repräsentation des Spielers in Form des Avatars erfolgen. Will ein Entwickler das Skelett auf ein anderes 3D-Objekt mappen, muss er es selbst machen und die angesprochene Lösung verwenden.

Damals im Face-Off 27 sprachen wir darüber, dass Tiger Woods PGA Tour 11 Move-Unterstützung bietet, bisher aber keine Kinect-Kompatibilität angekündigt wurde. Ein interessantes Beispiel dafür, wie sich etwas, das man für einen „No Brainer" hielt, in der Praxis als außergewöhnliche technische Herausforderung für Microsofts neues Steuerungssystem erweist. Der nötige technische Eingriff übertrifft in Sachen Aufwand den kommenden PlayStation-Move-Patch bei Weitem.

Zunächst einmal verlässt sich PGA Tour 11 sehr auf sein eigenes Avatar-System. Klar, man kann Tiger Woods oder jeder andere wichtige Golfer „sein", aber es gibt auch einen recht potentes Charakter-Erstellungssystem, das offensichtlich so gar nichts mit Microsofts Gegenstück gemein hat. Während der Move-Support eine unkomplizierte „Drop-In"-Lösung ist, müsste EA Tiburon sein eigenes System entwickeln, um die Skelett-Daten Kinects auf die eigenen Spielfiguren anzuwenden. Mehr noch: Ein neues Animationssystem wäre erforderlich, um die vollständige Eins-zu-eins-Bewegung des Körpers zu ermöglichen. Move hingegen kann ohne derartige Upgrades eingebaut werden.

Kurz gesagt: Es ist nicht einfach, einigen existierenden Titeln Kinect-Unterstützung auf den Leib zu schneidern. Aber das Potential des Systems in einem neuen PGA ist bemerkenswert. Schließlich geht es beim Golf ebenso sehr um die Haltung wie um den eigentlichen Schwung. Und Kinect ist in dieser Hinsicht in der Lage, einen Grad an Genauigkeit zu liefern, den kein anderes der Bewegungserkennungssysteme auch nur annähernd zu liefern in der Lage ist.

Selbsterstellte Dateninterpretations-Lösungen könnten womöglich auch für andere Szenarien erforderlich sein. Kinect ist eine 3D-Kamera, aber es kann diese 3D-Daten nur aus einer Perspektive erheben. Sind Teile des Körpers auch nur kurz verdeckt, kann die Kamera sie für den Zeitraum auch nicht mehr erfassen. Auch in dieser Hinsicht würde ein PGA Tour Kinect einen großen Entwicklungsaufwand bedeuten. Typischerweise würde der Spieler der Kamera seitlich gegenübertreten, wodurch diese effektiv eine seitliche Silhouette erhielte, mit der sie arbeiten könnte, während Interpolation den Rest erledigen würde.

Was uns recht elegant zur nächsten „heißen Kartoffel" in Sachen Kinect bringt: Die Frage, ob die Kamera mit sitzenden Spielern umgehen kann. Microsoft ist mit Fragen dieser Art bisher sehr vorsichtig umgegangen, aber es ist klar, dass das Skelett-Erkennungssystem Probleme haben wird, wenn die Spieler sitzen.

Wenn man sich anschaut, wie die Depth Map funktioniert, ist es offensichtlich, dass es ein Problem geben muss. Der menschliche Körper hat im Stehen eine Form, die einfach von der Kamera zu verarbeiten ist. Aber auf der Couch sieht es schon ganz anders aus. Man sitzt aufrecht, fläzt sich hinein, stützt sich auf ein Kissen oder sitzt hinter einem Tisch, der die Beine verdeckt. All dies setzt das Skelett-Erkennungssystem eine Menge zufälliger Faktoren aus. Allein die Präsenz eines Lehnstuhls (abhängig von seiner Größe) sorgt für Tiefeninformationen im Nahbereich, die die Kinect-Software erst verarbeiten muss.

Unsere Quellen sage nuns, dass Microsoft an einer Lösung hierfür arbeitet, aber dass diese noch „Work in Progress" sei. Wie Blitz Games' Andrew Oliver sagt: Man kann verbesserte Performance und grundlegende Updates bei den Fähigkeiten des Systems erwarten, weil die Coder die Daten immer besser in den Griff bekommen und Microsoft Verbesserungen für das SDK liefert.

Im Hier und Jetzt hat und Microsoft unzweideutig zu verstehen gegeben, dass immerhin die Entertainment-Elemente des Front-Ends – wie zum Beispiel, einen Film abzuspielen oder das Dashboard zu bedienen – im Sitzen genutzt werden können. In diesen Szenarios muss Kinect nicht mehrere Gliedmaßen verfolgen, sondern lediglich eine Hand/einen Arm, der vermutlich ausgestreckt ist und damit einfacher zu erfassen.

Der Grad an möglichen Modifizierungen, die die Entwickler vornehmen können, bedeutet natürlich auch, dass man die diversen CPU-Nutzungs-Prozente, die man immer wieder hört, nicht für bare Münze nehmen sollte. Sie sind von Spiel zu Spiel verschieden, weshalb es keine Überraschung ist, dass wir von sehr verlässlichen Quellen stark variierende Werte genannt bekommen haben.

Ubisofts Frederic Blais (Zitiert von CVG) widerspricht Äußerungen, Kinect nehme einen ganzen Kern an CPU-Power in Anspruch: „Das ist überhaupt nicht wahr. Ich weiß wirklich nicht, wie oft ich es noch betonen soll, aber es ist weniger als ein Prozent [der CPU-Power] oder etwas in der Größenordnung."

Andererseits ware da einer der wichtigsten technischen Architekten Microsofts, Alex Kipman, der dem New Scientist Magazine erzählte, dass Kinect zehn bis 15 Prozent der Rechenkraft des Systems verbraucht.

Die Wahrheit ist, dass für die meisten Kinect-Titel Kipmans Zahlen näher an der Realität liegen. Zwei Threads eines Xbox-360-Cores werden genutzt, aber nur eine relativ geringe Prozentzahl der verfügbaren CPU-Zeit des Prozessors werden verbraucht. Und die tatsächliche Menge an System-Ressourcen in Sachen Prozessorzyklen und benötigtem RAM hängt einzig und allein von der Art des Spieles und den Kinect-Fähigkeiten ab , die der Entwickler verwendet (tatsächlich wird sogar ein geringer Prozentsatz der GPU-Ressourcen genutzt).

Das Avatar-Skelett-Tracking-System zu benutzen, sorgt ebenfalls für einen Mehrverbrauch, und es ist möglich, dass die Erfassung zweier Spieler die Prozessorlast noch erhöht. Gleichermaßen gilt: Wenn der Entwickler den RGB-Kamera-Feed gleichzeitig mit der Depth Map einsetzt (ein Vorgang namens „Registration") erhöht dies die Belastung. Kinect verfügt über eine breite Palette an Fähigkeiten, die Stimmerkennung ist ein weiteres mächtiges Werkzeug. Diese sind allesamt modularer Natur – je mehr dieser Module ein Entwickler nutzt, desto höher die Last und desto geringer die Ressourcen, die für andere Spielelemente zur Verfügung stehen.