Finger Tracking macht UI im Minority Report-Stil heute schon möglich

Beim Spielen mit dem Kinect-Sensor kommt es viel eher auf das Tracking der einzelnen Gleidmaßen an – das Spiel soll ja zu schweißtreibender Bewegung animieren – als auf ein hochaufgelöstes Tracking der einzelnen Finger. Da Kinect aber eigentlich beliebige Punkte nachverfolgen kann, ist dies bereits technisch möglich ist.

Und wie gut das schon funktionieren kann zeigt dieser Hack des MIT:

Bilder in einer Bildbibliothek werden durch eine Kurbelbewegung der Finger gescrollt, einzelne Bilder durch Fingerzeig ausgewählt und dann durch Einsatz mehrerer Finger gedreht und gestreckt. Schlußendlich werden sie durch ein Wischbewegung der ganzen Hand aus dem Bearbeitungsbereich geschoben.

Man kann im Video sehr gut erkennen, wie die Software die Handposition mit großen violetten Punkten wiedergibt und sobald eine Hand geöffnet wird je 5 kleinere Punkte erscheinen, die die Position der Fingerspitzen abbilden. Ab und zu gibt es kleine Aussetzer in der Erkennung im Großen und Ganzen funktioniert das System aber schon recht gut. Die Handerkennung kann 30.000 Punkte verarbeiten und zwar mit bis zu 30 Bildern pro Sekunde, so dass auch schnellere Bewegungen kein Problem darstellen.

Ein kleiner Nachteil bei dem System ist, dass man sehr nahe am Kinect-Sensor stehen muss, damit dieser die Fingerspitzen in ausreichender Genauigkeit nachverfolgen kann. Sobald bessere Kameras im Kinect verbaut werden – vielleicht in der nächsten Generation – kann der Abstand vergrößert werden und noch feinere Bewegungen interpretiert werden. In der aktuellen Version von Kinect hat Microsoft allerdings ein wenig gespart um das Gerät für den Endkunden nicht zu teuer zu machen.

Dieser Hack basiert auf dem Open Source Robotik-Paket „ROS“ und dabei insbesondere der vom MIT entwickelten PCL (Point-Cloud-Library, Punktwolken-Bibliothek) und natürlich dem libfreenect-Treiber für Linux. Der Code kann hier heruntergeladen werden. Diesen Hack verdanken wir CSAILs LIS Group und der Robot Locomotion Group­.

in : Kinect
Schlagwörter: , ,

Trackbacks/Pingbacks

  1. TuioKinect – Touchscreen-Emulation über Kinect - Kinect
  2. WiiMote Hack – User Interface mit Gestensteuerung und Finger Tracking - Wiimote

Kommentieren

You must be logged in to post a comment.


Sharing Buttons by Linksku