Kinect Finger Tracking mit KinectCoreVision

Einen weitern Ansatz zum Tracken der einzelnen Finger hat Patrizio Gonzalez entwickelt. Das Ganze basiert auf CCV, kurz für Community Core Vision, einem Open Source-System für die Verarbeitung von Bilddaten und Maschinen-Sensorik, welche häufig für Tische mit Multi-Touch-Oberflächen verwendet wird.

Community Core Vision – Funktionsweise und Anwendungsbeispiel

Normalerweise verfolgt CCV die Schatten der einzelnen Finger durch eine semitransparente Oberfläche – z.B. Milchglas – hindurch. Das funktioniert mit jeder beliebigen Webcam und kann mit einfachsten Mitteln nachempfunden werden, wie das folgende Video von cerupcat zeigt:

Gonzalez verknüfte die Technik mit dem Kinect-Sensor, so dass nun eine Art Multitouch-Oberfläche in der Luft entsteht. Im Wesentlich wird dazu die Tiefeninformation benötigt, die Kinect liefert, denn CCV verarbeitet diese Informationen von Haus aus nicht. Durch Kinect wird also eine „Scheibe Luft“ definiert, die man wie eine Multitouchoberfläche verwenden kann, wenn man nur den richtigen Abstand zum Sensor einhält. Dieses verknüpfte System nennt er KinectCoreVision.

Das System kann hier in Aktion betrachtet werden- gut erkennbar ist die Einstellung des Scanbereiches über einen Schieberegler:

Kinect + CCV = KinectCoreVision from Patricio Gonzalez Vivo on Vimeo.

Fingertip Tracking als Weiterentwicklung

Für Patricio Gonzalez war aber auch hier noch nicht Schluß. Er erweiterte die KinectCoreVision-Software so, dass einzelne Finger erkannt werden. Erkennbar ist dies an den Outlines, die erscheinen, sobald der Erkennungsbereich einmal richtig eingestellt ist. Die Kommentare auf der Webseite von Gonzalez lassen erkennen, dass es wohl noch einige Schwierigkeiten beim Setup gibt. Wer sich also an den Sourcecode heratraut, den es auch zur freien Verfügung auf Gonzalez Website gibt, sollte sich gut auskennen.

Das Video, welches eine einigermaßen funktionsfähige Version zeigt, gibt es hier:

Kinect Core Vision: now with finger Tracking!!!! from Patricio Gonzalez Vivo on Vimeo.

Alle getrackten Daten können von der CCV-Software im TUIO, XML oder TCP-Format ausgegeben werden und dann von allen Programmen, die diese Datenformate entgegennehmen, verarbeitet werden, z.B. einem Maustreiber.

in : Kinect
Schlagwörter: , , , ,

Trackbacks/Pingbacks

  1. Kinect Modding - wie geht das? - Modding & Tuning Forum

Kommentieren

You must be logged in to post a comment.


Sharing Buttons by Linksku