SpeakerTrack

No preview image was uploaded (this is optional).

Study program: Digitale Medientechnologien
Lecture: Audio Design
Lecturer(s): Michael Iber
Team leader: Marco Cavasino
Team members:
  • Marco Cavasino (dm171512)
Short description: Leap Motion Gesteninstrument um Lautsprecher mit Geste anspielen zu können

Project description:

Es handelt sich um ein Gesteninstrument, realisiert in MAX/MSP mit einer Leap Motion als Interface. Die spielende Person muss über dem Erfassungsbereich des Leap Motion Sensors sich befinden, wodurch ihre Hände erkannt und getracked werden. Über die getrackedten Daten werden mittels der in MAX realisierten Machine Learning Implementierung MUBU Gesten erkannt, denen semantische Funktionen hinsichtlich von Sounderzeugung zugeordnet sind. Über die Rohdaten wird als zweite Art der Datenverarbeitung die Position der Hände hinsichtlich deren Orientierung benutzt. Diese Orientierung wird abgeglichen mit der Position der Lautsprecher, wodurch ein Lautsprecher spielbar wird, wenn auf diesen gezeigt wird. Dadurch wird ein Gesteninstrument realisiert, das sowohl ganze Gesten als auch Rohwerte betrachtet.