Projektlabor Robotik MINTgrün

1. Einführung

In unserem Projekt geht es darum mithilfe von Code und Bildverarbeitung Hände und ihre Gesten zu erkennen und einen bestimmten Code abspielen zu können. Unser Ziel ist es also am Ende ein Programm zu haben, welches einem ermöglicht, mithilfe von bestimmten Gesten vor der Kamera Code ausführen zu lassen, der dann die von der Geste gewollte Aktion ausführt. Im Groben gesagt soll bei uns ein Projekt entstehen, welches wie eine Mini-Version von Alexa als Programm ist, das statt mit Ton mit Bildverarbeitung arbeitet. Logischerweise wird dieses Projekt nicht so umfangreich viele Aktionen ausführen können aber ca. 3 verschiedene Gesten und damit auch Optionen sind auf jeden Fall im Bereich des Möglichen für dieses Semester.

2. Ziele und Prioritäten

Was muss das Programm am Ende können?

• Es muss definitiv in der Lage sein die 5 verschiedenen Farben unter möglicherweise unterschiedlichen Umständen zu erkennen und den jeweiligen Fingern zuzuordnen
• Es muss mindestens eine Geste der Hand ohne Probleme erkennen können
• Es muss gewisse Aktionen auf die Erkennung einer Geste hin ausführen können

Was sollte das Programm am Ende können?

• Es sollte die unterschiedlichen Gesten fehlerfrei erkennen können
• (Es sollte die Aktionen auf verschiedenen Betriebssystemen ausführen können) (Windows, Mac, Linux)

Was könnte das Programm am Ende können?

• Es kann möglicherweise mehr als 3 verschiedene Gesten erkennen und dementsprechend mehr Aktionen ausführen
• Die Hand kann möglicherweise durch mehr als einen Algorithmus detektiert werden, sodass es mehrere Optionen gibt die Hand fehlerfrei erkennen zu können

Was wir bewusst weglassen

• Die Erkennung der Handumrisse

3. Beschreibungen und Teilaufgaben

A) Hintergrund einrichten

• Aus Gründen der Vereinfachung legen wir fest, dass der Hintergrund weiß sein muss, wie z.B. eine weiße Wand

B) Unterscheidung der Farben

• Die Erkennung der Farben erfolgt nicht über absolute RGB-Werte sondern über Farbbereiche mit Rücksichtnahme der Helligkeit (z.B. HSV-Farbraum)
• Wir ordnen die Farben Hellblau, Lila, Gelb, Rot und Grün jeweils einem Finger zu

C) Erkennung einer Hand

• Wenn das Programm alle 5 Farben des Handschuhs wahrnimmt geht das Programm in den „aktiven“ Teil über, in dem Gesten erkannt werden → Das Programm kann vorher keine Gesten erkennen und muss erst das „Startsignal“ erhalten.
• Durch verschiedene Farben an den einzelnen Fingern, z.B. mithilfe eines Handschuhs, die Finger voneinander unterscheiden

D) Unterscheidung der Gesten

• Durch verschiedene Kombinationen der Farben werden die Gesten erkannt
  • z.B. wenn Gelb und Lila sichtbar sind, wird Geste A erkannt
• Wegen Punkt C darf es keine Geste mit allen Farben geben

E) Aktionen die vom Programm als Reaktion ausgeführt werden

• Eine bestimmte Seite im Browser öffnen: https://processing.org/examples/embeddedlinks.html
• Ein Bild auftauchen lassen oder ein Gif / kurzes Video

Risiken und Alternativen

1. Die Erkennung der Hand und der Gesten mithilfe von farbigen Fingern könnte nicht wie gedacht funktionieren

• Als Alternative könnte man auf vorhandene (Java-)Bibliotheken zurückgreifen.

Gantt-Diagramm