Projektlabor Robotik MINTgrün

Projektziel

Unser Ziel ist es, eine App zu entwickeln, die beim Autofahren Straßenschilder erkennt. Dabei soll von einem Handy per Kamera die Sicht Vorne aus dem Auto aufgenommen werden. Dieses Video wird dann entweder an einen Laptop geschickt um dort verarbeitet zu werden oder vom Handy selbst. Nun soll die ganze Zeit ein Bilderkennungsprogramm laufen, welches Straßenschilder erkennen kann. Wenn eins erkannt wird, soll diese Information wieder zum Handy geschickt werden und als Sprachausgabe das erkannte Straßenschild ausgeben.

Projektplanung

Folgende Schritte werden bei unserem Projekt umgesetzt:

1. Auseinandersetzung mit Android:
   1. Wie funktioniert programmieren in Android? → Kotlin oder Java?
   2. Wie bekommt man das Bild der Kamera in ein Programm oder auf einen Laptop?
   3. Wie erzeugt und gibt man die passende Sprachbefehle aus?
2. Bilderkennung: Wie kann das entstandende Video verarbeitet werden und Straßenschilder erkannt werden?
   1. Mögliche Schritte:
      1. Wichtigen Bereich im Bild auswählen
      2. Geometrische Formen erkennen (Straßenschilder haben immer eine markante Form)
      3. Erkannte Formen analysieren und überprüfen, ob es sich um ein Straßenschild handelt
3. Ergebnis anzeigen und auf dem Handy per Sprachausgabe ausgeben

Prioritäten

Essentiell für das Projekt ist die Bilderkennung, die zuerst einen wichtigen Bereich auf dem Bild identifiziert um dort die Erkennung durchzuführen, und die Feststellung eines Stoppschildes, die durch die markante Form und/oder die Zusammensetzung der Farbanteile geschieht.

Geplant ist, dass wir eine Android-App programmieren auf der die Straßenschilderkennung laufen kann. Damit dies geschehen kann müssen wir zuerst mithilfe der „camera2“-API von Android die Bilder aus der Systemkamera auslesen. Nachdem dies erfolgt ist, sind die Bilder nun in einer Variable abspeicherbar, welche durch eine Methode an die eigentliche Bildanalysierungsmethode returnt bzw. ausgegeben wird.

Nette Features, welche wir am Ende hinzufügen könnten wären z.B. die Sprachausgabe des erkannten Schildes, damit der Autofahrer nicht auf das Handy gucken muss und somit nicht abgelenkt wird, und den Ausbau der Straßenschilderkennung, so dass die Software zusätzlich mehr als nur ein Stoppschild erkennen kann.

Gantt-Diagramm

Bevor der erste Prototyp erstellt werden kann, sollten beide Teilprojekte abgeschlossen sein, sodass die Bildübertragung und die Erkennung eines Stoppschildes zusammengeführt werden kann. Wenn der erste Prototyp funktioniert, können anschließend die Feinarbeiten beginnen und mehrere Schilder erkannt werden, sowie die Sprachausgabe dieser umgesetzt werden. Wenn dies fertig ist, kann beides erneut zusammengeführt und das Projekt abgeschlossen werden.

Dokumentation

Code

Quellenverzeichnis

Anmerkungen