Mathesis Wiki

Am Dienstag hatten wir den ersten Termin unseres KI-Crashkurses, in dem wir grundlegende Ideen und Verfahren von statistischen Methoden und maschinellem Lernen vermittelt bekommen haben. Am Mittwoch haben wir uns hauptsächlich damit beschäftigt Jupyter Notebooks zu maschinellem Lernen durchzuarbeiten und eine Bilderkennung zum Laufen zu kriegen, mit der wir eine menschliche Hand und bestimmte Knoten dieser Hand erkennen wollten. Leider hat der Pythoncode, den wir genutzt haben, nicht mit dem Displayserver des Laptops zusammengepasst. An diesem Problem haben wir lange festgesteckt. Aktuell haben wir noch keine Lösung dafür gefunden. Wir haben versucht den Code von dieser Website zu nutzen: google, hand landmarker python example. Dabei sind wir auf den Fehler 'qt.qpa.plugin: Could not find the Qt platform plugin „wayland“' gestoßen.

Am Montag und Dienstag hatten wir die letzten beiden Teile des KI-Chrashkurses, in denen wir Neuronale Netze, Reinforcement Learning und verschiedene Architekturen kennengelernt haben. Am Mittwoch haben wir dann damit angefangen, den Code aus der vorherigen Woche zum Laufen zu bringen, so dass wir unsere Hände erkennen konnten und durch einen Tastendruck die aktuellen Koordinaten der Landmarks einer Hand abspeichern können. Außerdem haben wir unser PyCharm und GitLab so eingerichtet, dass wir komfortabel an den gleichen Dateien arbeiten können (| unser Projekt auf GitLab). Die Koordinaten der Hände haben wir dann in eine CSV Datei gespeichert, das unsere „Handgestendatenbank“ sein sollte. Anschließend haben wir uns das Modell „LinearRegression“ von SciKit-Learn (| LinearRegression) rausgesucht und das Modell an unseren gesammelten Daten trainiert. Mit dem Modell sind wir auf ziemlich gute Metrics gekommen. Danach hat uns Stefan vorgeschlagen das Modell „SVC“ (Support Vector Machine/Classification) (| SVC) von SciKit-Learn zu nutzen. Wir haben dieses Modell implementiert und sind auf noch bessere Metrics gekommen, daher sind wir erstmal dabei geblieben. Zum Ende haben wir mit dem trainierten Modell versucht eine Handgeste live zu erkennen, aber unser Modell hat leider gar nicht gut funktioniert. Wir glauben, dass es daran liegt, dass Koordinaten im 3d-Raum zu vielfältig sind. Deshalb haben wir zuhause ein paar Funktionen geschrieben, die es ermöglichen die Landmarkkoordinaten zu normieren, indem sie auf allen Achsen gleich ausgerichtet werden. Wir hoffen, dass diese Normierung der Koordinaten dazu führt, dass unser Modell die Gesten besser lernen und unterscheiden kann. Jetzt können wir:

1. Hände erkennen
2. Landmarks als Koordinaten abspeichern
3. SVC-Modell an Daten trainieren
4. Landmarkkoordinaten normieren (rotieren und ausrichten)
5. trainiertes Modell nutzen um live Handgesten zu erkennen (funktioniert bis jetzt sehr schlecht)