Benutzer-Werkzeuge
Seitenleiste
Dies ist eine alte Version des Dokuments!
Tagesplan
- Erkenntnisse für Spotipy sammeln, Application bei Spotify registrieren, über die Gesichtsdatenbank reden
- Application wurde bei Spotify registriert, APOLLON ist offiziel als Developer bei Spotify registriert
Emotions-Teil
Festlegung Datenset:
Um unser neuronales Netzwerk zu trainieren und zu testen, brauchen wir einen gelabelten Datensatz. Als Label brauchen wir mindestens die Kategorien Angry, Sad, Happy und Relaxed (oder eben die Dimensionen Valenz und Arousal).
Der Datensatz sollte möglichst passend für unsere Anwendung sein. Wir wollen die Stimmung anhand eines Selfies analysieren, also geht es eher um “posed expressions”, und wir brauchen eigentlich auch keine Videos sondern stille Bilder. (Also Wild / Natural Datenbanken schließen wir damit aus, aber man könnte später auch schauen ob diese auch klassifiziert werden können).
Eine Internet-Recherche über mögliche Datensätze ergibt sehr viele Möglichkeiten für Gesichts-Datensätze mit Labels (Siehe auch Wikipedia Übersicht aus der ersten Sitzung).
Quellen
Posed: MMI Facial Expression Data Base https://mmifacedb.eu
Faces DB http://app.visgraf.impa.br/database/faces/
Cohn-Kanade https://www.pitt.edu/~emotion/ck-spread.htm http://www.consortium.ri.cmu.edu/ckagree/
Fer von Kaggle: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data
Recherche, wie fängt man an? Hier sind ein paar der gefundenen Ressourcen:
https://medium.com/@lukaszlipinski/tensorflow-low-and-high-level-api-369494fc0341
https://medium.com/@jsflo.dev/training-a-tensorflow-model-to-recognize-emotions-a20c3bcd6468
https://medium.com/themlblog/how-to-do-facial-emotion-recognition-using-a-cnn-b7bbae79cd8f
https://machinelearningmastery.com/tutorial-first-neural-network-python-keras/
Tensor flow
Es gibt ein Projekt, welches so was ähnliches macht wie wir…. Sehr spannend um mal reinzuschauen:
Projekt EmoPy
https://github.com/thoughtworksarts/EmoPy
Hier ein zusammenfassender Artikel des Projekts: https://thoughtworksarts.io/blog/emopy-emotional-expression-toolkit/
https://thoughtworksarts.io/blog/recognizing-facial-expressions-machine-learning/
Festlegung: Wir versuchen es erstmal mit diesem Datensatz! (Bilder sind schwarz weiß und klein, viele Bilder) Aber wir nehmen nur 4 Kategorien :)
So, wie fangen wir nun an ein Netzwerk aufzusetzen? Erstmal einen Plan machen, was unser Netzwerk machen soll! (Siehe Notizen mit der Hand)
Infos:
-in der Dokumentation vom 05.12.19 ist ein Fehler, In 2. haben wir zwar eine Datenbank gehabt, jedoch war es keine „Spotipy-Datenbank“ sondern eine unabhängige.
Seiten-Werkzeuge
