Mathesis Wiki

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
- Name wird noch geändert, da es bereits eine Software gibt, die so heißt!


__Projektteilnehmer*innen__

  * Sven Tonke
  * Maria Ring
  * Dominik Krug
  * Rosa Brunner
  * Annika Just


__Projektbeschreibung__

Unser Programm soll die "Grundstimmung" eines Gesichts erkennen und einen dazu passenden Song auswählen.
Wie wir dies genau umsetzen werden wir in den nächsten Wochen erarbeiten.

Idee: man schickt ein Selfie an unser Programm, das Programm analysiert die Stimmung und sendet einen dazu passenden Song aufs Handy.
Umsetzung über Telegram Bot?


__Protokoll 14.11.2019__

zu der Stimmung passende Musik auswählen
Stimmung verbessern / Titel zur Stimmung

Einteilung in zwei Teilprojekte:

Stimmungsanalyse
  * Bildanalyse?
  * Von was?
  * Gesicht: emotionaler Gesichtsausdruck
  * [[https://en.wikipedia.org/wiki/Facial_expression_databases|Gesichtsdatenbanken]]
  * Basis emotion theory nach Ekman

Musikausgabe
  * Genres werden Gefühlen zugeordnet
  * Wie wird die Stimmung des Liedes bestimmt?
  *     - Valenz
  *     - Arousal:
  *     - Text des Liedes

  * Schnittstelle? Also wie wird das Lied abgespielt? Damit man nicht 10000 Lieder auf dem PC hat
  *     - Spotify, YouTube?
  *     - Cloud anlegen, wo die Lieder drinnen sin?
  *     - Zunächst Auswahl aus bestimmten Liedern je Emotion/Stimmung, also Anzahl limitieren…?

Objekterkennung:
  * Lied zum Objekt
  * Semantisch passend: also Objekt kommt dann auch im Song vor

Bravo Hits!
  * Rating Daten erheben


__Protokoll 21.11.2019__

  * Beschäftigung mit den Hinweisen von Stefan
  * Anschauen ähnlicher Projekte, die bereits in Mathesis umgesetzt wurden
  * weitere Quellen suchen

https://medium.com/themlblog/how-to-do-facial-emotion-recognition-using-a-cnn-b7bbae79cd8f

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6514572/

https://iopscience.iop.org/article/10.1088/1742-6596/1193/1/012004/pdf

https://medium.com/ai³-theory-practice-business/ai-scholar-deep-learning-facial-expression-recognition-research-fcaa0a9984b6

https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/overview

https://towardsdatascience.com/face-detection-recognition-and-emotion-detection-in-8-lines-of-code-b2ce32d4d5de

FAZIT: wir müssen uns erstmal mit neuronalen Netzwerken beschäftigen
(Wie funktionieren diese, was können diese, Implementation in Python?)


**Hinweise von Stefan Born**
Entscheidend ist, dass sich (große) öffentliche Datensätze finden, bei denen Bilder, bzw. Musikstücke mit ästhetischen bzw. Stimmungs-Labels versehen sind.

Für Bilder gibt es etwa das:
http://academictorrents.com/details/71631f83b11d3d79d8f84efe0a7e12f0ac001460

Für Musik das (ein bisschen klein, kann sein, dass es bessere gibt):
https://cs.nju.edu.cn/sufeng/data/musicmood.htm

Mit Labels, die mehr das Genre betreffen (aber zumindest indirekt auch was mit Stimmungen zu tun haben):

http://millionsongdataset.com/

Interessant auch
https://github.com/neokt/audio-music-mood-classification
https://neokt.github.io/projects/audio-music-mood-classification/


Stimmungsklassifikation von Bildern ist nicht ganz einfach. Die funktionierenden Methoden beruhen darauf, neuronale Netzwerke auf Features zu trainieren, die ihrerseits aus den mittleren Schichten von neuronalen Netzwerken kommen, die _für andere Aufgaben_ trainiert wurden.  (Typischerweise die Gewinner der großen ImageNet-Challenges, bei denen es um Bildklassifikation geht, AlexNet, ResNet,...) 
Es kann sich lohnen, außerdem noch summarische Statistiken der Bildfarben o.ä. als Eingabe zu verwenden. Ein typisches Beispiel ist hier:

https://arxiv.org/pdf/1705.07543.pdf

Das lässt sich alles mit den Paketen
keras + tensorflow

realisieren. Damit's nicht ewig dauert, braucht man eine GPU, es kann sich lohnen, die Modelle auf Google Colab zu rechnen.
Mathesis Wiki

Benutzer-Werkzeuge

Webseiten-Werkzeuge

Seiten-Werkzeuge
