Benutzer-Werkzeuge
Seitenleiste
Dies ist eine alte Version des Dokuments!
Virtual DJ, neuer Name TBA
Name wird noch geändert, da es bereits eine Software gibt, die so heißt!
Projektteilnehmer*innen
Sven Maria Ring Dominik Krug Rosa Brunner Annika Just
Projektbeschreibung
Unser Programm soll die „Grundstimmung“ eines Gesichts erkennen und einen dazu passenden Song auswählen. Wie wir das genau umsetzen werden wir in den nächsten Wochen erarbeiten.
Protokoll 14.11.2019
zu der Stimmung passende Musik auswählen Stimmung verbessern / Titel zur Stimmung
Einteilung in zwei Teilprojekte:
Stimmungsanalyse
- - Bildanalyse?
- - Von was?
- - Gesicht: emotionaler Gesichtsausdruck
- - Basis emotion theory nach Ekman
Musikausgabe
- - Genres werden Gefühlen zugeordnet
- - Wie wird die Stimmung des Liedes bestimmt?
- - Valenz
- - Arousal:
- - Text des Liedes
- - Schnittstelle? Also wie wird das Lied abgespielt? Damit man nicht 10000 Lieder auf dem PC hat
- - Spotify, YouTube?
- - Cloud anlegen, wo die Lieder drinnen sin?
- - Zunächst Auswahl aus bestimmten Liedern je Emotion/Stimmung, also Anzahl limitieren…?
Objekterkennung:
- - Lied zum Objekt
- - Semantisch passend: also Objekt kommt dann auch im Song vor
Bravo Hits!
- - Rating Daten erheben
Protokoll 21.11.2019
- - Beschäftigung mit den Hinweisen von Stefan
- - Anschauen ähnlicher Projekte, die bereits in Mathesis umgesetzt wurden
- - weitere Quellen suchen
https://medium.com/themlblog/how-to-do-facial-emotion-recognition-using-a-cnn-b7bbae79cd8f
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6514572/
https://iopscience.iop.org/article/10.1088/1742-6596/1193/1/012004/pdf
https://medium.com/ai³-theory-practice-business/ai-scholar-deep-learning-facial-expression-recognition-research-fcaa0a9984b6
Hinweise von Stefan Born Entscheidend ist, dass sich (große) öffentliche Datensätze finden, bei denen Bilder, bzw. Musikstücke mit ästhetischen bzw. Stimmungs-Labels versehen sind.
Für Bilder gibt es etwa das: http://academictorrents.com/details/71631f83b11d3d79d8f84efe0a7e12f0ac001460
Für Musik das (ein bisschen klein, kann sein, dass es bessere gibt): https://cs.nju.edu.cn/sufeng/data/musicmood.htm
Mit Labels, die mehr das Genre betreffen (aber zumindest indirekt auch was mit Stimmungen zu tun haben):
http://millionsongdataset.com/
Interessant auch https://github.com/neokt/audio-music-mood-classification https://neokt.github.io/projects/audio-music-mood-classification/
Stimmungsklassifikation von Bildern ist nicht ganz einfach. Die funktionierenden Methoden beruhen darauf, neuronale Netzwerke auf Features zu trainieren, die ihrerseits aus den mittleren Schichten von neuronalen Netzwerken kommen, die _für andere Aufgaben_ trainiert wurden. (Typischerweise die Gewinner der großen ImageNet-Challenges, bei denen es um Bildklassifikation geht, AlexNet, ResNet,…) Es kann sich lohnen, außerdem noch summarische Statistiken der Bildfarben o.ä. als Eingabe zu verwenden. Ein typisches Beispiel ist hier:
https://arxiv.org/pdf/1705.07543.pdf
Das lässt sich alles mit den Paketen keras + tensorflow
realisieren. Damit's nicht ewig dauert, braucht man eine GPU, es kann sich lohnen, die Modelle auf Google Colab zu rechnen.
Seiten-Werkzeuge
