Benutzer-Werkzeuge

Webseiten-Werkzeuge


ws1920:virtual_dj

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen gezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
ws1920:virtual_dj [2019/11/28 17:09]
mariaring
ws1920:virtual_dj [2019/11/28 17:51] (aktuell)
mariaring
Zeile 1: Zeile 1:
-**Virtual DJ, neuer Name TBA**+========APOLLON=======
  
  
-[[1.Projekttag]]+__Beschreibung des Projektnamens__
  
 +-------------A ​  ​= ​  ​**Affective**-------------
  
-Name wird noch geändert, da es bereits eine Software gibt, die so heißt!+-------------P ​  ​= ​  ​**Personal**-------------
  
-__Projektteilnehmer*innen__+-------------O ​  ​= ​  **Online**-------------
  
-  * Sven Tonke +-------------L ​  ​= ​  **Located**------------- 
-  ​Maria Ring + 
-  Dominik Krug +-------------L ​  ​= ​  **Laudable**------------- 
-  Rosa Brunner + 
-  Annika Just+-------------O ​  ​= ​  **Overdue**------------- 
 + 
 +-------------N ​  ​= ​  ​**Network**--------------
  
  
Zeile 20: Zeile 23:
  
 Unser Programm soll die "​Grundstimmung"​ eines Gesichts erkennen und einen dazu passenden Song auswählen. Unser Programm soll die "​Grundstimmung"​ eines Gesichts erkennen und einen dazu passenden Song auswählen.
-Wie wir das genau umsetzen werden wir in den nächsten Wochen erarbeiten.+Wie wir dies genau umsetzen werden wir in den nächsten Wochen erarbeiten.
  
 Idee: man schickt ein Selfie an unser Programm, das Programm analysiert die Stimmung und sendet einen dazu passenden Song aufs Handy. Idee: man schickt ein Selfie an unser Programm, das Programm analysiert die Stimmung und sendet einen dazu passenden Song aufs Handy.
 Umsetzung über Telegram Bot? Umsetzung über Telegram Bot?
  
-__Protokoll 14.11.2019__ 
  
-zu der Stimmung passende Musik auswählen +__Projektteilnehmer*innen__
-Stimmung verbessern / Titel zur Stimmung+
  
-Einteilung in zwei Teilprojekte:​ +  ​Sven Tonke      ​ 
- +  * Maria Ring 
-Stimmungsanalyse +  * Dominik Krug 
-  ​Bildanalyse?​ +  * Rosa Brunner 
-  * Von was? +  * Annika Just
-  * Gesicht: emotionaler Gesichtsausdruck +
-  * [[https://​en.wikipedia.org/​wiki/​Facial_expression_databases|Gesichtsdatenbanken]] +
-  * Basis emotion theory nach Ekman +
- +
-Musikausgabe +
-  * Genres werden Gefühlen zugeordnet +
-  * Wie wird die Stimmung des Liedes bestimmt? +
-  *     - Valenz +
-  *     - Arousal: +
-  *     - Text des Liedes +
- +
-  * Schnittstelle?​ Also wie wird das Lied abgespielt? Damit man nicht 10000 Lieder auf dem PC hat +
-  *     - Spotify, YouTube? +
-  *     - Cloud anlegen, wo die Lieder drinnen sin? +
-  *     - Zunächst Auswahl aus bestimmten Liedern je Emotion/​Stimmung,​ also Anzahl limitieren…?​ +
- +
-Objekterkennung:​ +
-  * Lied zum Objekt +
-  * Semantisch passend: also Objekt kommt dann auch im Song vor +
- +
-Bravo Hits! +
-  * Rating Daten erheben +
- +
- +
-__Protokoll 21.11.2019__ +
- +
-  * Beschäftigung mit den Hinweisen von Stefan +
-  * Anschauen ähnlicher Projekte, die bereits in Mathesis umgesetzt wurden +
-  * weitere Quellen suchen +
- +
-https://​medium.com/​themlblog/​how-to-do-facial-emotion-recognition-using-a-cnn-b7bbae79cd8f +
- +
-https://​www.ncbi.nlm.nih.gov/​pmc/​articles/​PMC6514572/​ +
- +
-https://​iopscience.iop.org/​article/​10.1088/​1742-6596/​1193/​1/​012004/​pdf +
- +
-https://​medium.com/​ai³-theory-practice-business/​ai-scholar-deep-learning-facial-expression-recognition-research-fcaa0a9984b6 +
- +
-https://​www.kaggle.com/​c/​challenges-in-representation-learning-facial-expression-recognition-challenge/​overview +
- +
-https://​towardsdatascience.com/​face-detection-recognition-and-emotion-detection-in-8-lines-of-code-b2ce32d4d5de +
- +
-FAZIT: wir müssen uns erstmal mit neuronalen Netzwerken beschäftigen +
-(Wie funktionieren diese, was können diese, Implementation in Python?) +
- +
- +
-**Hinweise von Stefan Born** +
-Entscheidend ist, dass sich (große) öffentliche Datensätze finden, bei denen Bilder, bzw. Musikstücke mit ästhetischen bzw. Stimmungs-Labels versehen sind. +
- +
-Für Bilder gibt es etwa das: +
-http://​academictorrents.com/​details/​71631f83b11d3d79d8f84efe0a7e12f0ac001460 +
- +
-Für Musik das (ein bisschen klein, kann sein, dass es bessere gibt): +
-https://​cs.nju.edu.cn/​sufeng/​data/​musicmood.htm +
- +
-Mit Labels, die mehr das Genre betreffen (aber zumindest indirekt auch was mit Stimmungen zu tun haben): +
- +
-http://​millionsongdataset.com/​ +
- +
-Interessant auch +
-https://​github.com/​neokt/​audio-music-mood-classification +
-https://​neokt.github.io/​projects/​audio-music-mood-classification/​+
  
 +**[[Projekt-Dokumentationen]]** ​
  
-Stimmungsklassifikation von Bildern ist nicht ganz einfach. Die funktionierenden Methoden beruhen darauf, neuronale Netzwerke auf Features zu trainieren, die ihrerseits aus den mittleren Schichten von neuronalen Netzwerken kommen, die _für andere Aufgaben_ trainiert wurden. ​ (Typischerweise die Gewinner der großen ImageNet-Challenges,​ bei denen es um Bildklassifikation geht, AlexNet, ResNet,​...) ​ 
-Es kann sich lohnen, außerdem noch summarische Statistiken der Bildfarben o.ä. als Eingabe zu verwenden. Ein typisches Beispiel ist hier: 
  
-https://​arxiv.org/​pdf/​1705.07543.pdf 
  
-Das lässt sich alles mit den Paketen 
-keras + tensorflow 
  
-realisieren. Damit'​s nicht ewig dauert, braucht man eine GPU, es kann sich lohnen, die Modelle auf Google Colab zu rechnen. 
  
ws1920/virtual_dj.1574957356.txt.gz · Zuletzt geändert: 2019/11/28 17:09 von mariaring