Projektteilnehmende: Daria, Lennart, Joshua & Niklas

Idee:

Wir wollen ein neuronales Netzwerk trainieren (Stil ist noch offen. zB. Klassik, Techno, Hip-Hop Beats, Lofi, oder bestimmten Künstlern) was aus verschieden Quellen einen Song/Beat generieren kann ggf. mit Songtext.

Projektplanung:

Ziele: Mit bestimmten Style ein Lied zu generieren ggf. mit Stimme Zwischenziele: Sounds generieren (müssen sich nicht perfekt anhören)

Neuronale Netze:

Ein neuronales Netz arbeitet anders als ein normales Programm am Computer. Ein Programm gibt meistens für jeden möglichen Fall, der eintreffen kann ein Szenario aus und macht das einfach immer wieder. Ein neuronales Netz dagegen bekommt ein Dataset, das für möglichst viele Fälle die Ausgangswerte und das erwünschte richtige Ergebnis hat. Davor wird das Dataset in Trainings- und Testdateien aufgeteilt. Das neuronale Netz arbeitet mit den Trainingsdaten. Mit diesen versucht das neuronale Netz mithilfe einer oder mehrerer Funktionen je nach Komplexität so gut wie möglich für alle Trainingsdateien diese Funktionen anzupassen, damit es bei den Trainingsdaten möglichst geringe Fehler macht. Dazu werden werden die Parameter in der Funktion mit jeder neuen Datei angepasst. Um zu schauen wie gut das neuronale Netz wirklich ist, können nun die Testdateien dem neuronalen Netz übergeben werden. Dann wird der Output mit den echten Ergebnissen verglichen. Je ähnlicher der Output den echten Ergebnissen ist, desto besser ist das neuronale Netz.

Was ist der Song-Generator:

Der Song-Generator ist ein mit unseren gesammelten Musikdateien trainiertes neuronales Netz, dass einen Ton, eine Tonfolge oder auch ein Lied bekommt und daraus ein oder mehrere verschiedene Klavierlieder generiert, die im besten Fall gut klingen und zu der gegebenen Tonfolge oder dem gegebenen Ton passen.

Hilfsmittel: Magenta, Tensorflow

Basis-Musik: (Auf diesem Datenset basieren unsere generierten Songs)

https://drive.google.com/drive/folders/1JfRAdHkYw8F7b0mVlPqr_xQYgJ8_xpsO?usp=sharing

Journal

Code:

Google-Colab-Notebook

Danksagung:

Vielen lieben Dank an dieser Stelle an Andrea und Lysanne, dass ihr uns ein so cooles Projekt ermöglicht habt! Und auch danke an Stefan, der er uns das Grundprinzip von Machine Learning nochmal genauer erläutert hat, sowie ein von ihm erstelltes Jupyter-Notebook zu dem Thema zur Verfügung gestellt hat. Wir haben alle vier einiges aus dieser Zeit mitgenommen, auch wenn oder wahrscheinlich gerade weil es öfter mal ordentlich was zu knobeln gab.

Literatur:

https://github.com/llSourcell/How_to_generate_music_in_tensorflow_LIVE https://github.com/Conchylicultor/MusicGenerator https://github.com/NaveenBandarage/AIWorld https://gym.openai.com/envs/#classic_control https://github.com/magenta/ddsp/tree/master/ddsp/colab/tutorials https://colab.research.google.com/github/magenta/ddsp/blob/master/ddsp/colab/demos/train_autoencoder.ipynb#scrollTo=OQ5PPDZVzgFR https://github.com/magenta/magenta/tree/master/magenta/models/melody_rnn