Mathesis Wiki

Claire Melchior

Mascha Pachael

Laila Kulsvehagen

Lenny Leass

Am Ende unseres Projekts steht das Ziel, Musik als Video darzustellen. Technisch betrachtet, wollen wir uns also mit der Umwandlung von Tonsignalen in bewegte Bilder beschäftigen. Das heißt, dass das Programm praktisch dazu angewendet werden wird, um sämtliche Töne - von Alltagsgeräuschen über Stimmen hin zu künstlerischen, musikalischen Kompostitionen - in verschieden komplexe Formen und Farben umzuwandeln.

Daher muss der erste Schritt sein, sich damit auseinander zu setzen, in welcher Form wir Töne und Bilder mathematisch interpretieren können. Wir werden folglich eine Menge von Daten in eine andere Menge umwandeln. Um diese Menge zu differenzieren, müssen wir Parameter einführen, die Unterschiede in Lautstärke und Tonhöhe beispielsweise festhalten. Diese Informationen werden anschließend dazu verwendet, uns schrittweise mittels vereinfachter Modelle, an das Kernproblem anzunähern. Ein möglicher Zwischenschritt wäre an dieser Stelle zum Beispiel, eine Menge ganzer Zahlen in den Grundfarben in einer Ebene darzustellen. Mit anderen Worte: Ein Programm zu schreiben, welches aus beliebigen Arrays ein Bild generiert.

Mittels Fourier-Analyse Daten aus Tonsignalen ermitteln, welche wiederum zur Generation von Bildern verwendet werden können.

Bilder generieren:

import Image #Modul aus Python Imaging Library
 
 
def gen_image(lis):
	img = Image.new( 'RGB', (len(lis)-1,len(lis)-1), "black") #generiert
	#Bild im Farbschema RGB mit Groesse len(lis)+1, len(lis)-1 und der
	#Farbe schwarz. 
	pixels = img.load() #Erstellt "pixel map" des Bildes.
	for i in range(img.size[0]):
		for j in range(img.size[1]): 
			pixels[i,j] = (lis[i], lis[j], 100) #Greift auf jeden Pixel 
			#zu und faerbt ihn mit entsprechenden RGB-Werten ein.
	img.show()
 
#Beispiel:
gen_image(range(255))

20.11. * Grundlagen Fourier-Analyse, Festlegung der Kommunikationsmittel (Facebook und Dropbox)

27.11. * Einrichten der Wiki, Grundlagen Fourier-Analyse, Erkundung von Schallwekrzeugen in Python

4.12. * Erstellen von Klassen Ton und Bild, Beginn der Erstellung von Bildgenerierungsprogrammen

11.12. * Anfängliche technische Schwierigkeiten: Der Befehl img.show() resultiert nicht in der Darstellung des Bildes. Dank Stefans Hilfe konnten wir das Problem schnell beheben, sodass wir nun einen einzelnen Ton als unbewegtes Bild darstellen können. Für unsere Weiterarbeit stellen sich im Wesentlichen zwei Probleme:

• 1. In welcher Form soll sich das Bild bewegen? Dazu müssen wir wissen: Wird ein Bild einem Ton oder einer Sekunde zugeordnet? Oder orientiert sich unsere Bild an verschiedenen Messwerten: Lautstärke → Größe eines Objekts; Tonfrequenz → Farbe des Objekts.

Aufgrund unseres bishergen Programms haben wir uns dafür entschieden, dass das Programm pro Sekunde eine bestimme Anzahl von Bildern generiert. Diese lassen wir anschließend hintereinander ablaufen. Ausblick: Das Programm soll nach und nach immer mehr Messwerte berücksichtigen, weshalb wir schrittweise mehr Parameter in den Sourcecode einbauen wollen. Diese stellen dann zum Beispiel die Lautstärke oder die Frequenz dar.

• 2. Wie können wir die bildliche Darstellung ästhetisch optimieren?

08.01. Durch zwei neue Programme von Stefan ist nun eine detailliertere und erweiterte Darstellung des Tons möglich:

1. Nummerierter Listenpunkt „Visuals“: 3-dimensionale Darstellungen.
2. Das Einlesen von wav-Dateien: Anstatt Mikrofonaufnahmen kann jetzt direkt auf die Daten der Tonaufnahmen zugegriffen werden und ins Programm eingegeben werden.

Ausblick für nächste Woche:

• Listenpunkt Einarbeitung und Anwendung der Fourier-Analyse
• Listenpunkt Benutzung von „Visuals“ in Python

15.01 Bislang haben wir aus einigen Sekunden langen Mikrofonaufnahmen, ein 2-dimensionales, mehrfaches Bild erzeugt. Das Verfahren gestaltete sich somit grob in die Teilschritte:

• Aufnahme
• → Datenspeicherung
• → Umrechnung
• → Bildanzeige

Heute ist es gelungen, diese zwei grundsätzlichen Prozesse von Mikrofonaufnahme und Bildanzeige jeweils kontinuierlich und selbstständig ablaufen zu lassen. Somit können wir jetzt beispielsweise ein Gespräch aufnehmen und es direkt in ein Bild umwandeln. Das heißt, es werden permanent Aufnahmen getätigt, also Daten gesammelt, die direkt und zusammenhängend in eine Bildatei umgewandelt werden. Je nach dem, wie viele Bilder pro Zeit erzeugt werden, entsteht eine Art Film.

Der nächste Schritt ist nun, die Bilddarstellung vielfältiger zu gestalten. Es wird diskutiert, nach welchen ästhetischen Aspekten, wir unsere Bilder erzeugen wollen. An dieser Stelle sind zum Beispiel 3-dimensionale Körper interessant. Eine weitere Möglichkeit ist, die eigentliche Bilddatei mit weiteren teilweise zu überlagen, also praktisch ein Bild im Bild erzeugen.