Ein Neuronales Netz besteht aus Schichten von Neuronen. Jedes Neuron hat eine gewisse Zahl an Inputs und Gewichten. Die Inputs werden mit den Gewichten verrechnet und in die Sigmoid-Funktion¹⁾ eingesetzt. Dies ist der Output des Neurons. Ein Neuronales Netz besteht nun aus mehreren Schichten solcher Neuronen, wobei die Outputs der einen Schicht die Inputs der nächsten Schicht sind. Wenn man nun ein Neuronales Netz anlegt, so werden die Gewichte zunächst zufällig besetzt. Allerdings werden diese im Trainingsprozess angepasst. Das funktioniert folgendermaßen:

• Zunächst braucht man einen Datensatz mit Inputs und erwarteten Outputs.
• Dann berechnet man den quadratischen Fehler zwischen dem Output, den das Netz bei einem Input liefert und dem dabei erwarteten Output.
• Nun kann man mittels Backtracking die einzelnen Gewichte nacheinander updaten. Dazu bildet man die partielle Ableitung der Fehlerfunktion nach jedem Gewicht.

Nachdem man diesen Prozess einige Male wiederholt hat, sollte das Netz in der Lage sein, ähnliche Probleme zu lösen. Man muss jedoch beim Trainieren des Netzes einige wichtige Dinge beachten, damit das Netzwerk nicht overfitted:

• Man sollte