Benutzer-Werkzeuge
ws2021:hier_geht_es_zur_dokumentation
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen gezeigt.
| Beide Seiten der vorigen Revision Vorhergehende Überarbeitung Nächste Überarbeitung | Vorhergehende Überarbeitung | ||
|
ws2021:hier_geht_es_zur_dokumentation [2021/03/28 12:17] elena_kirschner |
ws2021:hier_geht_es_zur_dokumentation [2021/03/28 14:16] (aktuell) elena_kirschner |
||
|---|---|---|---|
| Zeile 46: | Zeile 46: | ||
| - | Dieser Graph zeigt den Loss (orange) und die richtig erkannten Testdaten (blau) mit wachsender Epoche (50er Schritte) nach der Implementierung unserer Cross Entropy Funktion. | + | Dieser Graph zeigt den Loss (orange) und die richtig erkannten Testdaten (blau) mit wachsender Epoche (50er Schritte) nach der Implementierung unserer Cross-Entropy-Funktion. |
| + | |||
| + | Um unsere Rechnungen schneller auszuführen, nutzen wir Grafikkarten, da diese besonders für Matrix- und Vektorrechnungen geeignet sind. Dies ist für uns von Bedeutung, da mehrdimensionale lineare Algebra die mathematische Grundlage für neuronale Netze darstellt. Wir benutzen dafür CUDA, eine von NVIDIA entwickelte Technologie, um über Google Colab auf GPUs zugreifen zu können. Unseren Code erweiterten wir dementsprechend um einige zusätzliche Befehle, die die Rechenzeit verkürzten. | ||
| === 10. Termin: Overfitting und Regularization, Kernel Sizes === | === 10. Termin: Overfitting und Regularization, Kernel Sizes === | ||
| Zeile 64: | Zeile 65: | ||
| Zeitgleich versuchten wir unser Netz durch eine höhere Kernel-Size der Convolutional Layer zu verbessern. | Zeitgleich versuchten wir unser Netz durch eine höhere Kernel-Size der Convolutional Layer zu verbessern. | ||
| + | Zu unserem aktuellem Code kommt ihr [[hier]]. | ||
| === 11. Termin: ResNet Architektur === | === 11. Termin: ResNet Architektur === | ||
| //22.Febuar - 31. März 2021// \\ | //22.Febuar - 31. März 2021// \\ | ||
| - | Im folgenden versuchten wir auf den Hinweis von Stefan hin, eine ResNet Architektur zu implementieren. Diese soll besonders bei besonders "deepen" Netzen zu einem besseren Trainingseffekt führen. Die grundlegende Idee besteht dabei darin, sogenannte "Skip Connections" einzuführen. Dabei werden zusätzliche ResNet Layer implementiert, die immer ein paar, der Convolutional-Layer überspringen und so den Output einer vorherigen Schicht mit dem Output einer aktuellen Schicht kombinieren. | + | Im folgenden versuchten wir auf den Hinweis von Stefan hin, eine ResNet Architektur zu implementieren. Dies ermöglicht es, tiefere Netzwerke zu implementieren ohne, dass Informationen von vorherigen Layern vollständig verloren gehen. Die grundlegende Idee besteht darin, sogenannte "Skip Connections" einzuführen. Dabei werden zusätzliche ResNet Layers implementiert, die einige Convolutional-Layers überspringen und so Informationen von früheren Schichten zu Informationen von darauffolgenden Schichten dazuaddieren. |
ws2021/hier_geht_es_zur_dokumentation.1616926632.txt.gz · Zuletzt geändert: 2021/03/28 12:17 von elena_kirschner
Seiten-Werkzeuge
