Mathesis Wiki

Entwicklung eines Nutzungsprogramms, welches Bilder von Handschrift und mathematischen Formeln in nutzbaren LaTeX Sourcecode umwandelt. Das Programm soll einem Nutzer erlauben ein Bild einzusetzen von einem Schriftlich verfassten Text, z.B. einer Mitschrift. Das Programm soll es digitalisieren und als LaTeX Dokument ausgeben

Plan

Journal

Quellenangabe

• Jonas Hanfland
• Leonard Sauder
• Noah Savgu
• Jasper Heinlein

• Machine Learning
• Aufbau und programmieren von neuronalen Netzwerken
• Schnittstelle zwischen LaTeX und Python
• Datenbanken sammeln(Handschrift und mathematische Formeln)

• Versionsverwaltung

• Neuronales Netzwerk für Zahlen erstmal
• dann Prinzip auf Buchstaben und Formeln anwenden
• Verarbeitung der Daten zu LaTeX(Schnittstelle)

• mit digitalen Handschrift oder sofort mit Bildern anfangen(Kontrast: Schwarz Weiß)? Es sollte keinen großen Unterschied machen. Durch Bildbearbeitung kann ein Bild von egal was für einer Art von Handschrift in eine einheitliche Form umgestaltet werden. Bspw. durch Erhöhung des Bildkontrasts kann der Hintergrund annähernd ausgeblendet werden. Mit weiteren Tools lässt sich das Bild bestimmt auch in ein „greyscale“-Bild umwandeln. Letzendlich sollte das Programm dann für sowohl digital -, als auch handschriftlich geschriebene Texte funktionieren.
• Was passiert mit dem LaTeX Sourcecode, also wo
• Wie gut funktioniert die Schreibschrifterkennung?
• Gibt es Probleme dabei, Buchstaben einzeln im Wort zu erkennen, trotz der Nähe der Charaktere (und teilweisiger Überlappung).
• Wie werden Leerzeichen, neue Absätze, o. Ä. erkannt?
• *Neu* Wie kann man ein CNN, das auf Zahlenerkennung angelegt ist, auf die Buchstabenerkennung expandieren?
• *Neu* Wie kann man das Bildformat von Datensätzen anpassen, sodass es die gleiche Pixelgröße wie ein anderer bereits angewendeter Datensatz nutzt? (Bsp. 40×40 zu 28×28)
• *Neu* Wie kann man auf ein CNN eingreifen, sodass sich die Fehlerrate verkleinert, wodurch ein effizienteres Programm erstellt werden kann?

• \[23.05.2019\]

1. Bearbeitung „Getting Started“ auf Keras.
   
2. Besprechung mit Herrn S. Born mit folgenden Ergebnissen:
   1. Hilfreich wäre, mit dem nicht-neuronalen K-Nearest-Neighbors Algorithmus zu beginnen, um ein Programm fuer die Zahlenerkennung zu erstellen.
      
   2. Hierfuer könne man den „NMIST“-Datensatz verwenden.
   3. Eine Einführung in diese Art der Programmierung ist im Lehrbuch „Hands-On Machine Learning with Sci-Kit and Tensor Flow“ zu finden. Jenes wird sowohl für die Verständnis der Theorie hinter der Zahlenerkennungsprogrammierung, als auch um eine einführende praktische Anleitung darüber zu erhalten, wie ein solches Programm aussieht, benutzt.
   4. Fuer die Bearbeitung des finalen Projekts (mithilfe eines neuronalen Netzwerkes) wurde vorgeschlagen, „scikit“ zu benutzen, der auch das K-Nearest-Neighbor beinhaltet.
3. Einlesen/Auslesen des MNIST-Datensatzes erlernt.

• \[29.05.2019\]

1. Weiterhin wird die Einführung in die Zahlenerkennungsprogrammierung im Buch bearbeitet.
2. Verschiedene Aspekte der Programmsfunktionsweise wurden innerhalb der Gruppe erörtert. Besonders thematisiert wurde die Leistungsmessung durch „Cross-Validation“, „Confusion Matrix“, „Precision“ und „Recall“ .

• \[06.06.2019\]

1. Abschließen des zu lesenden Kapitels im Lehrbuch. Notwendiger Wissenstand für die Schrifterkennung mithilfe von „Classification“ ist erreicht, inklusive der Ausführung des K-Nearest-Neighbors Algorithmuses.
2. Weiterer Verlauf: Beginn mit dem Neuronalen-Netzwerk
3. Plan: Von S. Born bereitgestellte Vorlesungsfolien (ipnb) wiederholen und Quellen (insbesondere die Bücher) bearbeiten.

• \[13.06.2019\]

1. Zusammenfassenden Vortrag über „Convolution“ in Neuronalen Netzwerken von S. Born erhalten.
2. Aufstellen des ersten „Convolutional“-Neuronalen-Netzwerkes (CNN) für Zahlenerkennung. Hierbei genutzt wurde der MNIST Datensatz in der Keras-Tensorflow Umgebung.
3. Prinzip der „Epochs“ bzw. der Layers im erstellten CNN erforscht. Die nach jedem Layer kleiner werdenden Matrizen, welche die auf die Zahlen angewendete Erkennungsmuster beschreiben, haben wir grafisch veranschaulicht. Fazit: Das Programm benutzt teils sehr kuriose Muster.
4. Besprechung und Planung des weiteren Verlaufs. Aufteilung für beantworten offener Fragen.

• \[20.06.2019\]

1. Laden der Epochs im Convolutional Neural Network
2. Testen des CNNs nachdem die Trainingsdaten vor jedem „Epoch“ durchgemischt wurden. Problem: provisorischer Speicher reicht nicht aus, um den Datenset N (= Anzahl der Epochs) mal in gemischtem Zustand auf einmal zu speichern. Könnte behoben werden, wenn der Datenset in mehrere Teile unterteilt wird, welche nacheinander gemischt geladen werden.

• \[27.06.2019\]

1. Noah: Erweitern der benutzten Datensets, um mathematische Zeichen einzufügen.
2. Jasper: Aneignen der mathematischen Hintergründe.
3. Jonas: Einrichten der Webanwendung Gitlab für gemeinsames Versionsverwalten
4. Leonard: Versuch, das Segmentieren eines handschriftlich geschriebenen Textes, sodass einzelne Buchstaben herausegelesen werden, zu Coden.

• \[4.06.2019\]

1. Fortsetzen der individuellen Aufgaben von letzter Woche.

• \[11.06.2019\]

1. Erfolgreich zwei verschiedene Datensetz zu einem vereint.
2. Hierbei mussten die Datensets zuerst auf die gleiche np.array Größe gebracht werden. Der Datenset von „Images“ mit der Größe 45×45 wurde auf die Größe 28×28 mithilfe von der Sci-Kit Bibliothek gebracht.
3. Nachdem die „images“ und „labels“ np.arrays kombiniert wurden, hat man diese jeweils global gespeichert (mit np.save()). Somit sind jene wiederaufrufbar, ohne den zugehörigen Code ausführen zu müssen.

*\[Blocktermin - Tag 1\] In der Segmentierung wurden Bounding Boxes eingefügt. Es wird sich jedes zusammenhängendes bzw. lückenloses Konstrukt in einem Bild - sprich, für jeden Buchstaben in einem handschriftlich geschriebenen Text - angeschaut. Hier werden die Eckkoordinaten und zugehörige Höhe und Weite gespeichert. So lassen sich die Positionen jeder einzelnen Box in später auftretenden Funktionen aufrufen. Mit OpenCV lassen sich die Boxen klar und deutlich auf die Buchstaben legen und man kann sie anzeigen. *\[Blocktermin - Tag 2 \]

*\[Blocktermin - Tag 3 \] Tatsächliches kombinieren zweier Bounding Boxes, falls ein Punkt über einem passenden Körper sich befindet. Hierbei wird der Wert des Zentrums einer Box verwendet

http://neuralnetworksanddeeplearning.com/chap1.html
https://keras.io/scikit-learn-api/
https://www.datacamp.com/community/tutorials/autoencoder-keras-tutorial
Géron, Aurélien, Hands-On Machine Learning with Scikit-Learn & TensorFlow | Concepts, Tools, and Techniques To Build Intelligent Systems, O'Reilly Media, Inc., 2017. Print.