Mathesis Wiki

• Fangen wir mit digital erstellter Handschrift oder sofort mit echt fotografierten Bildern (schwarz-weiß) an?

Antwort: Da echte Bilder realitätsnäher sind, haben wir Bilder benutzt. Durch Bildbearbeitung kann ein Bild von egal was für einer Art von Handschrift und Belichtung in eine einheitliche Form umgestaltet werden. Bspw. durch Erhöhung des Bildkontrasts kann der Hintergrund annähernd ausgeblendet werden. Mit weiteren Tools lässt sich das Bild auch in ein Graustufen, bzw S/W-Bild umwandeln. Letztendlich soll das Programm dann für sowohl digitale, als auch handschriftlich geschriebene Texte funktionieren.

• Was passiert mit dem LaTeX Sourcecode?

Antwort: Bis zu dem Punkt, dass wir den erkannten Text in LaTeX-Code übersetzen, sind wir nicht gekommen.

• Funktioniert die Erkennung von Schreibschrift?

Antwort: Mit diesem Programm scheint es nicht möglich, da es schwierig ist, die einzelnen Buchstaben als einzelne Zeichen zu erkennen. Zwei Dinge könnten helfen: Eine Anpassung der Bilder des Datensatzes, in dem wir künstliche „Störkrakeleien“ um die Zeichen herum streuen, damit das CNN nicht mehr von überlappenden und ineinander verfließenden Zeichen verwirrt wird. Andererseits auch die Einführung eines statistischen Modells (n-Gram) zur Vorhersage von Folgezeichen.

• Gibt es Probleme dabei, Buchstaben einzeln im Wort zu erkennen, trotz deren Nähe zueinander (und teilweiser Überlappung).

Antwort: Ja, ähnlich wie bei der Schreibschrift.

• Wie werden Leerzeichen, neue Absätze, o. Ä. erkannt?

Antwort: Auch hier müssen weitere Datensätze Modelle, wie das n-Gram-Modell eingebaut werden.