Benutzer-Werkzeuge
ss19:laborbuch
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen gezeigt.
| Beide Seiten der vorigen Revision Vorhergehende Überarbeitung Nächste Überarbeitung | Vorhergehende Überarbeitung | ||
|
ss19:laborbuch [2019/06/20 15:50] jojoDouglas7 |
ss19:laborbuch [2019/07/01 13:39] (aktuell) anja00 |
||
|---|---|---|---|
| Zeile 82: | Zeile 82: | ||
| <del>Klassen</del> Dictionary erstellen um nicht jedes Mal Texte aus der file-directory ziehen zu müssen. (Autoren und ihre Texte sind momentan extern (aka nicht in Python) gespeichert. D.h. um mit den Texten zu arbeiten müssen wir auf den Speicherort zu greifen. Und das ist anstrengend und kostet Rechenzeit und ist doof.) | <del>Klassen</del> Dictionary erstellen um nicht jedes Mal Texte aus der file-directory ziehen zu müssen. (Autoren und ihre Texte sind momentan extern (aka nicht in Python) gespeichert. D.h. um mit den Texten zu arbeiten müssen wir auf den Speicherort zu greifen. Und das ist anstrengend und kostet Rechenzeit und ist doof.) | ||
| + | ---- | ||
| **20.06.2019** | **20.06.2019** | ||
| Jojo, Leon, Anja | Jojo, Leon, Anja | ||
| Zeile 93: | Zeile 94: | ||
| * für idf wert: | * für idf wert: | ||
| - | * 3. 1 * ||| **anzahl der dokumente** | + | * 3. **anzahl der dokumente** |
| * 4. anzahl verschiedener Wörter * ||| **anzahl der dokumente, die dieses wort beinhalten** | * 4. anzahl verschiedener Wörter * ||| **anzahl der dokumente, die dieses wort beinhalten** | ||
| * diese ergeben dann: | * diese ergeben dann: | ||
| * anzahl-dokumente * anzahl-wörter-in-diesem-Dokument * ||| **tf** = 1./2. | * anzahl-dokumente * anzahl-wörter-in-diesem-Dokument * ||| **tf** = 1./2. | ||
| - | * anzahl verschiedener Wörter * ||| **idf** = log(3./4.) | + | * anzahl verschiedener Wörter * ||| **idf** = ln(3./4.) |
| + | * tfidf-Wert = tf*idf | ||
| Zeile 120: | Zeile 122: | ||
| -> alle vektoren werden normalisiert und mit dem Neuen verglichen indem der Abstand gemessen wird(oder k-nearest neighbour, oder eine andere Art der Klassifikation) | -> alle vektoren werden normalisiert und mit dem Neuen verglichen indem der Abstand gemessen wird(oder k-nearest neighbour, oder eine andere Art der Klassifikation) | ||
| + | |||
| + | |||
| + | Wörterbuch, alle Autoren + dazugehörige Texte: Schnitt vs. Vereinigung (Schnitt: alle Wörter aus dieser Liste sind garantiert in jedem Text, aber seltenere Wörter fallen weg; Vereinigung: alle Wörter die in allen Texten auch nur einmal vorkommen --> Gewichtung häufigere Wörter, mittelhäufige Wörter, seltene Wörter? | ||
| + | |||
| + | ---- | ||
| + | **27.06.2019** | ||
| + | Jojo, Anja, Leon | ||
| + | |||
| + | |||
| + | Stemmer: zu jedem Wort den "Wortstamm" finden Bsp: kategorisch zu kategor, für Deutsch Snowball http://snowball.tartarus.org/algorithms/german/stemmer.html | ||
| + | |||
| + | Lemmatizer: zu jedem Wort den Infinitiv finden Bsp: Kategorien zu Kategorie, für Deutsch germalemma https://github.com/WZBSocialScienceCenter/germalemma | ||
| + | |||
| + | -> kürzere Wortliste, aber signifikante Verwendung von Genitiv o.Ä. fällt weg, Stemmer u. Lemmatizer sind nicht perfekt | ||
ss19/laborbuch.1561038647.txt.gz · Zuletzt geändert: 2019/06/20 15:50 von jojoDouglas7
Seiten-Werkzeuge
