Update README.md

README.md

@@ -30,13 +30,16 @@ Es benutzt dabei ein regelbasiertes Modell (basierend auf patterns, siehe [spacy
 ### Taxonomie und Patterns
 
 Basis für das Modell sind Patterns die für das Modell händisch generiert wurden. Die Taxonomie „Keywords Frauenerwerbstätigkeit“ umfasst Konzepte, die Angebote und Anforderungen an Arbeitnehmer:innen in Stellenausschreibungen beschreiben.
-Sie hat drei Ebenen, wobei die letzte Ebene zur Klassifizierung verwendet wird. Die erste Ebene umfasst 'Anforderungen an BewerberIn', 'Angebote an BewerberIn' und 'Weitere Konzepte'.
-Auf der zweiten Ebene werden die Angebote und Anforderungen weiter beschrieben, z.B. familienfreundliche Konzepte vs. Konzepte zur zeitlichen Unabhängigkeit. Die Klassifikation wird auf der untersten Ebene durchgeführt. Die Konzepte sind unterschiedlich oft vertreten. Es gibt insgesamt 16 Konzepte auf der untersten Ebene.
+Sie hat drei Ebenen, wobei die letzte Ebene zur Klassifizierung verwendet wird. 
+Die erste Ebene umfasst 'Anforderungen an BewerberIn', 'Angebote an BewerberIn' und 'Weitere Konzepte'.
+Auf der zweiten Ebene werden die Angebote und Anforderungen weiter beschrieben, z.B. familienfreundliche Konzepte vs. Konzepte zur zeitlichen Unabhängigkeit. 
+Die Klassifikation wird auf der untersten Ebene durchgeführt. 
+Die Konzepte sind unterschiedlich oft vertreten. Es gibt insgesamt 16 (*12) Konzepte auf der untersten Ebene.
 
 - Anforderungen an Bewerber:innen
 
   - Anforderungen an Arbeitsort
-    - Präsenzpflicht
+    - Präsenzpflicht*
     - Räumliche Flexibilität
   - Zeitliche
     - Zeitliche Flexibilität
@@ -47,7 +50,7 @@ Auf der zweiten Ebene werden die Angebote und Anforderungen weiter beschrieben,
 - Angebote an Bewerber:innen
   - Zeitsouveränität
     - Planbarkeit und Verlässlichkeit
-    - Flexible und gestaltbare Dienstpläne und Schichtmodelle
+    - Flexible und gestaltbare Dienstpläne und Schichtmodelle*
     - flexible und gestaltbare Arbeitszeiten
     - Wahl des Arbeitszeitumfangs
     - Job-Sharing
@@ -55,9 +58,11 @@ Auf der zweiten Ebene werden die Angebote und Anforderungen weiter beschrieben,
     - Vereinbarkeit
     - Unterstützung bei der Kinderbetreuung
     - wohnortnahe Einsätze
-    - Finanzielle Unterstützung
+    - Finanzielle Unterstützung*
     - Familiäre und anlassbezogene Freistellung
-    - Unterstützung bei der Pflegeverantwortung
+    - Unterstützung bei der Pflegeverantwortung*
+
+  *nachträglich entfernt
 
 ## Klassifikations-Prozess
 
@@ -65,7 +70,9 @@ Die Stellenausschreibungen wurden anhand von erstellten spacy-patterns nach ihre
 
 ## Benutzung des Modells
 
-Das Modell kann auf Texten angewendet werden die Stellenausschreibungen enthalten oder einen ähnlichen Inhalt wie Stellenausschreibungen enthalten. Das Modell gibt für jedes gefundene Konzept die Posting id (die id der Stellenausschreibung) und das gefundene Konzept zurück. Es kann daher mehrere Zeilen für ein Posting (eine Stellenausschreibung) geben.
+Das Modell kann auf Texten angewendet werden die Stellenausschreibungen enthalten oder einen ähnlichen Inhalt wie Stellenausschreibungen enthalten. 
+Das Modell gibt für jedes gefundene Konzept die Posting id (die id der Stellenausschreibung) und das gefundene Konzept zurück. 
+Es kann daher mehrere Zeilen für ein Posting (eine Stellenausschreibung) geben.
 
 Um die Pipeline effizienter laufen zu lassen wurden ungebrauchte Elemente disabled. Es wurde zudem ein Qualitäts-check für 2.000 Stellen durchgeführt um dies zu testen.
 
@@ -124,6 +131,7 @@ Disagreements bei der Annotation wurden folgenderweise aufgelöst: Von ursprüng
 ## Evaluation
 
 Das Modell wird mit folgenden Metriken evaluiert: Precision, Recall und F1-Score. In einem Dokument können mehrere Konzepte auftauchen oder kein Konzept.
+Die Evaluation wurde auch 
 
 ### Testdaten (Goldstandard)
 
@@ -132,6 +140,9 @@ Das Modell wird mit folgenden Metriken evaluiert: Precision, Recall und F1-Score
 | Klassifikation (Micro)  | 624 |      0,94 |  0,689 | 0,796 |
 | Klassifikaation (Macro) | 624 |       0,8 |   0,54 |  0,62 |
 
+
+
+
 |                                | Konzept                                                 |   N |    p |    r |
 | :----------------------------- | :------------------------------------------------------ | --: | ---: | ---: |
 | Angebote an Bewerber:innen     | Familiäre und anlassbezogene Freistellung               |   8 |  1,0 | 0,88 |
@@ -150,3 +161,17 @@ Das Modell wird mit folgenden Metriken evaluiert: Precision, Recall und F1-Score
 |                                | Zeitliche Flexibilität                                  |  31 |  1,0 | 0,32 |
 |                                | Schichtdienst                                           |  83 | 0,98 | 0,76 |
 |                                | Flexibilität (SK)                                       |  82 | 0,85 | 0,83 |
+
+
+Das Modell wurde nachträglich nochmal angepasst und folgende Konzepte entfernt: 
+- Präsenzpflicht
+- Unterstützung bei der Pflegeverantwortung
+- Finanzielle Unterstützung
+- Flexible und gestaltbare Dienstpl��ne und Schichtmodelle
+
+Dadurch ergibt sich folgende aktualisierte Evaluation: 
+
+| Task                    |   N | Precision | Recall |    F1 |
+| :---------------------- | --: | --------: | -----: | ----: |
+| Klassifikation (Micro)  | 624 |      0,94 |  0,7 | 0,81 |
+| Klassifikaation (Macro) | 624 |       0,96 |   0,67 |  0,76 |