NICFRU commited on
Commit
89a9a15
·
verified ·
1 Parent(s): 5795863

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +63 -20
README.md CHANGED
@@ -1,31 +1,74 @@
1
- # nc_ner_bert_model
2
 
3
- This model is a fine-tuned version of bert-base-german-cased on the german-ler dataset.
4
- It achieves the following results on the evaluation set:
5
 
6
- Loss: 0.010967588983476162
7
- F1: 0.974421209858103
8
- Precision: 0.9677359540144632
9
- Recall: 0.9811994735852604
10
 
11
- ## Model description
12
- More information needed
 
 
13
 
14
- ## Intended uses & limitations
15
- More information needed
16
 
17
- ## Training and evaluation data
18
- More information needed
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
19
 
20
- ## Training procedure
21
 
22
- ### Training hyperparameters
23
- The following hyperparameters were used during training:
24
 
25
- - learning_rate: 2.2349781891934193e-05
26
- - train_batch_size: (32,)
27
- - eval_batch_size: (32,)
28
- - num_epochs: 7
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
29
 
30
  ### Training results
31
 
 
1
+ # nc_ner_bert_model_german_hyperparameter
2
 
3
+ Dieses Modell ist eine feinjustierte Variante von `bert-base-german-cased` und wurde auf dem `german-ler`-Datensatz mit **feingranularen juristischen Entitäten** trainiert.
4
+ Es unterscheidet 19 spezifische Klassen wie z. B. Gerichte, Gesetze, Institutionen, Marken oder Literaturverweise und eignet sich zur präzisen juristischen Informationsextraktion.
5
 
6
+ ## Evaluationsergebnisse
 
 
 
7
 
8
+ - **F1-Score (micro avg)**: 0.9744
9
+ - **Precision (micro avg)**: 0.9677
10
+ - **Recall (micro avg)**: 0.9812
11
+ - **Loss**: 0.010967588983476162
12
 
13
+ ### Klassenweise Metriken (fine level)
 
14
 
15
+ | Klasse | Bedeutung | Coarse | Coarse Bedeutung | Precision | Recall | F1-Score | Support |
16
+ |--------|---------------|--------|-----------------------|-----------|---------|----------|---------|
17
+ | PER | Person | PER | Person | 0.9195 | 0.9249 | 0.9222 | 173 |
18
+ | RR | Judge | PER | Person | 1.0000 | 1.0000 | 1.0000 | 142 |
19
+ | AN | Lawyer | PER | Person | 1.0000 | 1.0000 | 1.0000 | 6 |
20
+ | LD | Country | LOC | Location | 0.9854 | 0.9060 | 0.9441 | 149 |
21
+ | ST | City | LOC | Location | 0.9016 | 0.8594 | 0.8800 | 64 |
22
+ | STR | Street | LOC | Location | 0.8667 | 0.8667 | 0.8667 | 15 |
23
+ | LDS | Landscape | LOC | Location | 0.6000 | 0.9545 | 0.7368 | 22 |
24
+ | ORG | Organization | ORG | Organization | 0.9224 | 0.9469 | 0.9345 | 113 |
25
+ | UN | Company | ORG | Organization | 0.9813 | 0.9722 | 0.9767 | 108 |
26
+ | INN | Institution | ORG | Organization | 0.9351 | 0.9730 | 0.9536 | 222 |
27
+ | GRT | Court | ORG | Organization | 0.9969 | 0.9938 | 0.9953 | 321 |
28
+ | MRK | Brand | ORG | Organization | 0.9412 | 1.0000 | 0.9697 | 32 |
29
+ | GS | Law | NRM | Legal norm | 0.9821 | 0.9934 | 0.9877 | 1818 |
30
+ | VO | Ordinance | NRM | Legal norm | 0.9254 | 0.8732 | 0.8986 | 71 |
31
+ | EUN | EU legal norm | NRM | Legal norm | 0.9481 | 0.9733 | 0.9605 | 150 |
32
+ | VS | Regulation | REG | Case-by-c. regul. | 0.7176 | 0.9531 | 0.8188 | 64 |
33
+ | VT | Contract | REG | Case-by-c. regul. | 0.9599 | 0.9897 | 0.9745 | 290 |
34
+ | RS | Court dec. | RS | Court decision | 0.9896 | 0.9920 | 0.9908 | 1245 |
35
+ | LIT | Legal lit. | LIT | Legal literature | 0.9628 | 0.9904 | 0.9765 | 314 |
36
 
37
+ ### Durchschnittswerte:
38
 
39
+ - **Macro avg (F1)**: 0.9362
40
+ - **Weighted avg (F1)**: 0.9749
41
 
42
+ ---
43
+
44
+ ## Hinweis zur Metrikwahl
45
+
46
+ Für die Gesamteinschätzung wird der **micro-average F1-Score** herangezogen, da hier **alle Vorhersagen gleich gewichtet** werden – unabhängig von der Klassengröße. Dies ist bei sequenzbasierten NER-Aufgaben sinnvoll, da jede Token-Entscheidung den gleichen Einfluss auf die Gesamtleistung hat.
47
+
48
+ ### Überblick über die Metriktypen:
49
+
50
+ - **Micro average**: Gesamtanzahl aller True Positives, False Positives und False Negatives → *alle Klassenbeiträge gleich gewichtet*
51
+ - **Macro average**: Durchschnitt der Metriken über alle Klassen → *alle Klassen gleich wichtig*, unabhängig vom Support
52
+ - **Weighted average**: Durchschnitt über alle Klassen, *gewichtet nach Klassengröße* → häufige Klassen haben mehr Einfluss
53
+
54
+ ---
55
+
56
+ ## Trainingskonfiguration
57
+
58
+ - **Modell**: `bert-base-german-cased`
59
+ - **Datensatz**: `german-ler` (BIO-annotiert)
60
+ - **Trainingsepochen**: 7
61
+ - **Batchgröße**: 32
62
+ - **Lernrate**: 2.235e-5
63
+ - **Weight Decay**: 0.0881
64
+ - **Evaluation alle**: 200 Schritte
65
+ - **Selektion nach**: F1-Score (bestes Modell gespeichert)
66
+
67
+ ---
68
+
69
+ ## Nutzung
70
+
71
+ Das Modell eignet sich für juristische NER-Anwendungen, bei denen eine präzise und differenzierte Extraktion juristisch relevanter Entitäten aus deutschsprachigen Rechtstexten erforderlich ist – z. B. in der Schriftsatzanalyse, Vertragsprüfung oder beim Aufbau juristischer Wissensdatenbanken.
72
 
73
  ### Training results
74