README.md

# nc_ner_bert_model_german_hyperparameter_grob


Dieses Modell ist eine feinjustierte Variante von `bert-base-german-cased` und wurde auf dem `german-ler`-Datensatz mit **zusammengefassten (coarse) juristischen Entitäten** trainiert.  
Die ursprünglichen 19 Labels wurden auf 7 Oberkategorien reduziert, um eine robuste, generalisierbare NER-Leistung im juristischen Kontext zu ermöglichen.

## Evaluationsergebnisse

- **F1-Score (micro avg)**: 0.9752  
- **Precision (micro avg)**: 0.9713  
- **Recall (micro avg)**: 0.9791  
- **Loss**: 0.0089  

### Klassenweise Metriken (coarse level)

| Klasse | Bedeutung           | Precision | Recall  | F1-Score | Support |
|--------|---------------------|-----------|---------|----------|---------|
| PER    | Person              | 0.9591    | 0.9502  | 0.9546   | 321     |
| ORG    | Organization        | 0.9746    | 0.9648  | 0.9697   | 796     |
| RS     | Court decision      | 0.9832    | 0.9896  | 0.9864   | 1245    |
| LIT    | Legal literature    | 0.9565    | 0.9809  | 0.9686   | 314     |
| LOC    | Location            | 0.9480    | 0.9480  | 0.9480   | 250     |
| NRM    | Legal norm          | 0.9815    | 0.9872  | 0.9844   | 2039    |
| REG    | Case-by-c. regul.   | 0.9079    | 0.9746  | 0.9401   | 354     |

### Durchschnittswerte:

- **Macro avg (F1)**: 0.9645  
- **Weighted avg (F1)**: 0.9753  


## Zusammengeführte Entitäten

- **Personen**: `PER`, `RR`, `AN` → **PER**  
- **Orte**: `LD`, `ST`, `STR`, `LDS` → **LOC**  
- **Organisationen**: `ORG`, `UN`, `INN`, `GRT`, `MRK` → **ORG**  
- **Rechtsnormen**: `GS`, `VO`, `EUN` → **NRM**  
- **Regelwerke & Verträge**: `VS`, `VT` → **REG**  
- **Gerichtsentscheidungen**: `RS`  
- **Literatur**: `LIT`  

## Trainingskonfiguration

- **Modell**: `bert-base-german-cased`  
- **Datensatz**: `german-ler` (BIO-annotiert)  
- **Trainingsepochen**: 7 
- **Batchgröße**: 16  
- **Lernrate**: 4.52e-5
- **Weight Decay**: 0.07979 
- **Evaluation alle**: 200 Schritte  
- **Selektion nach**: F1-Score (bestes Modell gespeichert)

## Nutzung

Das Modell eignet sich für juristische NER-Anwendungen, bei denen eine robuste Extraktion relevanter Entitäten aus deutschsprachigen Rechtstexten erforderlich ist – z. B. in Schriftsatzanalyse, Vertragsprüfung oder juristischem Wissensmanagement.

### Training results

| loss | epoch | step | eval_loss | eval_f1 | eval_precision | eval_recall |
| --- | --- | --- | --- | --- | --- | --- |
| 0.4063 | 0.014983518130056937 | 50 | nan | nan | nan | nan |
| 0.1366 | 0.029967036260113874 | 100 | nan | nan | nan | nan |
| 0.0966 | 0.04495055439017081 | 150 | nan | nan | nan | nan |
| 0.0859 | 0.05993407252022775 | 200 | nan | nan | nan | nan |
| nan | 0.05993407252022775 | 200 | 0.05639463663101196 | 0.7438773602542531 | 0.7023830538393645 | 0.7905821577587919 |
| 0.0855 | 0.0749175906502847 | 250 | nan | nan | nan | nan |
| 0.0514 | 0.08990110878034162 | 300 | nan | nan | nan | nan |
| 0.0642 | 0.10488462691039856 | 350 | nan | nan | nan | nan |
| 0.0419 | 0.1198681450404555 | 400 | nan | nan | nan | nan |
| nan | 0.1198681450404555 | 400 | 0.05025215819478035 | 0.7935222672064778 | 0.7541159627773801 | 0.8372739916550765 |
| 0.0637 | 0.13485166317051245 | 450 | nan | nan | nan | nan |
| 0.0468 | 0.1498351813005694 | 500 | nan | nan | nan | nan |
| 0.0427 | 0.1648186994306263 | 550 | nan | nan | nan | nan |
| 0.0383 | 0.17980221756068324 | 600 | nan | nan | nan | nan |
| nan | 0.17980221756068324 | 600 | 0.03957425430417061 | 0.8465648854961833 | 0.8143932439875161 | 0.8813828730379495 |
| 0.0405 | 0.19478573569074017 | 650 | nan | nan | nan | nan |
| 0.0384 | 0.2097692538207971 | 700 | nan | nan | nan | nan |
| 0.0386 | 0.22475277195085405 | 750 | nan | nan | nan | nan |
| 0.027 | 0.239736290080911 | 800 | nan | nan | nan | nan |
| nan | 0.239736290080911 | 800 | 0.04294569045305252 | 0.8448932926829268 | 0.8116419549697969 | 0.880985495728194 |
| 0.0446 | 0.25471980821096796 | 850 | nan | nan | nan | nan |
| 0.0261 | 0.2697033263410249 | 900 | nan | nan | nan | nan |
| 0.0393 | 0.28468684447108183 | 950 | nan | nan | nan | nan |
| 0.0302 | 0.2996703626011388 | 1000 | nan | nan | nan | nan |
| nan | 0.2996703626011388 | 1000 | 0.03653867170214653 | 0.8633943266531126 | 0.8419561933534743 | 0.885952712100139 |
| 0.047 | 0.3146538807311957 | 1050 | nan | nan | nan | nan |
| 0.0516 | 0.3296373988612526 | 1100 | nan | nan | nan | nan |
| 0.0317 | 0.34462091699130953 | 1150 | nan | nan | nan | nan |
| 0.0244 | 0.3596044351213665 | 1200 | nan | nan | nan | nan |
| nan | 0.3596044351213665 | 1200 | 0.037274815142154694 | 0.8714257926473449 | 0.8534959039817108 | 0.8901251738525731 |
| 0.0331 | 0.3745879532514234 | 1250 | nan | nan | nan | nan |
| 0.055 | 0.38957147138148035 | 1300 | nan | nan | nan | nan |
| 0.0256 | 0.4045549895115373 | 1350 | nan | nan | nan | nan |
| 0.036 | 0.4195385076415942 | 1400 | nan | nan | nan | nan |
| nan | 0.4195385076415942 | 1400 | 0.031919848173856735 | 0.8862018527547538 | 0.8701646878590579 | 0.9028412477647526 |
| 0.0221 | 0.43452202577165117 | 1450 | nan | nan | nan | nan |
| 0.0288 | 0.4495055439017081 | 1500 | nan | nan | nan | nan |
| 0.0278 | 0.46448906203176504 | 1550 | nan | nan | nan | nan |
| 0.0352 | 0.479472580161822 | 1600 | nan | nan | nan | nan |
| nan | 0.479472580161822 | 1600 | 0.03187808394432068 | 0.874652344873885 | 0.8453837597330367 | 0.9060202662427975 |
| 0.0288 | 0.4944560982918789 | 1650 | nan | nan | nan | nan |
| 0.0343 | 0.5094396164219359 | 1700 | nan | nan | nan | nan |
| 0.0306 | 0.5244231345519929 | 1750 | nan | nan | nan | nan |
| 0.0266 | 0.5394066526820498 | 1800 | nan | nan | nan | nan |
| nan | 0.5394066526820498 | 1800 | 0.03291184455156326 | 0.8963775857045742 | 0.876709726443769 | 0.9169481422610769 |
| 0.0464 | 0.5543901708121067 | 1850 | nan | nan | nan | nan |
| 0.0309 | 0.5693736889421637 | 1900 | nan | nan | nan | nan |
| 0.0299 | 0.5843572070722206 | 1950 | nan | nan | nan | nan |
| 0.0355 | 0.5993407252022775 | 2000 | nan | nan | nan | nan |
| nan | 0.5993407252022775 | 2000 | 0.02871769107878208 | 0.8931661320112764 | 0.8743814236771983 | 0.912775680508643 |
| 0.026 | 0.6143242433323345 | 2050 | nan | nan | nan | nan |
| 0.0431 | 0.6293077614623914 | 2100 | nan | nan | nan | nan |
| 0.0191 | 0.6442912795924483 | 2150 | nan | nan | nan | nan |
| 0.0159 | 0.6592747977225052 | 2200 | nan | nan | nan | nan |
| nan | 0.6592747977225052 | 2200 | 0.027822772040963173 | 0.900986269580352 | 0.8775663966848748 | 0.9256904430757004 |
| 0.0321 | 0.6742583158525621 | 2250 | nan | nan | nan | nan |
| 0.0263 | 0.6892418339826191 | 2300 | nan | nan | nan | nan |
| 0.0319 | 0.704225352112676 | 2350 | nan | nan | nan | nan |
| 0.0296 | 0.719208870242733 | 2400 | nan | nan | nan | nan |
| nan | 0.719208870242733 | 2400 | 0.027403628453612328 | 0.9022149144017797 | 0.8790049001130795 | 0.9266838863500894 |
| 0.0275 | 0.7341923883727899 | 2450 | nan | nan | nan | nan |
| 0.0437 | 0.7491759065028468 | 2500 | nan | nan | nan | nan |
| 0.0175 | 0.7641594246329038 | 2550 | nan | nan | nan | nan |
| 0.0224 | 0.7791429427629607 | 2600 | nan | nan | nan | nan |
| nan | 0.7791429427629607 | 2600 | 0.02818533033132553 | 0.8981051817478732 | 0.8745998870269253 | 0.9229088019074111 |
| 0.0307 | 0.7941264608930176 | 2650 | nan | nan | nan | nan |
| 0.0492 | 0.8091099790230746 | 2700 | nan | nan | nan | nan |
| 0.025 | 0.8240934971531315 | 2750 | nan | nan | nan | nan |
| 0.0318 | 0.8390770152831885 | 2800 | nan | nan | nan | nan |
| nan | 0.8390770152831885 | 2800 | 0.02978670783340931 | 0.908259558322794 | 0.8898208158597026 | 0.9274786409696006 |
| 0.0376 | 0.8540605334132454 | 2850 | nan | nan | nan | nan |
| 0.0304 | 0.8690440515433023 | 2900 | nan | nan | nan | nan |
| 0.034 | 0.8840275696733593 | 2950 | nan | nan | nan | nan |
| 0.0292 | 0.8990110878034162 | 3000 | nan | nan | nan | nan |
| nan | 0.8990110878034162 | 3000 | 0.02356911264359951 | 0.9082069233761181 | 0.8893544086840601 | 0.9278760182793563 |
| 0.027 | 0.9139946059334731 | 3050 | nan | nan | nan | nan |
| 0.0248 | 0.9289781240635301 | 3100 | nan | nan | nan | nan |
| 0.0308 | 0.943961642193587 | 3150 | nan | nan | nan | nan |
| 0.0186 | 0.958945160323644 | 3200 | nan | nan | nan | nan |
| nan | 0.958945160323644 | 3200 | 0.03143894299864769 | 0.9060644407670593 | 0.8881679389312978 | 0.9246969998013114 |
| 0.0286 | 0.9739286784537009 | 3250 | nan | nan | nan | nan |
| 0.0201 | 0.9889121965837578 | 3300 | nan | nan | nan | nan |
| 0.0203 | 1.0038957147138148 | 3350 | nan | nan | nan | nan |
| 0.0204 | 1.0188792328438718 | 3400 | nan | nan | nan | nan |
| nan | 1.0188792328438718 | 3400 | 0.026716439053416252 | 0.9212799371809973 | 0.9103782735208535 | 0.9324458573415458 |
| 0.0174 | 1.0338627509739287 | 3450 | nan | nan | nan | nan |
| 0.0137 | 1.0488462691039857 | 3500 | nan | nan | nan | nan |
| 0.0143 | 1.0638297872340425 | 3550 | nan | nan | nan | nan |
| 0.011 | 1.0788133053640996 | 3600 | nan | nan | nan | nan |
| nan | 1.0788133053640996 | 3600 | 0.026039360091090202 | 0.9262007028504491 | 0.9103818844751487 | 0.9425789787403139 |
| 0.012 | 1.0937968234941564 | 3650 | nan | nan | nan | nan |
| 0.0063 | 1.1087803416242135 | 3700 | nan | nan | nan | nan |
| 0.0146 | 1.1237638597542703 | 3750 | nan | nan | nan | nan |
| 0.0073 | 1.1387473778843273 | 3800 | nan | nan | nan | nan |
| nan | 1.1387473778843273 | 3800 | 0.026768311858177185 | 0.9269343780607249 | 0.9140428819779796 | 0.9401947148817803 |
| 0.0166 | 1.1537308960143842 | 3850 | nan | nan | nan | nan |
| 0.0077 | 1.168714414144441 | 3900 | nan | nan | nan | nan |
| 0.0134 | 1.183697932274498 | 3950 | nan | nan | nan | nan |
| 0.0143 | 1.198681450404555 | 4000 | nan | nan | nan | nan |
| nan | 1.198681450404555 | 4000 | 0.026293423026800156 | 0.9234673955486139 | 0.9076952600268663 | 0.9397973375720247 |
| 0.0079 | 1.213664968534612 | 4050 | nan | nan | nan | nan |
| 0.0142 | 1.2286484866646687 | 4100 | nan | nan | nan | nan |
| 0.0151 | 1.2436320047947258 | 4150 | nan | nan | nan | nan |
| 0.0072 | 1.2586155229247828 | 4200 | nan | nan | nan | nan |
| nan | 1.2586155229247828 | 4200 | 0.022869763895869255 | 0.927762592737212 | 0.9119170984455959 | 0.9441684879793364 |
| 0.0168 | 1.2735990410548397 | 4250 | nan | nan | nan | nan |
| 0.008 | 1.2885825591848965 | 4300 | nan | nan | nan | nan |
| 0.0157 | 1.3035660773149536 | 4350 | nan | nan | nan | nan |
| 0.0104 | 1.3185495954450106 | 4400 | nan | nan | nan | nan |
| nan | 1.3185495954450106 | 4400 | 0.026433102786540985 | 0.9236172080772608 | 0.907244154848601 | 0.9405920921915358 |
| 0.0148 | 1.3335331135750674 | 4450 | nan | nan | nan | nan |
| 0.0078 | 1.3485166317051243 | 4500 | nan | nan | nan | nan |
| 0.0232 | 1.3635001498351813 | 4550 | nan | nan | nan | nan |
| 0.0149 | 1.3784836679652384 | 4600 | nan | nan | nan | nan |
| nan | 1.3784836679652384 | 4600 | 0.023272017017006874 | 0.9301546645650673 | 0.9224306369675654 | 0.9380091396781244 |
| 0.0107 | 1.3934671860952952 | 4650 | nan | nan | nan | nan |
| 0.0146 | 1.408450704225352 | 4700 | nan | nan | nan | nan |
| 0.0159 | 1.423434222355409 | 4750 | nan | nan | nan | nan |
| 0.0097 | 1.4384177404854661 | 4800 | nan | nan | nan | nan |
| nan | 1.4384177404854661 | 4800 | 0.024220138788223267 | 0.9323500491642084 | 0.9229122055674518 | 0.9419829127756805 |
| 0.0128 | 1.453401258615523 | 4850 | nan | nan | nan | nan |
| 0.0109 | 1.4683847767455798 | 4900 | nan | nan | nan | nan |
| 0.0124 | 1.4833682948756368 | 4950 | nan | nan | nan | nan |
| 0.0158 | 1.4983518130056939 | 5000 | nan | nan | nan | nan |
| nan | 1.4983518130056939 | 5000 | 0.02581303007900715 | 0.925808997632202 | 0.9194591416813639 | 0.932247168686668 |
| 0.0097 | 1.5133353311357507 | 5050 | nan | nan | nan | nan |
| 0.0147 | 1.5283188492658075 | 5100 | nan | nan | nan | nan |
| 0.0091 | 1.5433023673958646 | 5150 | nan | nan | nan | nan |
| 0.0114 | 1.5582858855259216 | 5200 | nan | nan | nan | nan |
| nan | 1.5582858855259216 | 5200 | 0.02585756778717041 | 0.9330317632018882 | 0.9236760124610592 | 0.9425789787403139 |
| 0.0076 | 1.5732694036559784 | 5250 | nan | nan | nan | nan |
| 0.016 | 1.5882529217860353 | 5300 | nan | nan | nan | nan |
| 0.0158 | 1.6032364399160923 | 5350 | nan | nan | nan | nan |
| 0.0094 | 1.6182199580461494 | 5400 | nan | nan | nan | nan |
| nan | 1.6182199580461494 | 5400 | 0.023815494030714035 | 0.9311494703805414 | 0.9194266899089677 | 0.9431750447049474 |
| 0.0165 | 1.6332034761762062 | 5450 | nan | nan | nan | nan |
| 0.0151 | 1.648186994306263 | 5500 | nan | nan | nan | nan |
| 0.0099 | 1.66317051243632 | 5550 | nan | nan | nan | nan |
| 0.0118 | 1.6781540305663771 | 5600 | nan | nan | nan | nan |
| nan | 1.6781540305663771 | 5600 | 0.025455761700868607 | 0.9255891268211597 | 0.9112437427801309 | 0.940393403536658 |
| 0.0147 | 1.693137548696434 | 5650 | nan | nan | nan | nan |
| 0.01 | 1.7081210668264908 | 5700 | nan | nan | nan | nan |
| 0.0134 | 1.7231045849565478 | 5750 | nan | nan | nan | nan |
| 0.0117 | 1.7380881030866049 | 5800 | nan | nan | nan | nan |
| nan | 1.7380881030866049 | 5800 | 0.025739017874002457 | 0.9326923076923077 | 0.921302578018996 | 0.9443671766342142 |
| 0.0106 | 1.7530716212166617 | 5850 | nan | nan | nan | nan |
| 0.0108 | 1.7680551393467185 | 5900 | nan | nan | nan | nan |
| 0.0119 | 1.7830386574767756 | 5950 | nan | nan | nan | nan |
| 0.0128 | 1.7980221756068326 | 6000 | nan | nan | nan | nan |
| nan | 1.7980221756068326 | 6000 | 0.022907910868525505 | 0.9350853108452639 | 0.9231364956437561 | 0.9473475064573813 |
| 0.0137 | 1.8130056937368895 | 6050 | nan | nan | nan | nan |
| 0.0057 | 1.8279892118669463 | 6100 | nan | nan | nan | nan |
| 0.0134 | 1.8429727299970033 | 6150 | nan | nan | nan | nan |
| 0.0195 | 1.8579562481270604 | 6200 | nan | nan | nan | nan |
| nan | 1.8579562481270604 | 6200 | 0.021708277985453606 | 0.9328102010789604 | 0.921154591243704 | 0.9447645539439699 |
| 0.0103 | 1.8729397662571172 | 6250 | nan | nan | nan | nan |
| 0.0074 | 1.887923284387174 | 6300 | nan | nan | nan | nan |
| 0.0099 | 1.902906802517231 | 6350 | nan | nan | nan | nan |
| 0.0132 | 1.9178903206472881 | 6400 | nan | nan | nan | nan |
| nan | 1.9178903206472881 | 6400 | 0.021034732460975647 | 0.9261692322776743 | 0.9142469996128533 | 0.93840651698788 |
| 0.0229 | 1.9328738387773448 | 6450 | nan | nan | nan | nan |
| 0.0078 | 1.9478573569074018 | 6500 | nan | nan | nan | nan |
| 0.0227 | 1.9628408750374589 | 6550 | nan | nan | nan | nan |
| 0.0175 | 1.9778243931675157 | 6600 | nan | nan | nan | nan |
| nan | 1.9778243931675157 | 6600 | 0.022081028670072556 | 0.9303326810176125 | 0.9165220744168112 | 0.944565865289092 |
| 0.009 | 1.9928079112975725 | 6650 | nan | nan | nan | nan |
| 0.0109 | 2.0077914294276296 | 6700 | nan | nan | nan | nan |
| 0.0059 | 2.0227749475576866 | 6750 | nan | nan | nan | nan |
| 0.0049 | 2.0377584656877437 | 6800 | nan | nan | nan | nan |
| nan | 2.0377584656877437 | 6800 | 0.021669084206223488 | 0.9349911885647152 | 0.9216367496622274 | 0.9487383270415259 |
| 0.0052 | 2.0527419838178003 | 6850 | nan | nan | nan | nan |
| 0.0065 | 2.0677255019478573 | 6900 | nan | nan | nan | nan |
| 0.0069 | 2.0827090200779144 | 6950 | nan | nan | nan | nan |
| 0.005 | 2.0976925382079714 | 7000 | nan | nan | nan | nan |
| nan | 2.0976925382079714 | 7000 | 0.022214259952306747 | 0.9376715013720109 | 0.9251595436085863 | 0.9505265249354262 |
| 0.0042 | 2.112676056338028 | 7050 | nan | nan | nan | nan |
| 0.0049 | 2.127659574468085 | 7100 | nan | nan | nan | nan |
| 0.0037 | 2.142643092598142 | 7150 | nan | nan | nan | nan |
| 0.0071 | 2.157626610728199 | 7200 | nan | nan | nan | nan |
| nan | 2.157626610728199 | 7200 | 0.026166269555687904 | 0.9280125195618154 | 0.9138894240030823 | 0.9425789787403139 |
| 0.0053 | 2.1726101288582558 | 7250 | nan | nan | nan | nan |
| 0.0045 | 2.187593646988313 | 7300 | nan | nan | nan | nan |
| 0.0155 | 2.20257716511837 | 7350 | nan | nan | nan | nan |
| 0.0074 | 2.217560683248427 | 7400 | nan | nan | nan | nan |
| nan | 2.217560683248427 | 7400 | 0.021905312314629555 | 0.9436564223798266 | 0.9357296346942763 | 0.951718656864693 |
| 0.005 | 2.2325442013784835 | 7450 | nan | nan | nan | nan |
| 0.0058 | 2.2475277195085406 | 7500 | nan | nan | nan | nan |
| 0.0081 | 2.2625112376385976 | 7550 | nan | nan | nan | nan |
| 0.0066 | 2.2774947557686547 | 7600 | nan | nan | nan | nan |
| nan | 2.2774947557686547 | 7600 | 0.022088130936026573 | 0.936919315403423 | 0.922573189522342 | 0.951718656864693 |
| 0.0056 | 2.2924782738987113 | 7650 | nan | nan | nan | nan |
| 0.0064 | 2.3074617920287683 | 7700 | nan | nan | nan | nan |
| 0.0072 | 2.3224453101588254 | 7750 | nan | nan | nan | nan |
| 0.0037 | 2.337428828288882 | 7800 | nan | nan | nan | nan |
| nan | 2.337428828288882 | 7800 | 0.02511708438396454 | 0.936448963629253 | 0.9218479307025986 | 0.9515199682098152 |
| 0.0078 | 2.352412346418939 | 7850 | nan | nan | nan | nan |
| 0.0062 | 2.367395864548996 | 7900 | nan | nan | nan | nan |
| 0.0032 | 2.382379382679053 | 7950 | nan | nan | nan | nan |
| 0.0058 | 2.39736290080911 | 8000 | nan | nan | nan | nan |
| nan | 2.39736290080911 | 8000 | 0.023680999875068665 | 0.9357437610532522 | 0.92555879494655 | 0.9461553745281145 |
| 0.0054 | 2.412346418939167 | 8050 | nan | nan | nan | nan |
| 0.0041 | 2.427329937069224 | 8100 | nan | nan | nan | nan |
| 0.0097 | 2.442313455199281 | 8150 | nan | nan | nan | nan |
| 0.004 | 2.4572969733293375 | 8200 | nan | nan | nan | nan |
| nan | 2.4572969733293375 | 8200 | 0.023924177512526512 | 0.9377877926912902 | 0.9250096637031311 | 0.9509239022451818 |
| 0.0055 | 2.4722804914593945 | 8250 | nan | nan | nan | nan |
| 0.0029 | 2.4872640095894516 | 8300 | nan | nan | nan | nan |
| 0.0056 | 2.5022475277195086 | 8350 | nan | nan | nan | nan |
| 0.0116 | 2.5172310458495657 | 8400 | nan | nan | nan | nan |
| nan | 2.5172310458495657 | 8400 | 0.021601684391498566 | 0.9393077752720855 | 0.927216415021293 | 0.951718656864693 |
| 0.0092 | 2.5322145639796223 | 8450 | nan | nan | nan | nan |
| 0.0042 | 2.5471980821096794 | 8500 | nan | nan | nan | nan |
| 0.0028 | 2.5621816002397364 | 8550 | nan | nan | nan | nan |
| 0.0064 | 2.577165118369793 | 8600 | nan | nan | nan | nan |
| nan | 2.577165118369793 | 8600 | 0.023002516478300095 | 0.9376470588235294 | 0.9254886781497967 | 0.9501291476256706 |
| 0.0031 | 2.59214863649985 | 8650 | nan | nan | nan | nan |
| 0.0082 | 2.607132154629907 | 8700 | nan | nan | nan | nan |
| 0.0084 | 2.622115672759964 | 8750 | nan | nan | nan | nan |
| 0.0062 | 2.637099190890021 | 8800 | nan | nan | nan | nan |
| nan | 2.637099190890021 | 8800 | 0.021417448297142982 | 0.9408654787546504 | 0.9274271376182204 | 0.9546989866878601 |
| 0.012 | 2.652082709020078 | 8850 | nan | nan | nan | nan |
| 0.0059 | 2.667066227150135 | 8900 | nan | nan | nan | nan |
| 0.0038 | 2.682049745280192 | 8950 | nan | nan | nan | nan |
| 0.0068 | 2.6970332634102485 | 9000 | nan | nan | nan | nan |
| nan | 2.6970332634102485 | 9000 | 0.020486442372202873 | 0.9461242982369744 | 0.9380859375 | 0.9543016093781045 |
| 0.0014 | 2.7120167815403056 | 9050 | nan | nan | nan | nan |
| 0.005 | 2.7270002996703626 | 9100 | nan | nan | nan | nan |
| 0.0043 | 2.7419838178004197 | 9150 | nan | nan | nan | nan |
| 0.0058 | 2.7569673359304767 | 9200 | nan | nan | nan | nan |
| nan | 2.7569673359304767 | 9200 | 0.021796243265271187 | 0.9496756437979164 | 0.9397004473837774 | 0.9598648917146831 |
| 0.0044 | 2.7719508540605333 | 9250 | nan | nan | nan | nan |
| 0.0021 | 2.7869343721905904 | 9300 | nan | nan | nan | nan |
| 0.0059 | 2.8019178903206474 | 9350 | nan | nan | nan | nan |
| 0.0043 | 2.816901408450704 | 9400 | nan | nan | nan | nan |
| nan | 2.816901408450704 | 9400 | 0.021570958197116852 | 0.9471201100845291 | 0.9371717564676133 | 0.9572819392012716 |
| 0.0036 | 2.831884926580761 | 9450 | nan | nan | nan | nan |
| 0.0035 | 2.846868444710818 | 9500 | nan | nan | nan | nan |
| 0.0051 | 2.861851962840875 | 9550 | nan | nan | nan | nan |
| 0.006 | 2.8768354809709322 | 9600 | nan | nan | nan | nan |
| nan | 2.8768354809709322 | 9600 | 0.019946547225117683 | 0.9462895437074996 | 0.9387954634337113 | 0.9539042320683488 |
| 0.003 | 2.891818999100989 | 9650 | nan | nan | nan | nan |
| 0.0047 | 2.906802517231046 | 9700 | nan | nan | nan | nan |
| 0.0036 | 2.921786035361103 | 9750 | nan | nan | nan | nan |
| 0.0069 | 2.9367695534911595 | 9800 | nan | nan | nan | nan |
| nan | 2.9367695534911595 | 9800 | 0.020247897133231163 | 0.9494929605198384 | 0.9410616705698673 | 0.9580766938207829 |
| 0.0061 | 2.9517530716212166 | 9850 | nan | nan | nan | nan |
| 0.0064 | 2.9667365897512736 | 9900 | nan | nan | nan | nan |
| 0.0038 | 2.9817201078813307 | 9950 | nan | nan | nan | nan |
| 0.0029 | 2.9967036260113877 | 10000 | nan | nan | nan | nan |
| nan | 2.9967036260113877 | 10000 | 0.019556311890482903 | 0.9483199056789153 | 0.9379980563654033 | 0.958871448440294 |
| 0.0031 | 3.0116871441414443 | 10050 | nan | nan | nan | nan |
| 0.0037 | 3.0266706622715014 | 10100 | nan | nan | nan | nan |
| 0.0009 | 3.0416541804015584 | 10150 | nan | nan | nan | nan |
| 0.0041 | 3.056637698531615 | 10200 | nan | nan | nan | nan |
| nan | 3.056637698531615 | 10200 | 0.021297529339790344 | 0.9485714285714285 | 0.9407856165722103 | 0.9564871845817604 |
| 0.0034 | 3.071621216661672 | 10250 | nan | nan | nan | nan |
| 0.0007 | 3.086604734791729 | 10300 | nan | nan | nan | nan |
| 0.0015 | 3.101588252921786 | 10350 | nan | nan | nan | nan |
| 0.0017 | 3.116571771051843 | 10400 | nan | nan | nan | nan |
| nan | 3.116571771051843 | 10400 | 0.021746890619397163 | 0.9465919150191796 | 0.9372808726139462 | 0.9560898072720048 |
| 0.0018 | 3.1315552891819 | 10450 | nan | nan | nan | nan |
| 0.0046 | 3.146538807311957 | 10500 | nan | nan | nan | nan |
| 0.0018 | 3.161522325442014 | 10550 | nan | nan | nan | nan |
| 0.0006 | 3.1765058435720706 | 10600 | nan | nan | nan | nan |
| nan | 3.1765058435720706 | 10600 | 0.023545637726783752 | 0.9478654337989377 | 0.9386323787258913 | 0.9572819392012716 |
| 0.0014 | 3.1914893617021276 | 10650 | nan | nan | nan | nan |
| 0.003 | 3.2064728798321847 | 10700 | nan | nan | nan | nan |
| 0.0008 | 3.2214563979622417 | 10750 | nan | nan | nan | nan |
| 0.0006 | 3.2364399160922983 | 10800 | nan | nan | nan | nan |
| nan | 3.2364399160922983 | 10800 | 0.0237252376973629 | 0.9480302583750859 | 0.9376214535561601 | 0.9586727597854162 |
| 0.0013 | 3.2514234342223554 | 10850 | nan | nan | nan | nan |
| 0.0018 | 3.2664069523524124 | 10900 | nan | nan | nan | nan |
| 0.0031 | 3.2813904704824695 | 10950 | nan | nan | nan | nan |
| 0.0014 | 3.296373988612526 | 11000 | nan | nan | nan | nan |
| nan | 3.296373988612526 | 11000 | 0.022523093968629837 | 0.9478971732492858 | 0.93984375 | 0.9560898072720048 |
| 0.0036 | 3.311357506742583 | 11050 | nan | nan | nan | nan |
| 0.0022 | 3.32634102487264 | 11100 | nan | nan | nan | nan |
| 0.0018 | 3.341324543002697 | 11150 | nan | nan | nan | nan |
| 0.0007 | 3.356308061132754 | 11200 | nan | nan | nan | nan |
| nan | 3.356308061132754 | 11200 | 0.022165952250361443 | 0.9504482317013102 | 0.9425556858147714 | 0.9584740711305384 |
| 0.0013 | 3.371291579262811 | 11250 | nan | nan | nan | nan |
| 0.0012 | 3.386275097392868 | 11300 | nan | nan | nan | nan |
| 0.0008 | 3.401258615522925 | 11350 | nan | nan | nan | nan |
| 0.0018 | 3.4162421336529816 | 11400 | nan | nan | nan | nan |
| nan | 3.4162421336529816 | 11400 | 0.023653803393244743 | 0.949256084343285 | 0.9415559030492572 | 0.9570832505463938 |
| 0.0014 | 3.4312256517830386 | 11450 | nan | nan | nan | nan |
| 0.0037 | 3.4462091699130957 | 11500 | nan | nan | nan | nan |
| 0.0055 | 3.4611926880431527 | 11550 | nan | nan | nan | nan |
| 0.0031 | 3.4761762061732093 | 11600 | nan | nan | nan | nan |
| nan | 3.4761762061732093 | 11600 | 0.023312583565711975 | 0.9524561057407773 | 0.945739471106758 | 0.9592688257500497 |
| 0.0015 | 3.4911597243032664 | 11650 | nan | nan | nan | nan |
| 0.0023 | 3.5061432424333234 | 11700 | nan | nan | nan | nan |
| 0.0024 | 3.52112676056338 | 11750 | nan | nan | nan | nan |
| 0.0007 | 3.536110278693437 | 11800 | nan | nan | nan | nan |
| nan | 3.536110278693437 | 11800 | 0.024143557995557785 | 0.9536123174101855 | 0.9474406746420867 | 0.9598648917146831 |
| 0.0025 | 3.551093796823494 | 11850 | nan | nan | nan | nan |
| 0.0023 | 3.566077314953551 | 11900 | nan | nan | nan | nan |
| 0.0013 | 3.5810608330836082 | 11950 | nan | nan | nan | nan |
| 0.0013 | 3.596044351213665 | 12000 | nan | nan | nan | nan |
| nan | 3.596044351213665 | 12000 | 0.02332986518740654 | 0.9513204572329523 | 0.9436950146627566 | 0.9590701370951719 |
| 0.0012 | 3.611027869343722 | 12050 | nan | nan | nan | nan |
| 0.001 | 3.626011387473779 | 12100 | nan | nan | nan | nan |
| 0.0013 | 3.6409949056038355 | 12150 | nan | nan | nan | nan |
| 0.0017 | 3.6559784237338926 | 12200 | nan | nan | nan | nan |
| nan | 3.6559784237338926 | 12200 | 0.02278595045208931 | 0.953770330211927 | 0.9464006259780907 | 0.9612557122988278 |
| 0.0004 | 3.6709619418639496 | 12250 | nan | nan | nan | nan |
| 0.0025 | 3.6859454599940067 | 12300 | nan | nan | nan | nan |
| 0.0013 | 3.7009289781240637 | 12350 | nan | nan | nan | nan |
| 0.0006 | 3.7159124962541203 | 12400 | nan | nan | nan | nan |
| nan | 3.7159124962541203 | 12400 | 0.023107318207621574 | 0.9529156816390859 | 0.9449111154522367 | 0.96105702364395 |
| 0.0016 | 3.7308960143841774 | 12450 | nan | nan | nan | nan |
| 0.0007 | 3.7458795325142344 | 12500 | nan | nan | nan | nan |
| 0.0029 | 3.760863050644291 | 12550 | nan | nan | nan | nan |
| 0.0013 | 3.775846568774348 | 12600 | nan | nan | nan | nan |
| nan | 3.775846568774348 | 12600 | 0.02281193621456623 | 0.9544108940201302 | 0.9480494020780239 | 0.9608583349890721 |
| 0.0008 | 3.790830086904405 | 12650 | nan | nan | nan | nan |
| 0.0005 | 3.805813605034462 | 12700 | nan | nan | nan | nan |
| 0.0018 | 3.8207971231645192 | 12750 | nan | nan | nan | nan |
| 0.0064 | 3.835780641294576 | 12800 | nan | nan | nan | nan |
| nan | 3.835780641294576 | 12800 | 0.023054048418998718 | 0.9543658632951403 | 0.948929483402082 | 0.9598648917146831 |
| 0.0025 | 3.850764159424633 | 12850 | nan | nan | nan | nan |
| 0.0049 | 3.86574767755469 | 12900 | nan | nan | nan | nan |
| 0.0015 | 3.8807311956847466 | 12950 | nan | nan | nan | nan |
| 0.0013 | 3.8957147138148036 | 13000 | nan | nan | nan | nan |
| nan | 3.8957147138148036 | 13000 | 0.0226026251912117 | 0.9531234580084872 | 0.9468627450980392 | 0.9594675144049275 |
| 0.0046 | 3.9106982319448607 | 13050 | nan | nan | nan | nan |
| 0.003 | 3.9256817500749177 | 13100 | nan | nan | nan | nan |
| 0.003 | 3.9406652682049748 | 13150 | nan | nan | nan | nan |
| 0.0006 | 3.9556487863350314 | 13200 | nan | nan | nan | nan |
| nan | 3.9556487863350314 | 13200 | 0.02252662368118763 | 0.9524748570301715 | 0.9453904873752202 | 0.9596662030598053 |
| 0.0033 | 3.9706323044650884 | 13250 | nan | nan | nan | nan |
| 0.0006 | 3.9856158225951455 | 13300 | nan | nan | nan | nan |
| nan | 4.0 | 13348 | nan | nan | nan | nan |


## Framework versions
- Transformers: 2.3.0
- Pytorch: (siehe Umgebung)
- Datasets: (siehe Umgebung)
- Tokenizers: (siehe Umgebung)