nc_ner_bert_model_german_grob

Dieses Modell ist eine feinjustierte Variante von bert-base-german-cased und wurde auf dem german-ler-Datensatz mit zusammengefassten (coarse) juristischen Entitäten trainiert.
Die ursprünglichen 19 Labels wurden auf 7 Oberkategorien reduziert, um eine robuste, generalisierbare NER-Leistung im juristischen Kontext zu ermöglichen.

Evaluationsergebnisse

• F1-Score (micro avg): 0.9792
• Precision (micro avg): 0.9750
• Recall (micro avg): 0.9835
• Loss: 0.0088

Klassenweise Metriken (coarse level):

Klasse	Bedeutung	Precision	Recall	F1-Score	Support
PER	Person	0.9563	0.9533	0.9548	321
ORG	Organization	0.9799	0.9799	0.9799	796
RS	Court decision	0.9872	0.9928	0.9900	1245
LIT	Legal literature	0.9717	0.9841	0.9778	314
LOC	Location	0.9252	0.9400	0.9325	250
NRM	Legal norm	0.9854	0.9907	0.9880	2039
REG	Case-by-case regul.	0.9200	0.9746	0.9465	354

Durchschnittswerte:

• Macro avg (F1): 0.9671
• Weighted avg (F1): 0.9793

Hinweis zur Metrikwahl

Für die Gesamteinschätzung wird der micro-average F1-Score herangezogen, da hier alle Vorhersagen gleich gewichtet werden – unabhängig von der Klassengröße. Dies ist bei sequenzbasierten NER-Aufgaben sinnvoll, da jede Token-Entscheidung den gleichen Einfluss auf die Gesamtleistung hat.

Überblick über die Metriktypen:

• Micro average: Gesamtanzahl aller True Positives, False Positives und False Negatives → alle Klassenbeiträge gleich gewichtet
• Macro average: Durchschnitt der Metriken über alle Klassen → alle Klassen gleich wichtig, unabhängig von Support
• Weighted average: Durchschnitt über alle Klassen, gewichtet nach Klassengröße → größere Klassen haben mehr Einfluss

Zusammengeführte Entitäten

• Personen: PER, RR, AN → PER
• Orte: LD, ST, STR, LDS → LOC
• Organisationen: ORG, UN, INN, GRT, MRK → ORG
• Rechtsnormen: GS, VO, EUN → NRM
• Regelwerke & Verträge: VS, VT → REG
• Gerichtsentscheidungen: RS
• Literatur: LIT

Trainingskonfiguration

• Modell: bert-base-german-cased
• Datensatz: german-ler (BIO-annotiert)
• Trainingsepochen: 6
• Batchgröße: 32
• Lernrate: 2e-5
• Weight Decay: 0.01
• Evaluation alle: 200 Schritte
• Selektion nach: F1-Score (Bestes Modell gespeichert)

Nutzung

Das Modell eignet sich für juristische NER-Anwendungen, bei denen eine robuste Extraktion relevanter Entitäten aus deutschsprachigen Rechtstexten erforderlich ist – z. B. in Schriftsatzanalyse, Vertragsprüfung oder juristischem Wissensmanagement.

Training results

loss	epoch	step	eval_loss	eval_f1	eval_precision	eval_recall
0.6302	0.029958058717795086	50	nan	nan	nan	nan
0.137	0.05991611743559017	100	nan	nan	nan	nan
0.0919	0.08987417615338526	150	nan	nan	nan	nan
0.0617	0.11983223487118035	200	nan	nan	nan	nan
nan	0.11983223487118035	200	0.0570569671690464	0.7422995982399081	0.7157351042243129	0.7709119809258891
0.0539	0.14979029358897544	250	nan	nan	nan	nan
0.0487	0.17974835230677053	300	nan	nan	nan	nan
0.0418	0.2097064110245656	350	nan	nan	nan	nan
0.0376	0.2396644697423607	400	nan	nan	nan	nan
nan	0.2396644697423607	400	0.036978162825107574	0.8395583293326933	0.8123374210330732	0.8686667991257699
0.0383	0.2696225284601558	450	nan	nan	nan	nan
0.0349	0.2995805871779509	500	nan	nan	nan	nan
0.0407	0.32953864589574594	550	nan	nan	nan	nan
0.0264	0.35949670461354105	600	nan	nan	nan	nan
nan	0.35949670461354105	600	0.029445555061101913	0.8749758454106279	0.8516080496520594	0.8996622292867077
0.0362	0.3894547633313361	650	nan	nan	nan	nan
0.0275	0.4194128220491312	700	nan	nan	nan	nan
0.0247	0.44937088076692633	750	nan	nan	nan	nan
0.0302	0.4793289394847214	800	nan	nan	nan	nan
nan	0.4793289394847214	800	0.026892468333244324	0.8803402281074811	0.8571428571428571	0.9048281343135307
0.0252	0.5092869982025164	850	nan	nan	nan	nan
0.0301	0.5392450569203115	900	nan	nan	nan	nan
0.034	0.5692031156381067	950	nan	nan	nan	nan
0.0259	0.5991611743559018	1000	nan	nan	nan	nan
nan	0.5991611743559018	1000	0.02627747133374214	0.8942539835828102	0.8699736940999624	0.919928472084244
0.0293	0.6291192330736968	1050	nan	nan	nan	nan
0.0179	0.6590772917914919	1100	nan	nan	nan	nan
0.0213	0.689035350509287	1150	nan	nan	nan	nan
0.0251	0.7189934092270821	1200	nan	nan	nan	nan
nan	0.7189934092270821	1200	0.02609006129205227	0.9044088958252049	0.8882927763939452	0.9211206040135108
0.0342	0.7489514679448772	1250	nan	nan	nan	nan
0.0224	0.7789095266626722	1300	nan	nan	nan	nan
0.0409	0.8088675853804673	1350	nan	nan	nan	nan
0.0249	0.8388256440982624	1400	nan	nan	nan	nan
nan	0.8388256440982624	1400	0.022626284509897232	0.9050952936600545	0.8863073700247572	0.9246969998013114
0.034	0.8687837028160575	1450	nan	nan	nan	nan
0.0261	0.8987417615338527	1500	nan	nan	nan	nan
0.0255	0.9286998202516477	1550	nan	nan	nan	nan
0.0206	0.9586578789694428	1600	nan	nan	nan	nan
nan	0.9586578789694428	1600	0.024541128426790237	0.911167021482485	0.8881343142803245	0.9354261871647129
0.0215	0.9886159376872379	1650	nan	nan	nan	nan
0.0163	1.0185739964050329	1700	nan	nan	nan	nan
0.0101	1.048532055122828	1750	nan	nan	nan	nan
0.0127	1.078490113840623	1800	nan	nan	nan	nan
nan	1.078490113840623	1800	0.027728121727705002	0.9107142857142857	0.8901536710301651	0.932247168686668
0.0116	1.1084481725584183	1850	nan	nan	nan	nan
0.0117	1.1384062312762133	1900	nan	nan	nan	nan
0.0105	1.1683642899940083	1950	nan	nan	nan	nan
0.0109	1.1983223487118035	2000	nan	nan	nan	nan
nan	1.1983223487118035	2000	0.022775480523705482	0.9193359375000001	0.903975417706933	0.9352274985098351
0.0088	1.2282804074295985	2050	nan	nan	nan	nan
0.0082	1.2582384661473935	2100	nan	nan	nan	nan
0.0138	1.2881965248651888	2150	nan	nan	nan	nan
0.0153	1.3181545835829838	2200	nan	nan	nan	nan
nan	1.3181545835829838	2200	0.02310493402183056	0.9244989297528702	0.905815061963775	0.9439697993244586
0.0125	1.348112642300779	2250	nan	nan	nan	nan
0.0159	1.378070701018574	2300	nan	nan	nan	nan
0.0173	1.4080287597363692	2350	nan	nan	nan	nan
0.0116	1.4379868184541642	2400	nan	nan	nan	nan
nan	1.4379868184541642	2400	0.0243744645267725	0.9262993050797691	0.9128086419753086	0.9401947148817803
0.0116	1.4679448771719592	2450	nan	nan	nan	nan
0.0105	1.4979029358897544	2500	nan	nan	nan	nan
0.013	1.5278609946075494	2550	nan	nan	nan	nan
0.0091	1.5578190533253444	2600	nan	nan	nan	nan
nan	1.5578190533253444	2600	0.02153855189681053	0.9268244961846998	0.9128926575448063	0.9411881581561693
0.0137	1.5877771120431396	2650	nan	nan	nan	nan
0.0112	1.6177351707609346	2700	nan	nan	nan	nan
0.0118	1.6476932294787296	2750	nan	nan	nan	nan
0.0091	1.6776512881965249	2800	nan	nan	nan	nan
nan	1.6776512881965249	2800	0.024013841524720192	0.924458325200078	0.908497985804719	0.9409894695012915
0.0105	1.70760934691432	2850	nan	nan	nan	nan
0.0141	1.737567405632115	2900	nan	nan	nan	nan
0.0143	1.76752546434991	2950	nan	nan	nan	nan
0.0129	1.7974835230677053	3000	nan	nan	nan	nan
nan	1.7974835230677053	3000	0.02145160548388958	0.9328504306969461	0.9193517267991511	0.9467514404927478
0.0086	1.8274415817855003	3050	nan	nan	nan	nan
0.018	1.8573996405032953	3100	nan	nan	nan	nan
0.0103	1.8873576992210905	3150	nan	nan	nan	nan
0.0108	1.9173157579388855	3200	nan	nan	nan	nan
nan	1.9173157579388855	3200	0.020700935274362564	0.9269392958713347	0.9151820294345469	0.9390025829525134
0.0153	1.9472738166566805	3250	nan	nan	nan	nan
0.0158	1.9772318753744758	3300	nan	nan	nan	nan
0.0094	2.007189934092271	3350	nan	nan	nan	nan
0.0048	2.0371479928100658	3400	nan	nan	nan	nan
nan	2.0371479928100658	3400	0.020936788991093636	0.9311019769035037	0.9174541947926712	0.9451619312537254
0.0056	2.067106051527861	3450	nan	nan	nan	nan
0.0062	2.097064110245656	3500	nan	nan	nan	nan
0.005	2.127022168963451	3550	nan	nan	nan	nan
0.0048	2.156980227681246	3600	nan	nan	nan	nan
nan	2.156980227681246	3600	0.023634372279047966	0.9259547934528448	0.908430510418658	0.9441684879793364
0.007	2.1869382863990414	3650	nan	nan	nan	nan
0.0072	2.2168963451168366	3700	nan	nan	nan	nan
0.0059	2.2468544038346314	3750	nan	nan	nan	nan
0.0053	2.2768124625524266	3800	nan	nan	nan	nan
nan	2.2768124625524266	3800	0.022834839299321175	0.9310983334957607	0.913733741392502	0.9491357043512816
0.0044	2.306770521270222	3850	nan	nan	nan	nan
0.0054	2.3367285799880166	3900	nan	nan	nan	nan
0.0071	2.366686638705812	3950	nan	nan	nan	nan
0.0046	2.396644697423607	4000	nan	nan	nan	nan
nan	2.396644697423607	4000	0.021960098296403885	0.9333594285155103	0.9195912070960278	0.9475461951122591
0.0065	2.426602756141402	4050	nan	nan	nan	nan
0.0039	2.456560814859197	4100	nan	nan	nan	nan
0.0064	2.4865188735769923	4150	nan	nan	nan	nan
0.0079	2.516476932294787	4200	nan	nan	nan	nan
nan	2.516476932294787	4200	0.022769909352064133	0.937579617834395	0.9249806651198763	0.9505265249354262
0.0081	2.5464349910125823	4250	nan	nan	nan	nan
0.0107	2.5763930497303775	4300	nan	nan	nan	nan
0.0086	2.6063511084481723	4350	nan	nan	nan	nan
0.0059	2.6363091671659675	4400	nan	nan	nan	nan
nan	2.6363091671659675	4400	0.02263041026890278	0.9353448275862069	0.922512077294686	0.9485396383866481
0.0083	2.6662672258837627	4450	nan	nan	nan	nan
0.0062	2.696225284601558	4500	nan	nan	nan	nan
0.0039	2.7261833433193527	4550	nan	nan	nan	nan
0.0038	2.756141402037148	4600	nan	nan	nan	nan
nan	2.756141402037148	4600	0.02347700670361519	0.9385277995301486	0.9249469419255257	0.9525134114842042
0.0038	2.786099460754943	4650	nan	nan	nan	nan
0.007	2.8160575194727384	4700	nan	nan	nan	nan
0.0052	2.846015578190533	4750	nan	nan	nan	nan
0.0048	2.8759736369083284	4800	nan	nan	nan	nan
nan	2.8759736369083284	4800	0.022864466533064842	0.94476601589326	0.9331395348837209	0.9566858732366382
0.0059	2.9059316956261236	4850	nan	nan	nan	nan
0.0064	2.9358897543439184	4900	nan	nan	nan	nan
0.0054	2.9658478130617136	4950	nan	nan	nan	nan
0.0039	2.995805871779509	5000	nan	nan	nan	nan
nan	2.995805871779509	5000	0.023634204640984535	0.9382329945269743	0.9232544720138488	0.9537055434134711
0.0041	3.0257639304973036	5050	nan	nan	nan	nan
0.0025	3.055721989215099	5100	nan	nan	nan	nan
0.0023	3.085680047932894	5150	nan	nan	nan	nan
0.0037	3.115638106650689	5200	nan	nan	nan	nan
nan	3.115638106650689	5200	0.024634821340441704	0.9381725689688906	0.9240701483908268	0.952712100139082
0.0022	3.145596165368484	5250	nan	nan	nan	nan
0.0024	3.1755542240862793	5300	nan	nan	nan	nan
0.003	3.205512282804074	5350	nan	nan	nan	nan
0.0015	3.2354703415218693	5400	nan	nan	nan	nan
nan	3.2354703415218693	5400	0.025725096464157104	0.938247402470104	0.9259044302573032	0.9509239022451818
0.0018	3.2654284002396645	5450	nan	nan	nan	nan
0.0028	3.2953864589574597	5500	nan	nan	nan	nan
0.0037	3.3253445176752545	5550	nan	nan	nan	nan
0.003	3.3553025763930497	5600	nan	nan	nan	nan
nan	3.3553025763930497	5600	0.024737508967518806	0.9409336609336609	0.9309607156748347	0.9511225909000596
0.0013	3.385260635110845	5650	nan	nan	nan	nan
0.0019	3.4152186938286397	5700	nan	nan	nan	nan
0.0034	3.445176752546435	5750	nan	nan	nan	nan
0.0065	3.47513481126423	5800	nan	nan	nan	nan
nan	3.47513481126423	5800	0.023864557966589928	0.9428318409918333	0.9339181286549708	0.9519173455195709
0.003	3.5050928699820254	5850	nan	nan	nan	nan
0.0032	3.53505092869982	5900	nan	nan	nan	nan
0.0038	3.5650089874176154	5950	nan	nan	nan	nan
0.0034	3.5949670461354106	6000	nan	nan	nan	nan
nan	3.5949670461354106	6000	0.02474203333258629	0.9409344695856597	0.9279366306027821	0.9543016093781045
0.0027	3.6249251048532054	6050	nan	nan	nan	nan
0.0035	3.6548831635710006	6100	nan	nan	nan	nan
0.0026	3.684841222288796	6150	nan	nan	nan	nan
0.0018	3.7147992810065906	6200	nan	nan	nan	nan
nan	3.7147992810065906	6200	0.026276376098394394	0.942241464134606	0.9333333333333333	0.9513212795549374
0.0019	3.744757339724386	6250	nan	nan	nan	nan
0.0031	3.774715398442181	6300	nan	nan	nan	nan
0.0015	3.804673457159976	6350	nan	nan	nan	nan
0.0042	3.834631515877771	6400	nan	nan	nan	nan
nan	3.834631515877771	6400	0.025327833369374275	0.9418707583357924	0.9326061550447994	0.9513212795549374
0.0044	3.8645895745955663	6450	nan	nan	nan	nan
0.003	3.894547633313361	6500	nan	nan	nan	nan
0.0058	3.9245056920311563	6550	nan	nan	nan	nan
0.0031	3.9544637507489515	6600	nan	nan	nan	nan
nan	3.9544637507489515	6600	0.02498338744044304	0.9385157626786764	0.9251109824358232	0.9523147228293265
0.0018	3.9844218094667463	6650	nan	nan	nan	nan
0.003	4.014379868184542	6700	nan	nan	nan	nan
0.0027	4.044337926902337	6750	nan	nan	nan	nan
0.0013	4.0742959856201315	6800	nan	nan	nan	nan
nan	4.0742959856201315	6800	0.025452492758631706	0.9455869329922267	0.9366471734892787	0.9546989866878601
0.0028	4.104254044337927	6850	nan	nan	nan	nan
0.0019	4.134212103055722	6900	nan	nan	nan	nan
0.0017	4.164170161773517	6950	nan	nan	nan	nan
0.001	4.194128220491312	7000	nan	nan	nan	nan
nan	4.194128220491312	7000	0.026099666953086853	0.9451758695224995	0.93488824101069	0.9556924299622491
0.0013	4.224086279209107	7050	nan	nan	nan	nan
0.0034	4.254044337926902	7100	nan	nan	nan	nan
0.0036	4.284002396644698	7150	nan	nan	nan	nan
0.0018	4.313960455362492	7200	nan	nan	nan	nan
nan	4.313960455362492	7200	0.023685529828071594	0.9473994690787533	0.9377189567925263	0.9572819392012716
0.0008	4.343918514080288	7250	nan	nan	nan	nan
0.0015	4.373876572798083	7300	nan	nan	nan	nan
0.0058	4.403834631515878	7350	nan	nan	nan	nan
0.0012	4.433792690233673	7400	nan	nan	nan	nan
nan	4.433792690233673	7400	0.025020906701683998	0.946283020720809	0.9355339805825242	0.9572819392012716
0.0021	4.463750748951468	7450	nan	nan	nan	nan
0.0008	4.493708807669263	7500	nan	nan	nan	nan
0.001	4.5236668663870585	7550	nan	nan	nan	nan
0.0008	4.553624925104853	7600	nan	nan	nan	nan
nan	4.553624925104853	7600	0.02633568085730076	0.9466653570376191	0.9360916860916861	0.9574806278561494
0.0014	4.583582983822648	7650	nan	nan	nan	nan
0.002	4.613541042540444	7700	nan	nan	nan	nan
0.0009	4.6434991012582385	7750	nan	nan	nan	nan
0.0015	4.673457159976033	7800	nan	nan	nan	nan
nan	4.673457159976033	7800	0.025396013632416725	0.9451219512195121	0.9357351509250244	0.9546989866878601
0.0017	4.703415218693829	7850	nan	nan	nan	nan
0.0022	4.733373277411624	7900	nan	nan	nan	nan
0.0012	4.7633313361294185	7950	nan	nan	nan	nan
0.0016	4.793289394847214	8000	nan	nan	nan	nan
nan	4.793289394847214	8000	0.02576581761240959	0.9442700156985872	0.9327389028881566	0.9560898072720048
0.0017	4.823247453565009	8050	nan	nan	nan	nan
0.0011	4.853205512282804	8100	nan	nan	nan	nan
0.001	4.883163571000599	8150	nan	nan	nan	nan
0.0013	4.913121629718394	8200	nan	nan	nan	nan
nan	4.913121629718394	8200	0.025730391964316368	0.9484779824647818	0.9406017975771785	0.9564871845817604
0.0023	4.943079688436189	8250	nan	nan	nan	nan
0.0006	4.973037747153985	8300	nan	nan	nan	nan
0.0019	5.002995805871779	8350	nan	nan	nan	nan
0.0008	5.032953864589574	8400	nan	nan	nan	nan
nan	5.032953864589574	8400	0.02589144930243492	0.9465182704619325	0.9384765625	0.9546989866878601
0.0007	5.06291192330737	8450	nan	nan	nan	nan
0.0007	5.092869982025165	8500	nan	nan	nan	nan
0.0015	5.12282804074296	8550	nan	nan	nan	nan
0.0012	5.152786099460755	8600	nan	nan	nan	nan
nan	5.152786099460755	8600	0.02597998082637787	0.9476274857255365	0.9391219512195121	0.9562884959268826
0.0013	5.18274415817855	8650	nan	nan	nan	nan
0.0007	5.2127022168963455	8700	nan	nan	nan	nan
0.0008	5.24266027561414	8750	nan	nan	nan	nan
0.0004	5.272618334331935	8800	nan	nan	nan	nan
nan	5.272618334331935	8800	0.026880230754613876	0.9459937156323645	0.9351582217045233	0.9570832505463938
0.0011	5.302576393049731	8850	nan	nan	nan	nan
0.0016	5.3325344517675255	8900	nan	nan	nan	nan
0.0006	5.36249251048532	8950	nan	nan	nan	nan
0.0014	5.392450569203116	9000	nan	nan	nan	nan
nan	5.392450569203116	9000	0.026578351855278015	0.9486446525381961	0.9413145539906104	0.9560898072720048
0.0011	5.422408627920911	9050	nan	nan	nan	nan
0.0005	5.4523666866387055	9100	nan	nan	nan	nan
0.001	5.482324745356501	9150	nan	nan	nan	nan
0.0023	5.512282804074296	9200	nan	nan	nan	nan
nan	5.512282804074296	9200	0.026412922888994217	0.9469644789924234	0.9380116959064327	0.9560898072720048
0.0011	5.542240862792091	9250	nan	nan	nan	nan
0.0005	5.572198921509886	9300	nan	nan	nan	nan
0.0015	5.602156980227681	9350	nan	nan	nan	nan
0.0004	5.632115038945477	9400	nan	nan	nan	nan
nan	5.632115038945477	9400	0.026432661339640617	0.946498819826908	0.9370983446932813	0.9560898072720048
0.0009	5.662073097663272	9450	nan	nan	nan	nan
0.0008	5.692031156381066	9500	nan	nan	nan	nan
0.0006	5.721989215098862	9550	nan	nan	nan	nan
0.0006	5.751947273816657	9600	nan	nan	nan	nan
nan	5.751947273816657	9600	0.026862656697630882	0.9483115093039283	0.9398907103825137	0.9568845618915159
0.0004	5.781905332534452	9650	nan	nan	nan	nan
0.0012	5.811863391252247	9700	nan	nan	nan	nan
0.0005	5.841821449970042	9750	nan	nan	nan	nan
0.0006	5.871779508687837	9800	nan	nan	nan	nan
nan	5.871779508687837	9800	0.02688014879822731	0.9485185549758834	0.9399141630901288	0.9572819392012716
0.0011	5.9017375674056325	9850	nan	nan	nan	nan
0.0005	5.931695626123427	9900	nan	nan	nan	nan
0.0005	5.961653684841222	9950	nan	nan	nan	nan
0.0013	5.991611743559018	10000	nan	nan	nan	nan
nan	5.991611743559018	10000	0.026814628392457962	0.9493596059113301	0.9415673246042603	0.9572819392012716
nan	6.0	10014	nan	nan	nan	nan

Framework versions

• Transformers: 2.3.0
• Pytorch: (siehe Umgebung)
• Datasets: (siehe Umgebung)
• Tokenizers: (siehe Umgebung)