train_mnli_1744902586

This model is a fine-tuned version of meta-llama/Meta-Llama-3-8B-Instruct on the mnli dataset. It achieves the following results on the evaluation set:

• Loss: 0.0722
• Num Input Tokens Seen: 62984280

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.1022	0.0091	200	0.1387	312896
0.102	0.0181	400	0.1369	625472
0.1204	0.0272	600	0.1053	942656
0.129	0.0362	800	0.0983	1256992
0.1046	0.0453	1000	0.0998	1572864
0.0914	0.0543	1200	0.0972	1889696
0.0797	0.0634	1400	0.0979	2203360
0.0619	0.0724	1600	0.0925	2524096
0.0733	0.0815	1800	0.0930	2837312
0.1395	0.0905	2000	0.0953	3152992
0.1131	0.0996	2200	0.0946	3466976
0.0786	0.1086	2400	0.0919	3784000
0.0907	0.1177	2600	0.0947	4100288
0.0636	0.1268	2800	0.0899	4417024
0.1237	0.1358	3000	0.1029	4730880
0.0687	0.1449	3200	0.0893	5046976
0.1348	0.1539	3400	0.0924	5361952
0.0789	0.1630	3600	0.0868	5680768
0.1526	0.1720	3800	0.0864	5996256
0.0557	0.1811	4000	0.0866	6311552
0.0521	0.1901	4200	0.0828	6627776
0.089	0.1992	4400	0.0837	6946240
0.0512	0.2082	4600	0.0826	7260672
0.0407	0.2173	4800	0.0877	7574432
0.0655	0.2264	5000	0.0847	7890496
0.0687	0.2354	5200	0.0834	8202528
0.0808	0.2445	5400	0.0813	8516928
0.0584	0.2535	5600	0.0814	8828000
0.0815	0.2626	5800	0.0808	9143776
0.051	0.2716	6000	0.0850	9456800
0.0723	0.2807	6200	0.0808	9770496
0.0956	0.2897	6400	0.0799	10084544
0.0415	0.2988	6600	0.0814	10400832
0.0632	0.3078	6800	0.0806	10713664
0.0617	0.3169	7000	0.0823	11028672
0.0713	0.3259	7200	0.0790	11347104
0.1053	0.3350	7400	0.0888	11658304
0.0459	0.3441	7600	0.0798	11969312
0.0438	0.3531	7800	0.0806	12283264
0.0772	0.3622	8000	0.0810	12595776
0.089	0.3712	8200	0.0792	12911104
0.0773	0.3803	8400	0.0832	13225632
0.0695	0.3893	8600	0.0785	13544096
0.0914	0.3984	8800	0.0804	13857600
0.048	0.4074	9000	0.0768	14172800
0.1177	0.4165	9200	0.0821	14487680
0.1262	0.4255	9400	0.0815	14807520
0.0742	0.4346	9600	0.0777	15117696
0.0771	0.4436	9800	0.0780	15433344
0.0498	0.4527	10000	0.0768	15748576
0.0804	0.4618	10200	0.0798	16064864
0.0935	0.4708	10400	0.0777	16386496
0.1235	0.4799	10600	0.0793	16700128
0.0609	0.4889	10800	0.0789	17015072
0.0709	0.4980	11000	0.0790	17334080
0.0631	0.5070	11200	0.0770	17650336
0.0564	0.5161	11400	0.0778	17964032
0.0617	0.5251	11600	0.0768	18280704
0.0806	0.5342	11800	0.0787	18595744
0.0598	0.5432	12000	0.0769	18906592
0.0781	0.5523	12200	0.0767	19223392
0.0842	0.5614	12400	0.0773	19535520
0.0691	0.5704	12600	0.0768	19848032
0.0602	0.5795	12800	0.0770	20163616
0.0438	0.5885	13000	0.0775	20479520
0.0871	0.5976	13200	0.0761	20792320
0.0674	0.6066	13400	0.0748	21105472
0.1117	0.6157	13600	0.0763	21418912
0.0568	0.6247	13800	0.0760	21740320
0.0646	0.6338	14000	0.0768	22051936
0.0811	0.6428	14200	0.0801	22365376
0.0689	0.6519	14400	0.0763	22680000
0.0507	0.6609	14600	0.0776	22995520
0.0793	0.6700	14800	0.0763	23311072
0.0705	0.6791	15000	0.0758	23626112
0.041	0.6881	15200	0.0756	23937568
0.0353	0.6972	15400	0.0747	24253504
0.0583	0.7062	15600	0.0757	24568160
0.0289	0.7153	15800	0.0788	24882112
0.0648	0.7243	16000	0.0753	25201792
0.0638	0.7334	16200	0.0757	25518176
0.1117	0.7424	16400	0.0760	25832000
0.0993	0.7515	16600	0.0745	26142144
0.1026	0.7605	16800	0.0741	26458432
0.074	0.7696	17000	0.0739	26771360
0.0663	0.7787	17200	0.0736	27085568
0.0662	0.7877	17400	0.0739	27401344
0.0709	0.7968	17600	0.0738	27721120
0.0466	0.8058	17800	0.0738	28035200
0.0804	0.8149	18000	0.0783	28351968
0.0798	0.8239	18200	0.0730	28668224
0.0524	0.8330	18400	0.0740	28981824
0.0637	0.8420	18600	0.0740	29293792
0.0497	0.8511	18800	0.0758	29608320
0.0823	0.8601	19000	0.0739	29922016
0.0426	0.8692	19200	0.0741	30237280
0.0602	0.8782	19400	0.0748	30550560
0.1068	0.8873	19600	0.0739	30861952
0.0806	0.8964	19800	0.0730	31176736
0.0723	0.9054	20000	0.0737	31490688
0.0877	0.9145	20200	0.0736	31805440
0.0761	0.9235	20400	0.0739	32120672
0.07	0.9326	20600	0.0737	32434592
0.052	0.9416	20800	0.0730	32746528
0.0308	0.9507	21000	0.0738	33062880
0.0617	0.9597	21200	0.0722	33380032
0.0606	0.9688	21400	0.0728	33698368
0.0717	0.9778	21600	0.0724	34015424
0.0867	0.9869	21800	0.0722	34331520
0.0413	0.9959	22000	0.0733	34642688
0.0476	1.0050	22200	0.0743	34959928
0.0554	1.0140	22400	0.0765	35273880
0.0424	1.0231	22600	0.0739	35587832
0.0848	1.0321	22800	0.0729	35899672
0.0366	1.0412	23000	0.0751	36212824
0.0282	1.0503	23200	0.0734	36528792
0.0771	1.0593	23400	0.0731	36844024
0.0806	1.0684	23600	0.0738	37157784
0.063	1.0774	23800	0.0731	37469272
0.0525	1.0865	24000	0.0743	37785112
0.0748	1.0955	24200	0.0768	38101496
0.1147	1.1046	24400	0.0740	38418456
0.0536	1.1136	24600	0.0772	38735256
0.0582	1.1227	24800	0.0754	39051640
0.0914	1.1317	25000	0.0738	39365176
0.0703	1.1408	25200	0.0734	39684408
0.0688	1.1498	25400	0.0745	40000056
0.074	1.1589	25600	0.0722	40316632
0.0315	1.1680	25800	0.0730	40629528
0.0378	1.1770	26000	0.0752	40944536
0.0527	1.1861	26200	0.0740	41261208
0.0728	1.1951	26400	0.0723	41575992
0.0479	1.2042	26600	0.0733	41888504
0.068	1.2132	26800	0.0741	42202072
0.0457	1.2223	27000	0.0733	42518168
0.0185	1.2313	27200	0.0738	42833560
0.0504	1.2404	27400	0.0736	43144152
0.0618	1.2494	27600	0.0737	43457272
0.0319	1.2585	27800	0.0742	43774104
0.0678	1.2675	28000	0.0732	44088120
0.0659	1.2766	28200	0.0734	44401112
0.0959	1.2857	28400	0.0731	44718232
0.0694	1.2947	28600	0.0725	45031416
0.0794	1.3038	28800	0.0734	45340984
0.0406	1.3128	29000	0.0732	45659256
0.0838	1.3219	29200	0.0731	45975384
0.0695	1.3309	29400	0.0731	46290296
0.0773	1.3400	29600	0.0725	46604312
0.0737	1.3490	29800	0.0725	46919192
0.0737	1.3581	30000	0.0732	47236440
0.028	1.3671	30200	0.0730	47550744
0.0558	1.3762	30400	0.0722	47865912
0.0541	1.3853	30600	0.0727	48183992
0.0544	1.3943	30800	0.0731	48495160
0.0654	1.4034	31000	0.0725	48813176
0.0761	1.4124	31200	0.0729	49129080
0.0345	1.4215	31400	0.0728	49444664
0.0269	1.4305	31600	0.0733	49756312
0.0406	1.4396	31800	0.0737	50068088
0.0307	1.4486	32000	0.0725	50382136
0.0425	1.4577	32200	0.0737	50700344
0.0462	1.4667	32400	0.0734	51012696
0.0275	1.4758	32600	0.0725	51328696
0.069	1.4848	32800	0.0727	51641752
0.0637	1.4939	33000	0.0728	51954840
0.0548	1.5030	33200	0.0728	52269720
0.0822	1.5120	33400	0.0727	52585784
0.0375	1.5211	33600	0.0729	52898904
0.1126	1.5301	33800	0.0735	53217208
0.0416	1.5392	34000	0.0730	53532408
0.0864	1.5482	34200	0.0727	53849208
0.0311	1.5573	34400	0.0730	54166040
0.0421	1.5663	34600	0.0727	54482232
0.0246	1.5754	34800	0.0732	54797880
0.0532	1.5844	35000	0.0731	55112536
0.043	1.5935	35200	0.0726	55427928
0.0651	1.6025	35400	0.0726	55741912
0.0956	1.6116	35600	0.0729	56057048
0.0495	1.6207	35800	0.0729	56371640
0.0707	1.6297	36000	0.0730	56683896
0.0761	1.6388	36200	0.0725	57003192
0.0606	1.6478	36400	0.0726	57318104
0.0403	1.6569	36600	0.0727	57632152
0.0482	1.6659	36800	0.0726	57948856
0.1054	1.6750	37000	0.0725	58266232
0.0266	1.6840	37200	0.0725	58583544
0.0214	1.6931	37400	0.0726	58903288
0.0647	1.7021	37600	0.0726	59218296
0.0296	1.7112	37800	0.0726	59533240
0.061	1.7203	38000	0.0726	59848664
0.0409	1.7293	38200	0.0726	60164984
0.0547	1.7384	38400	0.0726	60478328
0.113	1.7474	38600	0.0726	60787576
0.0837	1.7565	38800	0.0725	61097848
0.0371	1.7655	39000	0.0726	61413432
0.0941	1.7746	39200	0.0725	61727320
0.0887	1.7836	39400	0.0726	62041848
0.0382	1.7927	39600	0.0725	62358168
0.029	1.8017	39800	0.0725	62670392
0.036	1.8108	40000	0.0725	62984280

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1