train_cola_1744902678

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the cola dataset. It achieves the following results on the evaluation set:

• Loss: 0.1416
• Num Input Tokens Seen: 28700680

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.4054	0.4158	200	0.3175	143936
0.2079	0.8316	400	0.2186	287392
0.1714	1.2474	600	0.2035	430968
0.2061	1.6632	800	0.1944	574456
0.2034	2.0790	1000	0.1925	718448
0.1608	2.4948	1200	0.1897	862224
0.2277	2.9106	1400	0.1841	1004880
0.1451	3.3264	1600	0.1766	1148296
0.1774	3.7422	1800	0.1750	1292616
0.1937	4.1580	2000	0.1750	1436240
0.115	4.5738	2200	0.1730	1579408
0.1229	4.9896	2400	0.1743	1723056
0.1039	5.4054	2600	0.1655	1866504
0.1567	5.8212	2800	0.1636	2009832
0.1797	6.2370	3000	0.1641	2153504
0.1581	6.6528	3200	0.1661	2296672
0.1829	7.0686	3400	0.1634	2440240
0.1354	7.4844	3600	0.1612	2583952
0.1195	7.9002	3800	0.1590	2727536
0.1278	8.3160	4000	0.1570	2870176
0.1559	8.7318	4200	0.1623	3013792
0.1162	9.1476	4400	0.1586	3157976
0.1551	9.5634	4600	0.1591	3301400
0.146	9.9792	4800	0.1551	3445528
0.1104	10.3950	5000	0.1562	3588176
0.15	10.8108	5200	0.1569	3731888
0.1356	11.2266	5400	0.1554	3876072
0.2153	11.6424	5600	0.1566	4020200
0.1705	12.0582	5800	0.1565	4162880
0.1616	12.4740	6000	0.1523	4305664
0.0836	12.8898	6200	0.1557	4449504
0.146	13.3056	6400	0.1483	4592824
0.136	13.7214	6600	0.1522	4737208
0.1068	14.1372	6800	0.1503	4880104
0.1307	14.5530	7000	0.1545	5024232
0.1475	14.9688	7200	0.1489	5167336
0.1159	15.3846	7400	0.1476	5311512
0.1145	15.8004	7600	0.1501	5454712
0.1116	16.2162	7800	0.1580	5598576
0.1438	16.6320	8000	0.1547	5741776
0.1108	17.0478	8200	0.1530	5885896
0.1097	17.4636	8400	0.1456	6030472
0.123	17.8794	8600	0.1486	6172872
0.1569	18.2952	8800	0.1473	6316224
0.1355	18.7110	9000	0.1541	6460064
0.1568	19.1268	9200	0.1444	6603384
0.1126	19.5426	9400	0.1453	6746616
0.0971	19.9584	9600	0.1459	6890808
0.1144	20.3742	9800	0.1509	7033840
0.1154	20.7900	10000	0.1472	7177136
0.1629	21.2058	10200	0.1470	7320168
0.114	21.6216	10400	0.1500	7464136
0.1185	22.0374	10600	0.1449	7607816
0.1286	22.4532	10800	0.1437	7751560
0.1344	22.8690	11000	0.1511	7895400
0.0899	23.2848	11200	0.1432	8038480
0.0867	23.7006	11400	0.1457	8182416
0.1388	24.1164	11600	0.1501	8325888
0.1396	24.5322	11800	0.1527	8468992
0.0853	24.9480	12000	0.1477	8612096
0.098	25.3638	12200	0.1427	8756152
0.1308	25.7796	12400	0.1466	8899640
0.1043	26.1954	12600	0.1494	9042656
0.1072	26.6112	12800	0.1439	9186656
0.1031	27.0270	13000	0.1476	9329688
0.1083	27.4428	13200	0.1420	9472184
0.1044	27.8586	13400	0.1510	9616056
0.0876	28.2744	13600	0.1452	9759824
0.0652	28.6902	13800	0.1463	9903824
0.1238	29.1060	14000	0.1438	10046680
0.0927	29.5218	14200	0.1438	10190040
0.1054	29.9376	14400	0.1492	10333816
0.1422	30.3534	14600	0.1447	10476752
0.1203	30.7692	14800	0.1501	10620240
0.1145	31.1850	15000	0.1417	10763368
0.0727	31.6008	15200	0.1448	10906568
0.1571	32.0166	15400	0.1494	11049768
0.0968	32.4324	15600	0.1504	11193256
0.0854	32.8482	15800	0.1446	11336648
0.0739	33.2640	16000	0.1454	11481080
0.0903	33.6798	16200	0.1439	11624376
0.0906	34.0956	16400	0.1429	11766832
0.1062	34.5114	16600	0.1463	11910672
0.1066	34.9272	16800	0.1444	12054512
0.1179	35.3430	17000	0.1451	12198464
0.1434	35.7588	17200	0.1438	12341536
0.1222	36.1746	17400	0.1431	12485368
0.1897	36.5904	17600	0.1429	12629496
0.1307	37.0062	17800	0.1425	12772208
0.1357	37.4220	18000	0.1439	12915888
0.151	37.8378	18200	0.1416	13058896
0.102	38.2536	18400	0.1416	13201856
0.1296	38.6694	18600	0.1456	13344736
0.142	39.0852	18800	0.1468	13489016
0.0924	39.5010	19000	0.1510	13632312
0.0935	39.9168	19200	0.1454	13775960
0.118	40.3326	19400	0.1424	13918888
0.0833	40.7484	19600	0.1499	14062184
0.1225	41.1642	19800	0.1418	14206632
0.1059	41.5800	20000	0.1488	14349800
0.1191	41.9958	20200	0.1456	14493096
0.0844	42.4116	20400	0.1424	14636824
0.094	42.8274	20600	0.1445	14780056
0.0911	43.2432	20800	0.1470	14922952
0.1289	43.6590	21000	0.1469	15066120
0.1489	44.0748	21200	0.1436	15209536
0.094	44.4906	21400	0.1433	15353920
0.1047	44.9064	21600	0.1430	15497376
0.1176	45.3222	21800	0.1418	15641208
0.0974	45.7380	22000	0.1444	15784536
0.0903	46.1538	22200	0.1457	15928528
0.0802	46.5696	22400	0.1422	16072048
0.0948	46.9854	22600	0.1437	16214832
0.0711	47.4012	22800	0.1448	16358208
0.1001	47.8170	23000	0.1448	16501568
0.0753	48.2328	23200	0.1461	16645480
0.1133	48.6486	23400	0.1431	16789224
0.1046	49.0644	23600	0.1509	16932768
0.0668	49.4802	23800	0.1451	17076672
0.1376	49.8960	24000	0.1443	17220000
0.0919	50.3119	24200	0.1426	17363816
0.0665	50.7277	24400	0.1423	17508072
0.117	51.1435	24600	0.1501	17651488
0.0967	51.5593	24800	0.1453	17795328
0.1266	51.9751	25000	0.1447	17938368
0.0748	52.3909	25200	0.1443	18081176
0.1336	52.8067	25400	0.1453	18224696
0.0805	53.2225	25600	0.1442	18369136
0.0733	53.6383	25800	0.1437	18511824
0.0814	54.0541	26000	0.1432	18655008
0.0856	54.4699	26200	0.1490	18798592
0.1183	54.8857	26400	0.1463	18942016
0.1266	55.3015	26600	0.1465	19085296
0.0854	55.7173	26800	0.1458	19229616
0.0836	56.1331	27000	0.1454	19373160
0.1123	56.5489	27200	0.1431	19516200
0.1217	56.9647	27400	0.1463	19659656
0.1149	57.3805	27600	0.1426	19803672
0.0753	57.7963	27800	0.1456	19947800
0.0848	58.2121	28000	0.1492	20090864
0.0713	58.6279	28200	0.1445	20234160
0.1056	59.0437	28400	0.1473	20378152
0.0931	59.4595	28600	0.1459	20521096
0.0841	59.8753	28800	0.1458	20664744
0.1066	60.2911	29000	0.1450	20808544
0.0863	60.7069	29200	0.1434	20952064
0.1233	61.1227	29400	0.1470	21095536
0.1196	61.5385	29600	0.1437	21239216
0.0911	61.9543	29800	0.1448	21382704
0.0734	62.3701	30000	0.1442	21526584
0.143	62.7859	30200	0.1455	21670744
0.0983	63.2017	30400	0.1443	21813952
0.1579	63.6175	30600	0.1440	21956992
0.0536	64.0333	30800	0.1433	22100720
0.1065	64.4491	31000	0.1453	22244240
0.1196	64.8649	31200	0.1440	22388368
0.132	65.2807	31400	0.1444	22531840
0.0858	65.6965	31600	0.1459	22674688
0.0828	66.1123	31800	0.1433	22817880
0.1095	66.5281	32000	0.1442	22962360
0.0726	66.9439	32200	0.1449	23105624
0.1103	67.3597	32400	0.1468	23248272
0.086	67.7755	32600	0.1448	23391888
0.1045	68.1913	32800	0.1429	23535616
0.0687	68.6071	33000	0.1447	23678976
0.0791	69.0229	33200	0.1453	23823128
0.0906	69.4387	33400	0.1446	23966488
0.1076	69.8545	33600	0.1448	24110648
0.0866	70.2703	33800	0.1435	24253072
0.1197	70.6861	34000	0.1448	24396528
0.1497	71.1019	34200	0.1453	24540040
0.1028	71.5177	34400	0.1451	24683144
0.0874	71.9335	34600	0.1458	24827048
0.1154	72.3493	34800	0.1451	24970840
0.0979	72.7651	35000	0.1455	25115672
0.0703	73.1809	35200	0.1441	25258416
0.1256	73.5967	35400	0.1443	25402448
0.1286	74.0125	35600	0.1445	25545128
0.1168	74.4283	35800	0.1453	25688392
0.1085	74.8441	36000	0.1453	25831720
0.1001	75.2599	36200	0.1453	25975928
0.0624	75.6757	36400	0.1443	26119704
0.0936	76.0915	36600	0.1454	26262696
0.0826	76.5073	36800	0.1442	26406024
0.0844	76.9231	37000	0.1469	26550088
0.0912	77.3389	37200	0.1445	26693856
0.1002	77.7547	37400	0.1461	26837120
0.0781	78.1705	37600	0.1451	26980600
0.0805	78.5863	37800	0.1449	27124888
0.0633	79.0021	38000	0.1443	27266800
0.089	79.4179	38200	0.1453	27410736
0.1174	79.8337	38400	0.1455	27553360
0.0652	80.2495	38600	0.1453	27696864
0.1045	80.6653	38800	0.1448	27839840
0.0912	81.0811	39000	0.1449	27983384
0.1128	81.4969	39200	0.1453	28127512
0.0817	81.9127	39400	0.1452	28270104
0.0773	82.3285	39600	0.1458	28413680
0.0538	82.7443	39800	0.1474	28557552
0.0847	83.1601	40000	0.1452	28700680

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1