train_multirc_1745950267

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the multirc dataset. It achieves the following results on the evaluation set:

• Loss: 0.1457
• Num Input Tokens Seen: 83543088

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.0558	0.0326	200	0.4775	418192
0.0154	0.0653	400	0.3317	836224
0.4028	0.0979	600	0.2511	1258320
0.3202	0.1305	800	0.2235	1673984
0.0732	0.1631	1000	0.2080	2097344
0.2171	0.1958	1200	0.1999	2515056
0.2525	0.2284	1400	0.1943	2943280
0.1277	0.2610	1600	0.1899	3360448
0.2023	0.2937	1800	0.1893	3782768
0.2733	0.3263	2000	0.1875	4205680
0.1995	0.3589	2200	0.1857	4620944
0.1312	0.3915	2400	0.1806	5037232
0.3288	0.4242	2600	0.1805	5452736
0.2526	0.4568	2800	0.1780	5872752
0.1762	0.4894	3000	0.1762	6285232
0.2628	0.5221	3200	0.1769	6699264
0.1193	0.5547	3400	0.1741	7118336
0.0968	0.5873	3600	0.1734	7533408
0.197	0.6200	3800	0.1715	7950560
0.1932	0.6526	4000	0.1725	8372672
0.0675	0.6852	4200	0.1701	8796048
0.2092	0.7178	4400	0.1704	9210416
0.1398	0.7505	4600	0.1695	9628832
0.1963	0.7831	4800	0.1680	10048144
0.0792	0.8157	5000	0.1707	10460144
0.1101	0.8484	5200	0.1684	10871296
0.2328	0.8810	5400	0.1661	11287600
0.1701	0.9136	5600	0.1652	11707328
0.3038	0.9462	5800	0.1644	12120624
0.1343	0.9789	6000	0.1669	12542416
0.1047	1.0114	6200	0.1671	12963008
0.3091	1.0440	6400	0.1649	13388336
0.1802	1.0767	6600	0.1639	13816224
0.2312	1.1093	6800	0.1636	14228240
0.1227	1.1419	7000	0.1636	14637984
0.2078	1.1746	7200	0.1643	15049216
0.0908	1.2072	7400	0.1641	15471984
0.2253	1.2398	7600	0.1611	15891152
0.1724	1.2725	7800	0.1612	16309376
0.0729	1.3051	8000	0.1654	16729632
0.1377	1.3377	8200	0.1617	17139952
0.0959	1.3703	8400	0.1617	17557136
0.2615	1.4030	8600	0.1614	17974864
0.0771	1.4356	8800	0.1597	18394320
0.2248	1.4682	9000	0.1604	18820208
0.0703	1.5009	9200	0.1585	19244192
0.2661	1.5335	9400	0.1603	19654192
0.1087	1.5661	9600	0.1738	20077520
0.2123	1.5987	9800	0.1638	20493344
0.1871	1.6314	10000	0.1566	20912896
0.1397	1.6640	10200	0.1566	21328976
0.1838	1.6966	10400	0.1564	21752192
0.2872	1.7293	10600	0.1562	22164912
0.1437	1.7619	10800	0.1552	22585216
0.1602	1.7945	11000	0.1577	23005600
0.1608	1.8271	11200	0.1566	23413712
0.1853	1.8598	11400	0.1552	23827536
0.2382	1.8924	11600	0.1547	24242256
0.1231	1.9250	11800	0.1562	24655408
0.1593	1.9577	12000	0.1571	25074096
0.1271	1.9903	12200	0.1541	25489056
0.1217	2.0228	12400	0.1539	25898496
0.3224	2.0555	12600	0.1561	26319696
0.1962	2.0881	12800	0.1537	26744896
0.1808	2.1207	13000	0.1565	27166064
0.0588	2.1534	13200	0.1540	27581264
0.1715	2.1860	13400	0.1535	27988880
0.0755	2.2186	13600	0.1599	28397472
0.2075	2.2512	13800	0.1544	28812800
0.1375	2.2839	14000	0.1569	29222656
0.0948	2.3165	14200	0.1556	29642224
0.2228	2.3491	14400	0.1553	30064704
0.206	2.3818	14600	0.1523	30481488
0.2614	2.4144	14800	0.1516	30900976
0.2144	2.4470	15000	0.1518	31321184
0.2015	2.4796	15200	0.1562	31730928
0.1263	2.5123	15400	0.1518	32146304
0.078	2.5449	15600	0.1538	32566096
0.1387	2.5775	15800	0.1526	32981664
0.0368	2.6102	16000	0.1515	33403328
0.1639	2.6428	16200	0.1536	33827808
0.1564	2.6754	16400	0.1503	34245456
0.0795	2.7081	16600	0.1516	34673616
0.0468	2.7407	16800	0.1520	35089872
0.1403	2.7733	17000	0.1517	35508944
0.1616	2.8059	17200	0.1561	35922144
0.2753	2.8386	17400	0.1502	36345856
0.0902	2.8712	17600	0.1507	36770688
0.1488	2.9038	17800	0.1514	37194864
0.0953	2.9365	18000	0.1510	37615344
0.077	2.9691	18200	0.1531	38030400
0.0876	3.0016	18400	0.1509	38435312
0.2077	3.0343	18600	0.1503	38869040
0.0981	3.0669	18800	0.1489	39294832
0.2002	3.0995	19000	0.1496	39706928
0.0804	3.1321	19200	0.1485	40121472
0.1886	3.1648	19400	0.1496	40537792
0.0639	3.1974	19600	0.1486	40958928
0.0807	3.2300	19800	0.1529	41378128
0.2395	3.2627	20000	0.1487	41794480
0.3287	3.2953	20200	0.1490	42208144
0.1315	3.3279	20400	0.1494	42625520
0.0903	3.3606	20600	0.1482	43054848
0.1272	3.3932	20800	0.1481	43472928
0.1451	3.4258	21000	0.1485	43892704
0.1077	3.4584	21200	0.1489	44309408
0.1034	3.4911	21400	0.1487	44724144
0.1073	3.5237	21600	0.1538	45143632
0.0487	3.5563	21800	0.1489	45567152
0.1089	3.5890	22000	0.1490	45983168
0.0441	3.6216	22200	0.1491	46401184
0.1729	3.6542	22400	0.1559	46813008
0.1677	3.6868	22600	0.1505	47233968
0.0671	3.7195	22800	0.1483	47650016
0.1531	3.7521	23000	0.1491	48064160
0.1185	3.7847	23200	0.1481	48484384
0.1924	3.8174	23400	0.1474	48897744
0.2113	3.8500	23600	0.1483	49308304
0.2101	3.8826	23800	0.1531	49728368
0.2145	3.9152	24000	0.1508	50140272
0.1506	3.9479	24200	0.1490	50557680
0.1616	3.9805	24400	0.1479	50978512
0.1815	4.0131	24600	0.1485	51394160
0.1009	4.0457	24800	0.1460	51821712
0.1093	4.0783	25000	0.1472	52244608
0.0902	4.1109	25200	0.1470	52659888
0.1097	4.1436	25400	0.1489	53073648
0.1237	4.1762	25600	0.1473	53493696
0.1174	4.2088	25800	0.1462	53907648
0.1013	4.2415	26000	0.1479	54327568
0.1924	4.2741	26200	0.1495	54743840
0.1208	4.3067	26400	0.1486	55158912
0.1074	4.3393	26600	0.1482	55575232
0.0959	4.3720	26800	0.1479	55994160
0.1721	4.4046	27000	0.1470	56410736
0.1117	4.4372	27200	0.1476	56838864
0.0809	4.4699	27400	0.1465	57245776
0.0728	4.5025	27600	0.1474	57651824
0.0711	4.5351	27800	0.1478	58060672
0.2079	4.5677	28000	0.1478	58475488
0.1568	4.6004	28200	0.1478	58898896
0.1535	4.6330	28400	0.1488	59318976
0.1921	4.6656	28600	0.1474	59739680
0.1951	4.6983	28800	0.1460	60159984
0.0631	4.7309	29000	0.1472	60579344
0.1807	4.7635	29200	0.1479	60992736
0.026	4.7961	29400	0.1469	61414080
0.1001	4.8288	29600	0.1468	61829776
0.0944	4.8614	29800	0.1471	62250704
0.0687	4.8940	30000	0.1466	62662656
0.0909	4.9267	30200	0.1477	63088352
0.0764	4.9593	30400	0.1487	63504960
0.1641	4.9919	30600	0.1474	63926432
0.1069	5.0245	30800	0.1476	64346032
0.176	5.0571	31000	0.1487	64764608
0.0301	5.0897	31200	0.1478	65180560
0.1166	5.1224	31400	0.1469	65600032
0.1037	5.1550	31600	0.1462	66007440
0.1412	5.1876	31800	0.1457	66416480
0.031	5.2202	32000	0.1459	66829712
0.0404	5.2529	32200	0.1461	67253936
0.0507	5.2855	32400	0.1465	67674048
0.3584	5.3181	32600	0.1466	68096656
0.2221	5.3508	32800	0.1464	68521600
0.0866	5.3834	33000	0.1466	68948064
0.1135	5.4160	33200	0.1460	69357008
0.1949	5.4486	33400	0.1467	69771824
0.2881	5.4813	33600	0.1468	70189824
0.0552	5.5139	33800	0.1461	70602704
0.0779	5.5465	34000	0.1462	71032768
0.1102	5.5792	34200	0.1462	71445488
0.1266	5.6118	34400	0.1460	71858096
0.0974	5.6444	34600	0.1460	72276272
0.1081	5.6771	34800	0.1461	72694032
0.0957	5.7097	35000	0.1464	73119856
0.2074	5.7423	35200	0.1467	73537984
0.0699	5.7749	35400	0.1466	73955216
0.0497	5.8076	35600	0.1468	74371040
0.2006	5.8402	35800	0.1469	74795680
0.0924	5.8728	36000	0.1465	75209824
0.0843	5.9055	36200	0.1469	75634096
0.1123	5.9381	36400	0.1468	76046144
0.0966	5.9707	36600	0.1469	76453936
0.1041	6.0033	36800	0.1468	76873152
0.1849	6.0359	37000	0.1468	77290000
0.1847	6.0685	37200	0.1469	77708416
0.0637	6.1012	37400	0.1468	78124432
0.0487	6.1338	37600	0.1470	78542400
0.2334	6.1664	37800	0.1461	78968368
0.0237	6.1990	38000	0.1467	79378528
0.3068	6.2317	38200	0.1467	79802112
0.1874	6.2643	38400	0.1470	80229344
0.081	6.2969	38600	0.1465	80643632
0.1335	6.3296	38800	0.1469	81051936
0.2042	6.3622	39000	0.1467	81475504
0.2154	6.3948	39200	0.1466	81889856
0.161	6.4274	39400	0.1471	82305408
0.1174	6.4601	39600	0.1471	82712800
0.0907	6.4927	39800	0.1471	83128704
0.0905	6.5253	40000	0.1471	83543088

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1