train_multirc_1745950269

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the multirc dataset. It achieves the following results on the evaluation set:

• Loss: 0.1157
• Num Input Tokens Seen: 83543088

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.0113	0.0326	200	0.2798	418192
0.0697	0.0653	400	0.1830	836224
0.2851	0.0979	600	0.1521	1258320
0.2035	0.1305	800	0.1581	1673984
0.0041	0.1631	1000	0.2035	2097344
0.3572	0.1958	1200	0.1916	2515056
0.1074	0.2284	1400	0.1496	2943280
0.1606	0.2610	1600	0.1806	3360448
0.0993	0.2937	1800	0.1707	3782768
0.1375	0.3263	2000	0.1442	4205680
0.1541	0.3589	2200	0.1444	4620944
0.2116	0.3915	2400	0.1864	5037232
0.3319	0.4242	2600	0.1552	5452736
0.2265	0.4568	2800	0.1455	5872752
0.1954	0.4894	3000	0.1592	6285232
0.2873	0.5221	3200	0.1588	6699264
0.0138	0.5547	3400	0.1486	7118336
0.1669	0.5873	3600	0.1723	7533408
0.124	0.6200	3800	0.1317	7950560
0.1481	0.6526	4000	0.1380	8372672
0.0196	0.6852	4200	0.1157	8796048
0.1814	0.7178	4400	0.1488	9210416
0.1653	0.7505	4600	0.1333	9628832
0.241	0.7831	4800	0.1242	10048144
0.0181	0.8157	5000	0.1493	10460144
0.0243	0.8484	5200	0.1234	10871296
0.1245	0.8810	5400	0.1370	11287600
0.2446	0.9136	5600	0.1320	11707328
0.2901	0.9462	5800	0.1273	12120624
0.0955	0.9789	6000	0.1295	12542416
0.0052	1.0114	6200	0.1568	12963008
0.2064	1.0440	6400	0.1729	13388336
0.071	1.0767	6600	0.1439	13816224
0.0787	1.1093	6800	0.1694	14228240
0.0657	1.1419	7000	0.1550	14637984
0.2013	1.1746	7200	0.1715	15049216
0.0052	1.2072	7400	0.1548	15471984
0.0925	1.2398	7600	0.1452	15891152
0.0125	1.2725	7800	0.2135	16309376
0.0858	1.3051	8000	0.1668	16729632
0.0841	1.3377	8200	0.1945	17139952
0.0364	1.3703	8400	0.1547	17557136
0.1378	1.4030	8600	0.1450	17974864
0.005	1.4356	8800	0.1707	18394320
0.1035	1.4682	9000	0.1488	18820208
0.0451	1.5009	9200	0.1394	19244192
0.3724	1.5335	9400	0.1551	19654192
0.1085	1.5661	9600	0.1922	20077520
0.0831	1.5987	9800	0.1657	20493344
0.2443	1.6314	10000	0.1582	20912896
0.0936	1.6640	10200	0.1347	21328976
0.0261	1.6966	10400	0.1755	21752192
0.2039	1.7293	10600	0.1443	22164912
0.0486	1.7619	10800	0.1490	22585216
0.0843	1.7945	11000	0.1694	23005600
0.0058	1.8271	11200	0.1557	23413712
0.0047	1.8598	11400	0.1436	23827536
0.2086	1.8924	11600	0.1559	24242256
0.0027	1.9250	11800	0.1699	24655408
0.0778	1.9577	12000	0.1558	25074096
0.0059	1.9903	12200	0.1476	25489056
0.0014	2.0228	12400	0.1600	25898496
0.0158	2.0555	12600	0.2106	26319696
0.0165	2.0881	12800	0.1959	26744896
0.0005	2.1207	13000	0.2374	27166064
0.004	2.1534	13200	0.1853	27581264
0.0011	2.1860	13400	0.1947	27988880
0.0002	2.2186	13600	0.2499	28397472
0.0168	2.2512	13800	0.1901	28812800
0.0001	2.2839	14000	0.2586	29222656
0.0001	2.3165	14200	0.3163	29642224
0.1603	2.3491	14400	0.2307	30064704
0.1898	2.3818	14600	0.2378	30481488
0.1174	2.4144	14800	0.2040	30900976
0.0628	2.4470	15000	0.2144	31321184
0.1108	2.4796	15200	0.1984	31730928
0.0002	2.5123	15400	0.2570	32146304
0.0005	2.5449	15600	0.2321	32566096
0.0246	2.5775	15800	0.2028	32981664
0.0003	2.6102	16000	0.2327	33403328
0.2709	2.6428	16200	0.2117	33827808
0.005	2.6754	16400	0.2098	34245456
0.0064	2.7081	16600	0.1721	34673616
0.0018	2.7407	16800	0.1828	35089872
0.0011	2.7733	17000	0.2057	35508944
0.0014	2.8059	17200	0.2124	35922144
0.1437	2.8386	17400	0.1937	36345856
0.0005	2.8712	17600	0.2340	36770688
0.1045	2.9038	17800	0.2172	37194864
0.0649	2.9365	18000	0.2250	37615344
0.0107	2.9691	18200	0.2105	38030400
0.0331	3.0016	18400	0.2211	38435312
0.0001	3.0343	18600	0.2377	38869040
0.0243	3.0669	18800	0.2421	39294832
0.0002	3.0995	19000	0.2706	39706928
0.2407	3.1321	19200	0.2776	40121472
0.0004	3.1648	19400	0.2393	40537792
0.0506	3.1974	19600	0.2951	40958928
0.0002	3.2300	19800	0.2875	41378128
0.0021	3.2627	20000	0.3018	41794480
0.0001	3.2953	20200	0.3098	42208144
0.0001	3.3279	20400	0.3503	42625520
0.0001	3.3606	20600	0.2909	43054848
0.012	3.3932	20800	0.2706	43472928
0.0002	3.4258	21000	0.3231	43892704
0.0003	3.4584	21200	0.2886	44309408
0.0005	3.4911	21400	0.2651	44724144
0.0003	3.5237	21600	0.3133	45143632
0.0001	3.5563	21800	0.2885	45567152
0.0001	3.5890	22000	0.2738	45983168
0.0	3.6216	22200	0.2961	46401184
0.0003	3.6542	22400	0.2744	46813008
0.0002	3.6868	22600	0.2702	47233968
0.0002	3.7195	22800	0.3225	47650016
0.0758	3.7521	23000	0.2688	48064160
0.0	3.7847	23200	0.2761	48484384
0.1798	3.8174	23400	0.2953	48897744
0.1346	3.8500	23600	0.3381	49308304
0.197	3.8826	23800	0.2902	49728368
0.0533	3.9152	24000	0.2847	50140272
0.0002	3.9479	24200	0.3053	50557680
0.0975	3.9805	24400	0.2720	50978512
0.0015	4.0131	24600	0.2766	51394160
0.0005	4.0457	24800	0.3133	51821712
0.0001	4.0783	25000	0.2890	52244608
0.0007	4.1109	25200	0.3039	52659888
0.0063	4.1436	25400	0.3546	53073648
0.1907	4.1762	25600	0.3111	53493696
0.0271	4.2088	25800	0.3361	53907648
0.0	4.2415	26000	0.3252	54327568
0.0001	4.2741	26200	0.3320	54743840
0.0	4.3067	26400	0.3365	55158912
0.0	4.3393	26600	0.3589	55575232
0.0	4.3720	26800	0.3632	55994160
0.0822	4.4046	27000	0.3358	56410736
0.0	4.4372	27200	0.3637	56838864
0.0	4.4699	27400	0.3515	57245776
0.0002	4.5025	27600	0.3249	57651824
0.0	4.5351	27800	0.3735	58060672
0.0001	4.5677	28000	0.3742	58475488
0.0006	4.6004	28200	0.3669	58898896
0.0	4.6330	28400	0.3762	59318976
0.0002	4.6656	28600	0.3225	59739680
0.1191	4.6983	28800	0.3088	60159984
0.0013	4.7309	29000	0.3189	60579344
0.0001	4.7635	29200	0.3283	60992736
0.0	4.7961	29400	0.3397	61414080
0.0	4.8288	29600	0.3435	61829776
0.0	4.8614	29800	0.3347	62250704
0.0	4.8940	30000	0.3409	62662656
0.0004	4.9267	30200	0.3360	63088352
0.0	4.9593	30400	0.3415	63504960
0.0	4.9919	30600	0.3232	63926432
0.0001	5.0245	30800	0.3433	64346032
0.0	5.0571	31000	0.3483	64764608
0.0	5.0897	31200	0.3647	65180560
0.0	5.1224	31400	0.3892	65600032
0.0	5.1550	31600	0.3872	66007440
0.0	5.1876	31800	0.3801	66416480
0.0	5.2202	32000	0.4072	66829712
0.0	5.2529	32200	0.4245	67253936
0.0	5.2855	32400	0.4272	67674048
0.0225	5.3181	32600	0.4200	68096656
0.0	5.3508	32800	0.4149	68521600
0.0	5.3834	33000	0.4281	68948064
0.0	5.4160	33200	0.4336	69357008
0.0	5.4486	33400	0.4486	69771824
0.0	5.4813	33600	0.4598	70189824
0.0	5.5139	33800	0.4637	70602704
0.0	5.5465	34000	0.4664	71032768
0.0	5.5792	34200	0.4400	71445488
0.0	5.6118	34400	0.4436	71858096
0.0	5.6444	34600	0.4491	72276272
0.0	5.6771	34800	0.4542	72694032
0.0	5.7097	35000	0.4580	73119856
0.0	5.7423	35200	0.4651	73537984
0.0	5.7749	35400	0.4555	73955216
0.0	5.8076	35600	0.4615	74371040
0.0	5.8402	35800	0.4651	74795680
0.0	5.8728	36000	0.4621	75209824
0.0	5.9055	36200	0.4590	75634096
0.0	5.9381	36400	0.4607	76046144
0.0	5.9707	36600	0.4630	76453936
0.0	6.0033	36800	0.4584	76873152
0.0	6.0359	37000	0.4591	77290000
0.0	6.0685	37200	0.4631	77708416
0.0	6.1012	37400	0.4647	78124432
0.0	6.1338	37600	0.4641	78542400
0.0	6.1664	37800	0.4622	78968368
0.0	6.1990	38000	0.4641	79378528
0.0	6.2317	38200	0.4642	79802112
0.0	6.2643	38400	0.4647	80229344
0.0	6.2969	38600	0.4646	80643632
0.0	6.3296	38800	0.4660	81051936
0.0	6.3622	39000	0.4661	81475504
0.0	6.3948	39200	0.4664	81889856
0.0	6.4274	39400	0.4665	82305408
0.0	6.4601	39600	0.4654	82712800
0.0	6.4927	39800	0.4659	83128704
0.0	6.5253	40000	0.4664	83543088

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1