train_boolq_1745950279

This model is a fine-tuned version of mistralai/Mistral-7B-Instruct-v0.3 on the boolq dataset. It achieves the following results on the evaluation set:

• Loss: 0.1734
• Num Input Tokens Seen: 37097424

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.3747	0.0943	200	0.6101	186768
0.4927	0.1886	400	0.4053	369808
0.4778	0.2829	600	0.3221	554928
0.1419	0.3772	800	0.2830	746560
0.1589	0.4715	1000	0.2755	932848
0.2319	0.5658	1200	0.2659	1116128
0.3277	0.6601	1400	0.2518	1299664
0.1762	0.7544	1600	0.2510	1481856
0.2509	0.8487	1800	0.2417	1672160
0.2078	0.9430	2000	0.2433	1860608
0.2891	1.0372	2200	0.2413	2047984
0.2778	1.1315	2400	0.2378	2230960
0.1893	1.2258	2600	0.2350	2417664
0.2807	1.3201	2800	0.2313	2600368
0.075	1.4144	3000	0.2307	2786848
0.3852	1.5087	3200	0.2272	2972672
0.1396	1.6030	3400	0.2217	3154640
0.2861	1.6973	3600	0.2177	3339328
0.2532	1.7916	3800	0.2164	3522384
0.1929	1.8859	4000	0.2157	3712352
0.0955	1.9802	4200	0.2144	3899328
0.2602	2.0745	4400	0.2125	4085888
0.2049	2.1688	4600	0.2130	4271936
0.1363	2.2631	4800	0.2087	4456320
0.2189	2.3574	5000	0.2121	4638512
0.2196	2.4517	5200	0.2060	4830688
0.1345	2.5460	5400	0.2042	5016480
0.1343	2.6403	5600	0.2048	5204048
0.1826	2.7346	5800	0.2032	5383984
0.1884	2.8289	6000	0.2015	5574016
0.18	2.9231	6200	0.2020	5761616
0.1142	3.0174	6400	0.2032	5948128
0.2058	3.1117	6600	0.1978	6134304
0.2255	3.2060	6800	0.1971	6319616
0.3024	3.3003	7000	0.1976	6505744
0.1922	3.3946	7200	0.1954	6692208
0.1627	3.4889	7400	0.1989	6875616
0.168	3.5832	7600	0.1959	7059472
0.2102	3.6775	7800	0.1963	7243472
0.2102	3.7718	8000	0.1962	7428048
0.0869	3.8661	8200	0.1937	7611184
0.0836	3.9604	8400	0.1958	7796112
0.2088	4.0547	8600	0.1955	7979520
0.1416	4.1490	8800	0.1923	8167776
0.0892	4.2433	9000	0.1918	8355856
0.2403	4.3376	9200	0.1918	8543120
0.1519	4.4319	9400	0.1874	8727088
0.1449	4.5262	9600	0.1881	8914992
0.1177	4.6205	9800	0.1884	9095040
0.1718	4.7148	10000	0.1881	9283072
0.0807	4.8091	10200	0.1880	9467600
0.1235	4.9033	10400	0.1869	9653456
0.1196	4.9976	10600	0.1884	9841232
0.1011	5.0919	10800	0.1873	10025504
0.2014	5.1862	11000	0.1906	10216464
0.3322	5.2805	11200	0.1863	10402448
0.1154	5.3748	11400	0.1855	10586976
0.1315	5.4691	11600	0.1855	10770896
0.1692	5.5634	11800	0.1837	10959424
0.2054	5.6577	12000	0.1832	11146816
0.2848	5.7520	12200	0.1838	11328528
0.2313	5.8463	12400	0.1821	11515600
0.156	5.9406	12600	0.1819	11697056
0.0869	6.0349	12800	0.1828	11884336
0.086	6.1292	13000	0.1824	12074128
0.1994	6.2235	13200	0.1821	12258064
0.1672	6.3178	13400	0.1822	12443248
0.0723	6.4121	13600	0.1824	12626480
0.2084	6.5064	13800	0.1825	12813808
0.1675	6.6007	14000	0.1833	12998256
0.1439	6.6950	14200	0.1806	13180928
0.1053	6.7893	14400	0.1791	13364368
0.2958	6.8835	14600	0.1790	13552272
0.1603	6.9778	14800	0.1788	13735904
0.1454	7.0721	15000	0.1784	13924000
0.179	7.1664	15200	0.1792	14113184
0.146	7.2607	15400	0.1789	14295568
0.1527	7.3550	15600	0.1785	14480560
0.2474	7.4493	15800	0.1778	14664736
0.1638	7.5436	16000	0.1778	14852128
0.1835	7.6379	16200	0.1792	15033840
0.1075	7.7322	16400	0.1793	15219136
0.0843	7.8265	16600	0.1799	15404160
0.149	7.9208	16800	0.1789	15589632
0.0567	8.0151	17000	0.1808	15781760
0.2924	8.1094	17200	0.1785	15967648
0.1977	8.2037	17400	0.1769	16155248
0.2233	8.2980	17600	0.1764	16343648
0.1287	8.3923	17800	0.1774	16523360
0.0674	8.4866	18000	0.1779	16709008
0.1918	8.5809	18200	0.1769	16893648
0.0863	8.6752	18400	0.1785	17079824
0.3264	8.7694	18600	0.1769	17265072
0.3518	8.8637	18800	0.1784	17445904
0.0965	8.9580	19000	0.1781	17631504
0.1756	9.0523	19200	0.1752	17818512
0.0614	9.1466	19400	0.1781	18005200
0.0944	9.2409	19600	0.1798	18190416
0.1835	9.3352	19800	0.1783	18373200
0.3181	9.4295	20000	0.1765	18556672
0.1796	9.5238	20200	0.1783	18742816
0.1772	9.6181	20400	0.1766	18930224
0.1901	9.7124	20600	0.1750	19115456
0.0838	9.8067	20800	0.1759	19296016
0.1084	9.9010	21000	0.1762	19482416
0.0814	9.9953	21200	0.1760	19668640
0.1337	10.0896	21400	0.1755	19860880
0.1011	10.1839	21600	0.1756	20052672
0.1261	10.2782	21800	0.1763	20236224
0.086	10.3725	22000	0.1763	20421632
0.1666	10.4668	22200	0.1751	20608320
0.0767	10.5611	22400	0.1761	20788112
0.1524	10.6554	22600	0.1766	20969744
0.0645	10.7496	22800	0.1749	21151648
0.2225	10.8439	23000	0.1744	21335600
0.0844	10.9382	23200	0.1759	21522352
0.0813	11.0325	23400	0.1758	21709568
0.1755	11.1268	23600	0.1755	21894592
0.0949	11.2211	23800	0.1746	22079344
0.1361	11.3154	24000	0.1765	22269152
0.0845	11.4097	24200	0.1749	22451760
0.1977	11.5040	24400	0.1755	22639312
0.0848	11.5983	24600	0.1756	22821728
0.1916	11.6926	24800	0.1762	23005696
0.0669	11.7869	25000	0.1750	23192112
0.0942	11.8812	25200	0.1748	23373840
0.1216	11.9755	25400	0.1757	23559968
0.1098	12.0698	25600	0.1745	23743680
0.2496	12.1641	25800	0.1749	23931472
0.0835	12.2584	26000	0.1759	24118800
0.1723	12.3527	26200	0.1755	24308976
0.0358	12.4470	26400	0.1747	24493584
0.1194	12.5413	26600	0.1747	24679264
0.0989	12.6355	26800	0.1749	24861136
0.1756	12.7298	27000	0.1739	25046496
0.2861	12.8241	27200	0.1754	25230592
0.1567	12.9184	27400	0.1747	25411904
0.2287	13.0127	27600	0.1748	25595280
0.2106	13.1070	27800	0.1746	25777696
0.0829	13.2013	28000	0.1749	25963552
0.0886	13.2956	28200	0.1760	26150464
0.1782	13.3899	28400	0.1759	26335552
0.2754	13.4842	28600	0.1742	26524096
0.1365	13.5785	28800	0.1734	26713392
0.0954	13.6728	29000	0.1747	26900464
0.2517	13.7671	29200	0.1736	27087040
0.0939	13.8614	29400	0.1735	27270960
0.0904	13.9557	29600	0.1744	27457936
0.1425	14.0500	29800	0.1755	27639216
0.3097	14.1443	30000	0.1743	27829056
0.1465	14.2386	30200	0.1748	28019840
0.1265	14.3329	30400	0.1735	28205616
0.1129	14.4272	30600	0.1747	28390464
0.1108	14.5215	30800	0.1743	28571424
0.11	14.6157	31000	0.1736	28758128
0.205	14.7100	31200	0.1743	28942096
0.13	14.8043	31400	0.1747	29127440
0.0576	14.8986	31600	0.1751	29310016
0.0371	14.9929	31800	0.1735	29497520
0.1972	15.0872	32000	0.1748	29680160
0.0715	15.1815	32200	0.1746	29872080
0.1121	15.2758	32400	0.1753	30060048
0.2687	15.3701	32600	0.1751	30243024
0.1339	15.4644	32800	0.1744	30433968
0.0611	15.5587	33000	0.1745	30617936
0.0225	15.6530	33200	0.1744	30802960
0.0618	15.7473	33400	0.1746	30985296
0.0761	15.8416	33600	0.1747	31168496
0.1043	15.9359	33800	0.1740	31350688
0.1142	16.0302	34000	0.1743	31530704
0.0584	16.1245	34200	0.1745	31718960
0.1624	16.2188	34400	0.1746	31901696
0.0988	16.3131	34600	0.1747	32092528
0.2405	16.4074	34800	0.1741	32279920
0.2101	16.5017	35000	0.1740	32461952
0.0511	16.5959	35200	0.1739	32647696
0.0933	16.6902	35400	0.1745	32828656
0.0327	16.7845	35600	0.1745	33016320
0.0571	16.8788	35800	0.1741	33202224
0.1662	16.9731	36000	0.1745	33385424
0.0461	17.0674	36200	0.1745	33572672
0.0935	17.1617	36400	0.1745	33759120
0.1082	17.2560	36600	0.1738	33946224
0.0801	17.3503	36800	0.1743	34137504
0.1475	17.4446	37000	0.1747	34322448
0.1563	17.5389	37200	0.1741	34506880
0.3343	17.6332	37400	0.1739	34692032
0.1329	17.7275	37600	0.1743	34873984
0.174	17.8218	37800	0.1743	35058576
0.0348	17.9161	38000	0.1739	35245152
0.0545	18.0104	38200	0.1747	35431232
0.0686	18.1047	38400	0.1749	35615248
0.017	18.1990	38600	0.1747	35798688
0.2448	18.2933	38800	0.1746	35984224
0.1179	18.3876	39000	0.1750	36168064
0.0444	18.4818	39200	0.1748	36351216
0.0805	18.5761	39400	0.1740	36537456
0.0369	18.6704	39600	0.1744	36723376
0.0285	18.7647	39800	0.1744	36910256
0.0956	18.8590	40000	0.1744	37097424

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1