train_boolq_1745950275

This model is a fine-tuned version of meta-llama/Meta-Llama-3-8B-Instruct on the boolq dataset. It achieves the following results on the evaluation set:

• Loss: 0.1521
• Num Input Tokens Seen: 34078960

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.1777	0.0943	200	0.2545	171472
0.1258	0.1886	400	0.2260	339520
0.2956	0.2829	600	0.2099	509632
0.2504	0.3772	800	0.2036	685120
0.1114	0.4715	1000	0.1976	856144
0.1679	0.5658	1200	0.1995	1024448
0.1439	0.6601	1400	0.1884	1192560
0.1446	0.7544	1600	0.1898	1360304
0.1733	0.8487	1800	0.1853	1535088
0.2332	0.9430	2000	0.1866	1708224
0.1686	1.0372	2200	0.1832	1880336
0.2175	1.1315	2400	0.1807	2048144
0.3279	1.2258	2600	0.1763	2220048
0.1667	1.3201	2800	0.1772	2388128
0.0492	1.4144	3000	0.1795	2559696
0.1343	1.5087	3200	0.1751	2730224
0.1027	1.6030	3400	0.1743	2897744
0.1868	1.6973	3600	0.1710	3067728
0.164	1.7916	3800	0.1717	3235856
0.1949	1.8859	4000	0.1716	3409536
0.089	1.9802	4200	0.1703	3581600
0.2176	2.0745	4400	0.1702	3753552
0.2382	2.1688	4600	0.1677	3924224
0.066	2.2631	4800	0.1675	4093360
0.1673	2.3574	5000	0.1685	4261312
0.1982	2.4517	5200	0.1650	4438224
0.1594	2.5460	5400	0.1656	4608992
0.0892	2.6403	5600	0.1644	4780976
0.1245	2.7346	5800	0.1644	4946848
0.1186	2.8289	6000	0.1652	5120704
0.2679	2.9231	6200	0.1650	5292816
0.0883	3.0174	6400	0.1658	5463728
0.2482	3.1117	6600	0.1629	5634528
0.2016	3.2060	6800	0.1627	5805344
0.2654	3.3003	7000	0.1653	5976160
0.1614	3.3946	7200	0.1592	6147200
0.1634	3.4889	7400	0.1607	6315984
0.1448	3.5832	7600	0.1607	6484512
0.2343	3.6775	7800	0.1638	6653536
0.1431	3.7718	8000	0.1651	6823184
0.0359	3.8661	8200	0.1623	6991232
0.1108	3.9604	8400	0.1611	7161488
0.3282	4.0547	8600	0.1625	7330416
0.1279	4.1490	8800	0.1609	7502960
0.0652	4.2433	9000	0.1605	7675776
0.0879	4.3376	9200	0.1588	7847200
0.1079	4.4319	9400	0.1568	8016080
0.2003	4.5262	9600	0.1582	8189040
0.1229	4.6205	9800	0.1579	8355360
0.0716	4.7148	10000	0.1575	8527824
0.0914	4.8091	10200	0.1580	8697376
0.0675	4.9033	10400	0.1561	8867872
0.0844	4.9976	10600	0.1563	9039888
0.1205	5.0919	10800	0.1566	9209232
0.1736	5.1862	11000	0.1572	9384064
0.2445	5.2805	11200	0.1556	9555168
0.0935	5.3748	11400	0.1570	9724832
0.0503	5.4691	11600	0.1577	9894608
0.1859	5.5634	11800	0.1560	10067376
0.1585	5.6577	12000	0.1543	10239648
0.3472	5.7520	12200	0.1545	10406400
0.2219	5.8463	12400	0.1542	10578176
0.099	5.9406	12600	0.1558	10745200
0.1175	6.0349	12800	0.1546	10917056
0.0501	6.1292	13000	0.1553	11091376
0.277	6.2235	13200	0.1565	11260160
0.1083	6.3178	13400	0.1556	11430512
0.0664	6.4121	13600	0.1554	11598992
0.1192	6.5064	13800	0.1557	11771312
0.1656	6.6007	14000	0.1561	11940256
0.0614	6.6950	14200	0.1561	12108896
0.1129	6.7893	14400	0.1538	12277824
0.1798	6.8835	14600	0.1521	12450224
0.127	6.9778	14800	0.1523	12618544
0.186	7.0721	15000	0.1542	12791104
0.2926	7.1664	15200	0.1535	12964976
0.1652	7.2607	15400	0.1539	13132848
0.1342	7.3550	15600	0.1536	13302528
0.2071	7.4493	15800	0.1527	13471696
0.1459	7.5436	16000	0.1538	13643264
0.1011	7.6379	16200	0.1552	13810336
0.1105	7.7322	16400	0.1527	13980096
0.0924	7.8265	16600	0.1543	14150688
0.1946	7.9208	16800	0.1538	14320928
0.0624	8.0151	17000	0.1541	14497120
0.1399	8.1094	17200	0.1528	14667440
0.0946	8.2037	17400	0.1528	14839920
0.2651	8.2980	17600	0.1533	15013152
0.1825	8.3923	17800	0.1539	15178480
0.0592	8.4866	18000	0.1543	15349216
0.2377	8.5809	18200	0.1524	15518736
0.0716	8.6752	18400	0.1533	15689568
0.2108	8.7694	18600	0.1526	15859632
0.2167	8.8637	18800	0.1540	16025920
0.0947	8.9580	19000	0.1549	16196560
0.0713	9.0523	19200	0.1525	16368144
0.0352	9.1466	19400	0.1543	16539952
0.085	9.2409	19600	0.1553	16710384
0.1088	9.3352	19800	0.1534	16878624
0.2167	9.4295	20000	0.1532	17046992
0.1012	9.5238	20200	0.1544	17218176
0.1551	9.6181	20400	0.1539	17390384
0.1257	9.7124	20600	0.1549	17560512
0.1623	9.8067	20800	0.1521	17726048
0.0842	9.9010	21000	0.1534	17897376
0.0665	9.9953	21200	0.1539	18068096
0.0973	10.0896	21400	0.1544	18244704
0.0614	10.1839	21600	0.1553	18420464
0.1158	10.2782	21800	0.1563	18588480
0.0346	10.3725	22000	0.1556	18758992
0.1553	10.4668	22200	0.1540	18930688
0.0412	10.5611	22400	0.1537	19096400
0.1715	10.6554	22600	0.1549	19263456
0.034	10.7496	22800	0.1535	19430576
0.2262	10.8439	23000	0.1538	19599200
0.1555	10.9382	23200	0.1545	19770608
0.0352	11.0325	23400	0.1548	19942144
0.184	11.1268	23600	0.1548	20112704
0.099	11.2211	23800	0.1541	20282048
0.0667	11.3154	24000	0.1546	20456384
0.0295	11.4097	24200	0.1547	20624672
0.1962	11.5040	24400	0.1542	20796640
0.0524	11.5983	24600	0.1545	20964288
0.0915	11.6926	24800	0.1549	21132896
0.1174	11.7869	25000	0.1550	21304080
0.0824	11.8812	25200	0.1544	21471264
0.0906	11.9755	25400	0.1547	21642432
0.1971	12.0698	25600	0.1543	21811200
0.143	12.1641	25800	0.1545	21983552
0.0693	12.2584	26000	0.1544	22155824
0.1468	12.3527	26200	0.1546	22329984
0.0098	12.4470	26400	0.1538	22499472
0.1142	12.5413	26600	0.1548	22669904
0.0558	12.6355	26800	0.1544	22837440
0.1753	12.7298	27000	0.1556	23008384
0.2376	12.8241	27200	0.1549	23177264
0.2007	12.9184	27400	0.1545	23344128
0.1755	13.0127	27600	0.1545	23512272
0.1831	13.1070	27800	0.1555	23680080
0.0258	13.2013	28000	0.1563	23850944
0.0453	13.2956	28200	0.1541	24022624
0.1384	13.3899	28400	0.1559	24192144
0.1361	13.4842	28600	0.1549	24364768
0.1766	13.5785	28800	0.1548	24538352
0.1134	13.6728	29000	0.1557	24710416
0.2337	13.7671	29200	0.1551	24881936
0.0416	13.8614	29400	0.1552	25050656
0.0573	13.9557	29600	0.1549	25222752
0.2282	14.0500	29800	0.1546	25389344
0.1785	14.1443	30000	0.1544	25563712
0.0315	14.2386	30200	0.1545	25738992
0.1584	14.3329	30400	0.1548	25909744
0.2011	14.4272	30600	0.1545	26079120
0.1258	14.5215	30800	0.1549	26245936
0.058	14.6157	31000	0.1557	26416944
0.2056	14.7100	31200	0.1554	26586032
0.1314	14.8043	31400	0.1558	26756496
0.0536	14.8986	31600	0.1559	26924320
0.063	14.9929	31800	0.1552	27096688
0.0729	15.0872	32000	0.1559	27264640
0.1005	15.1815	32200	0.1562	27440592
0.0828	15.2758	32400	0.1564	27613248
0.107	15.3701	32600	0.1562	27781552
0.1195	15.4644	32800	0.1568	27956496
0.0595	15.5587	33000	0.1563	28125456
0.1127	15.6530	33200	0.1561	28295136
0.1262	15.7473	33400	0.1555	28462640
0.0328	15.8416	33600	0.1557	28631360
0.0875	15.9359	33800	0.1560	28799488
0.2192	16.0302	34000	0.1554	28964832
0.0945	16.1245	34200	0.1552	29137792
0.2199	16.2188	34400	0.1559	29306192
0.1038	16.3131	34600	0.1556	29481760
0.1014	16.4074	34800	0.1552	29654256
0.1126	16.5017	35000	0.1556	29821840
0.0518	16.5959	35200	0.1552	29992016
0.0633	16.6902	35400	0.1567	30157952
0.0144	16.7845	35600	0.1554	30329792
0.0329	16.8788	35800	0.1560	30500240
0.112	16.9731	36000	0.1560	30668944
0.1292	17.0674	36200	0.1563	30840688
0.0688	17.1617	36400	0.1561	31012176
0.1379	17.2560	36600	0.1565	31184160
0.1086	17.3503	36800	0.1556	31359648
0.0923	17.4446	37000	0.1559	31529872
0.0931	17.5389	37200	0.1558	31699104
0.198	17.6332	37400	0.1571	31870016
0.1057	17.7275	37600	0.1562	32036672
0.0387	17.8218	37800	0.1566	32206048
0.0918	17.9161	38000	0.1555	32377104
0.0353	18.0104	38200	0.1562	32548208
0.0838	18.1047	38400	0.1551	32716560
0.0218	18.1990	38600	0.1561	32885504
0.3615	18.2933	38800	0.1559	33056256
0.0707	18.3876	39000	0.1561	33225648
0.1724	18.4818	39200	0.1564	33393952
0.064	18.5761	39400	0.1562	33564304
0.0334	18.6704	39600	0.1562	33735024
0.0173	18.7647	39800	0.1562	33907088
0.0138	18.8590	40000	0.1562	34078960

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1