train_copa_1745950328

This model is a fine-tuned version of meta-llama/Meta-Llama-3-8B-Instruct on the copa dataset. It achieves the following results on the evaluation set:

• Loss: 0.2393
• Num Input Tokens Seen: 10717440

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 2
• eval_batch_size: 2
• seed: 123
• gradient_accumulation_steps: 2
• total_train_batch_size: 4
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.249	2.2222	200	0.2650	53616
0.2122	4.4444	400	0.2569	107088
0.264	6.6667	600	0.2474	160704
0.2442	8.8889	800	0.2476	214352
0.2985	11.1111	1000	0.2467	267952
0.2678	13.3333	1200	0.2437	321488
0.2145	15.5556	1400	0.2443	374992
0.1554	17.7778	1600	0.2458	428624
0.2524	20.0	1800	0.2422	482064
0.2292	22.2222	2000	0.2432	535648
0.2286	24.4444	2200	0.2437	589072
0.2444	26.6667	2400	0.2452	642784
0.2983	28.8889	2600	0.2456	696288
0.3363	31.1111	2800	0.2450	749968
0.2381	33.3333	3000	0.2457	803504
0.2538	35.5556	3200	0.2465	857200
0.3304	37.7778	3400	0.2418	910768
0.2652	40.0	3600	0.2453	964400
0.1856	42.2222	3800	0.2456	1017840
0.2294	44.4444	4000	0.2451	1071552
0.314	46.6667	4200	0.2442	1125296
0.2461	48.8889	4400	0.2446	1178960
0.222	51.1111	4600	0.2434	1232640
0.1726	53.3333	4800	0.2431	1286048
0.145	55.5556	5000	0.2424	1339712
0.217	57.7778	5200	0.2442	1393248
0.3054	60.0	5400	0.2436	1446832
0.1896	62.2222	5600	0.2451	1500496
0.2723	64.4444	5800	0.2434	1554112
0.2783	66.6667	6000	0.2433	1607856
0.2558	68.8889	6200	0.2463	1661408
0.2303	71.1111	6400	0.2466	1714960
0.1338	73.3333	6600	0.2476	1768352
0.2185	75.5556	6800	0.2427	1821936
0.2454	77.7778	7000	0.2442	1875424
0.2835	80.0	7200	0.2442	1929008
0.1473	82.2222	7400	0.2451	1982720
0.3065	84.4444	7600	0.2484	2036336
0.1908	86.6667	7800	0.2447	2089872
0.2778	88.8889	8000	0.2443	2143520
0.3126	91.1111	8200	0.2419	2197072
0.2342	93.3333	8400	0.2413	2250672
0.2139	95.5556	8600	0.2421	2304256
0.2789	97.7778	8800	0.2440	2357840
0.2714	100.0	9000	0.2429	2411392
0.2004	102.2222	9200	0.2437	2464928
0.3514	104.4444	9400	0.2468	2518544
0.2062	106.6667	9600	0.2440	2572032
0.1885	108.8889	9800	0.2448	2625568
0.2494	111.1111	10000	0.2439	2679136
0.2532	113.3333	10200	0.2448	2732608
0.3136	115.5556	10400	0.2464	2786240
0.2379	117.7778	10600	0.2446	2839920
0.2502	120.0	10800	0.2461	2893488
0.3012	122.2222	11000	0.2438	2947104
0.2228	124.4444	11200	0.2439	3000560
0.2555	126.6667	11400	0.2450	3054176
0.1827	128.8889	11600	0.2426	3107744
0.3739	131.1111	11800	0.2444	3161488
0.2066	133.3333	12000	0.2434	3215088
0.3021	135.5556	12200	0.2444	3268640
0.1839	137.7778	12400	0.2431	3322144
0.341	140.0	12600	0.2464	3375792
0.3763	142.2222	12800	0.2424	3429312
0.2815	144.4444	13000	0.2460	3482800
0.2505	146.6667	13200	0.2444	3536544
0.3749	148.8889	13400	0.2492	3590208
0.1767	151.1111	13600	0.2463	3643872
0.3467	153.3333	13800	0.2420	3697456
0.1782	155.5556	14000	0.2436	3751008
0.2398	157.7778	14200	0.2434	3804608
0.2278	160.0	14400	0.2483	3858240
0.2431	162.2222	14600	0.2418	3911808
0.3167	164.4444	14800	0.2465	3965376
0.2996	166.6667	15000	0.2416	4018880
0.2243	168.8889	15200	0.2429	4072432
0.2011	171.1111	15400	0.2427	4125888
0.2243	173.3333	15600	0.2443	4179552
0.235	175.5556	15800	0.2444	4233072
0.28	177.7778	16000	0.2424	4286672
0.1553	180.0	16200	0.2441	4340240
0.2487	182.2222	16400	0.2438	4393824
0.2182	184.4444	16600	0.2405	4447408
0.1855	186.6667	16800	0.2478	4500864
0.3214	188.8889	17000	0.2458	4554512
0.2454	191.1111	17200	0.2469	4608128
0.2078	193.3333	17400	0.2464	4661856
0.2126	195.5556	17600	0.2440	4715392
0.2936	197.7778	17800	0.2411	4768912
0.158	200.0	18000	0.2448	4822464
0.1753	202.2222	18200	0.2434	4876096
0.2528	204.4444	18400	0.2487	4929776
0.1878	206.6667	18600	0.2447	4983440
0.1645	208.8889	18800	0.2458	5036880
0.2585	211.1111	19000	0.2422	5090400
0.1857	213.3333	19200	0.2438	5144016
0.2457	215.5556	19400	0.2393	5197664
0.2381	217.7778	19600	0.2449	5251232
0.2536	220.0	19800	0.2430	5304880
0.3643	222.2222	20000	0.2430	5358528
0.2472	224.4444	20200	0.2430	5412064
0.286	226.6667	20400	0.2474	5465696
0.2261	228.8889	20600	0.2410	5519328
0.2567	231.1111	20800	0.2422	5572928
0.2365	233.3333	21000	0.2465	5626480
0.1419	235.5556	21200	0.2448	5680080
0.254	237.7778	21400	0.2436	5733584
0.2703	240.0	21600	0.2440	5787248
0.3428	242.2222	21800	0.2430	5840896
0.1963	244.4444	22000	0.2467	5894480
0.2324	246.6667	22200	0.2450	5948128
0.2373	248.8889	22400	0.2440	6001664
0.2214	251.1111	22600	0.2442	6055168
0.3133	253.3333	22800	0.2497	6108640
0.1887	255.5556	23000	0.2431	6162224
0.3154	257.7778	23200	0.2437	6215760
0.3175	260.0	23400	0.2468	6269472
0.2017	262.2222	23600	0.2463	6323056
0.2223	264.4444	23800	0.2417	6376544
0.2297	266.6667	24000	0.2445	6430112
0.2333	268.8889	24200	0.2479	6483760
0.2037	271.1111	24400	0.2448	6537312
0.2589	273.3333	24600	0.2456	6590736
0.2987	275.5556	24800	0.2421	6644544
0.193	277.7778	25000	0.2411	6697952
0.1586	280.0	25200	0.2426	6751696
0.2194	282.2222	25400	0.2451	6805232
0.1948	284.4444	25600	0.2449	6858992
0.2444	286.6667	25800	0.2434	6912336
0.3193	288.8889	26000	0.2476	6966000
0.2666	291.1111	26200	0.2482	7019648
0.1879	293.3333	26400	0.2465	7073328
0.1847	295.5556	26600	0.2435	7126848
0.2511	297.7778	26800	0.2435	7180368
0.2371	300.0	27000	0.2445	7233952
0.2325	302.2222	27200	0.2417	7287584
0.2158	304.4444	27400	0.2417	7341280
0.1322	306.6667	27600	0.2424	7394736
0.1819	308.8889	27800	0.2417	7448256
0.2471	311.1111	28000	0.2417	7501952
0.184	313.3333	28200	0.2417	7555536
0.2104	315.5556	28400	0.2417	7608976
0.2281	317.7778	28600	0.2417	7662624
0.2026	320.0	28800	0.2417	7716176
0.2396	322.2222	29000	0.2417	7769696
0.2269	324.4444	29200	0.2417	7823248
0.239	326.6667	29400	0.2417	7876800
0.2096	328.8889	29600	0.2417	7930352
0.3253	331.1111	29800	0.2417	7984000
0.2089	333.3333	30000	0.2417	8037664
0.1433	335.5556	30200	0.2417	8091056
0.2386	337.7778	30400	0.2417	8144624
0.1999	340.0	30600	0.2417	8198256
0.3065	342.2222	30800	0.2417	8251856
0.2738	344.4444	31000	0.2417	8305456
0.2729	346.6667	31200	0.2417	8359104
0.2249	348.8889	31400	0.2417	8412784
0.3333	351.1111	31600	0.2417	8466240
0.2266	353.3333	31800	0.2417	8520000
0.2858	355.5556	32000	0.2417	8573472
0.1504	357.7778	32200	0.2417	8627184
0.3179	360.0	32400	0.2417	8680880
0.2301	362.2222	32600	0.2417	8734512
0.1895	364.4444	32800	0.2417	8788064
0.1874	366.6667	33000	0.2417	8841744
0.2241	368.8889	33200	0.2417	8895200
0.1991	371.1111	33400	0.2417	8948880
0.2658	373.3333	33600	0.2417	9002400
0.257	375.5556	33800	0.2417	9056032
0.2378	377.7778	34000	0.2417	9109600
0.3233	380.0	34200	0.2417	9163168
0.2302	382.2222	34400	0.2417	9216832
0.2396	384.4444	34600	0.2417	9270352
0.2097	386.6667	34800	0.2417	9324080
0.2762	388.8889	35000	0.2417	9377712
0.263	391.1111	35200	0.2417	9431360
0.2618	393.3333	35400	0.2417	9484880
0.3673	395.5556	35600	0.2417	9538464
0.141	397.7778	35800	0.2417	9592208
0.2086	400.0	36000	0.2417	9645776
0.2325	402.2222	36200	0.2417	9699488
0.2119	404.4444	36400	0.2417	9753088
0.2784	406.6667	36600	0.2417	9806544
0.2419	408.8889	36800	0.2417	9859984
0.2946	411.1111	37000	0.2417	9913568
0.2693	413.3333	37200	0.2417	9967168
0.2372	415.5556	37400	0.2417	10020864
0.2085	417.7778	37600	0.2417	10074384
0.2862	420.0	37800	0.2417	10127968
0.2444	422.2222	38000	0.2417	10181584
0.2881	424.4444	38200	0.2417	10235168
0.29	426.6667	38400	0.2417	10288720
0.2534	428.8889	38600	0.2417	10342320
0.2455	431.1111	38800	0.2417	10395824
0.2855	433.3333	39000	0.2417	10449408
0.2388	435.5556	39200	0.2417	10503040
0.2078	437.7778	39400	0.2417	10556640
0.3422	440.0	39600	0.2417	10610256
0.2206	442.2222	39800	0.2417	10663840
0.269	444.4444	40000	0.2417	10717440

Framework versions

• PEFT 0.15.2.dev0
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1