parity_small_lr5e-4_batch128_train1-5_eval6

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1654
• Accuracy: 0.9876

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0005
• train_batch_size: 128
• eval_batch_size: 512
• seed: 23452399
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	0	0	2.6241	0.0
2.4595	0.0064	100	2.4719	0.4935
2.2302	0.0128	200	2.2384	0.4935
1.9711	0.0192	300	1.9741	0.4935
1.621	0.0256	400	1.6482	0.4935
1.2739	0.032	500	1.3128	0.5881
0.951	0.0384	600	1.0243	0.5881
0.7543	0.0448	700	0.8390	0.7527
0.4561	0.0512	800	0.6336	0.7651
0.3437	0.0576	900	0.4865	0.9027
0.2091	0.064	1000	0.3959	0.9027
0.1347	0.0704	1100	0.3610	0.9027
0.0917	0.0768	1200	0.2594	0.9027
0.0513	0.0832	1300	0.0935	0.9876
0.0324	0.0896	1400	0.0817	0.9876
0.0225	0.096	1500	0.0793	0.9876
0.0166	0.1024	1600	0.0789	0.9876
0.0128	0.1088	1700	0.0791	0.9876
0.0103	0.1152	1800	0.0808	0.9876
0.0085	0.1216	1900	0.0818	0.9876
0.0071	0.128	2000	0.0830	0.9876
0.006	0.1344	2100	0.0846	0.9876
0.0053	0.1408	2200	0.0862	0.9876
0.0046	0.1472	2300	0.0874	0.9876
0.004	0.1536	2400	0.0891	0.9876
0.0036	0.16	2500	0.0905	0.9876
0.0032	0.1664	2600	0.0915	0.9876
0.0029	0.1728	2700	0.0931	0.9876
0.0026	0.1792	2800	0.0945	0.9876
0.0023	0.1856	2900	0.0957	0.9876
0.0021	0.192	3000	0.0969	0.9876
0.002	0.1984	3100	0.0981	0.9876
0.0018	0.2048	3200	0.0994	0.9876
0.0016	0.2112	3300	0.1005	0.9876
0.0015	0.2176	3400	0.1017	0.9876
0.0014	0.224	3500	0.1028	0.9876
0.0013	0.2304	3600	0.1037	0.9876
0.0012	0.2368	3700	0.1049	0.9876
0.0011	0.2432	3800	0.1059	0.9876
0.001	0.2496	3900	0.1067	0.9876
0.001	0.256	4000	0.1080	0.9876
0.0009	0.2624	4100	0.1089	0.9876
0.0008	0.2688	4200	0.1099	0.9876
0.0008	0.2752	4300	0.1107	0.9876
0.0007	0.2816	4400	0.1118	0.9876
0.0007	0.288	4500	0.1127	0.9876
0.0006	0.2944	4600	0.1136	0.9876
0.0006	0.3008	4700	0.1146	0.9876
0.0006	0.3072	4800	0.1154	0.9876
0.0005	0.3136	4900	0.1162	0.9876
0.0005	0.32	5000	0.1172	0.9876
0.0005	0.3264	5100	0.1180	0.9876
0.0004	0.3328	5200	0.1188	0.9876
0.0004	0.3392	5300	0.1197	0.9876
0.0004	0.3456	5400	0.1205	0.9876
0.0004	0.352	5500	0.1214	0.9876
0.0004	0.3584	5600	0.1221	0.9876
0.0003	0.3648	5700	0.1229	0.9876
0.0003	0.3712	5800	0.1238	0.9876
0.0003	0.3776	5900	0.1244	0.9876
0.0003	0.384	6000	0.1253	0.9876
0.0003	0.3904	6100	0.1260	0.9876
0.0003	0.3968	6200	0.1268	0.9876
0.0002	0.4032	6300	0.1275	0.9876
0.0002	0.4096	6400	0.1282	0.9876
0.0002	0.416	6500	0.1290	0.9876
0.0002	0.4224	6600	0.1297	0.9876
0.0002	0.4288	6700	0.1304	0.9876
0.0002	0.4352	6800	0.1311	0.9876
0.0002	0.4416	6900	0.1318	0.9876
0.0002	0.448	7000	0.1326	0.9876
0.0002	0.4544	7100	0.1333	0.9876
0.0002	0.4608	7200	0.1340	0.9876
0.0002	0.4672	7300	0.1346	0.9876
0.0001	0.4736	7400	0.1353	0.9876
0.0001	0.48	7500	0.1360	0.9876
0.0001	0.4864	7600	0.1367	0.9876
0.0001	0.4928	7700	0.1373	0.9876
0.0001	0.4992	7800	0.1380	0.9876
0.0001	0.5056	7900	0.1386	0.9876
0.0001	0.512	8000	0.1393	0.9876
0.0001	0.5184	8100	0.1399	0.9876
0.0001	0.5248	8200	0.1405	0.9876
0.0001	0.5312	8300	0.1411	0.9876
0.0001	0.5376	8400	0.1418	0.9876
0.0001	0.544	8500	0.1424	0.9876
0.0001	0.5504	8600	0.1430	0.9876
0.0001	0.5568	8700	0.1435	0.9876
0.0001	0.5632	8800	0.1441	0.9876
0.0001	0.5696	8900	0.1447	0.9876
0.0001	0.576	9000	0.1452	0.9876
0.0001	0.5824	9100	0.1459	0.9876
0.0001	0.5888	9200	0.1464	0.9876
0.0001	0.5952	9300	0.1469	0.9876
0.0001	0.6016	9400	0.1475	0.9876
0.0001	0.608	9500	0.1480	0.9876
0.0001	0.6144	9600	0.1485	0.9876
0.0001	0.6208	9700	0.1491	0.9876
0.0001	0.6272	9800	0.1496	0.9876
0.0001	0.6336	9900	0.1502	0.9876
0.0	0.64	10000	0.1506	0.9876
0.0	0.6464	10100	0.1511	0.9876
0.0	0.6528	10200	0.1517	0.9876
0.0	0.6592	10300	0.1522	0.9876
0.0	0.6656	10400	0.1526	0.9876
0.0	0.672	10500	0.1531	0.9876
0.0	0.6784	10600	0.1536	0.9876
0.0	0.6848	10700	0.1541	0.9876
0.0	0.6912	10800	0.1545	0.9876
0.0	0.6976	10900	0.1550	0.9876
0.0	0.704	11000	0.1554	0.9876
0.0	0.7104	11100	0.1559	0.9876
0.0	0.7168	11200	0.1563	0.9876
0.0	0.7232	11300	0.1567	0.9876
0.0	0.7296	11400	0.1571	0.9876
0.0	0.736	11500	0.1575	0.9876
0.0	0.7424	11600	0.1579	0.9876
0.0	0.7488	11700	0.1583	0.9876
0.0	0.7552	11800	0.1586	0.9876
0.0	0.7616	11900	0.1590	0.9876
0.0	0.768	12000	0.1594	0.9876
0.0	0.7744	12100	0.1598	0.9876
0.0	0.7808	12200	0.1601	0.9876
0.0	0.7872	12300	0.1604	0.9876
0.0	0.7936	12400	0.1607	0.9876
0.0	0.8	12500	0.1610	0.9876
0.0	0.8064	12600	0.1614	0.9876
0.0	0.8128	12700	0.1616	0.9876
0.0	0.8192	12800	0.1619	0.9876
0.0	0.8256	12900	0.1622	0.9876
0.0	0.832	13000	0.1625	0.9876
0.0	0.8384	13100	0.1627	0.9876
0.0	0.8448	13200	0.1630	0.9876
0.0	0.8512	13300	0.1632	0.9876
0.0	0.8576	13400	0.1634	0.9876
0.0	0.864	13500	0.1636	0.9876
0.0	0.8704	13600	0.1638	0.9876
0.0	0.8768	13700	0.1640	0.9876
0.0	0.8832	13800	0.1642	0.9876
0.0	0.8896	13900	0.1644	0.9876
0.0	0.896	14000	0.1645	0.9876
0.0	0.9024	14100	0.1646	0.9876
0.0	0.9088	14200	0.1648	0.9876
0.0	0.9152	14300	0.1649	0.9876
0.0	0.9216	14400	0.1650	0.9876
0.0	0.928	14500	0.1651	0.9876
0.0	0.9344	14600	0.1652	0.9876
0.0	0.9408	14700	0.1652	0.9876
0.0	0.9472	14800	0.1653	0.9876
0.0	0.9536	14900	0.1653	0.9876
0.0	0.96	15000	0.1654	0.9876
0.0	0.9664	15100	0.1654	0.9876
0.0	0.9728	15200	0.1654	0.9876
0.0	0.9792	15300	0.1654	0.9876
0.0	0.9856	15400	0.1654	0.9876
0.0	0.992	15500	0.1654	0.9876
0.0	0.9984	15600	0.1654	0.9876

Framework versions

• Transformers 4.46.0
• Pytorch 2.5.1
• Datasets 3.1.0
• Tokenizers 0.20.1