wav2vec2-kac

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1730
• Cer: 0.0452
• Wer: 0.1986

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Cer	Wer
5.107	0.2706	100	2.8581	0.9908	1.0
2.696	0.5413	200	2.3651	0.7001	0.9815
1.9594	0.8119	300	1.3402	0.3999	0.8392
1.1816	1.0812	400	0.5387	0.1922	0.5404
0.8925	1.3518	500	0.3905	0.1499	0.4578
0.7373	1.6225	600	0.3347	0.1142	0.3743
0.66	1.8931	700	0.2981	0.1073	0.3243
0.6412	2.1624	800	0.2573	0.1004	0.3313
0.5683	2.4330	900	0.2961	0.1058	0.3568
0.5538	2.7037	1000	0.2629	0.1077	0.3453
0.4991	2.9743	1100	0.2833	0.1043	0.3313
0.4536	3.2436	1200	0.2489	0.0854	0.3348
0.4621	3.5142	1300	0.2371	0.0946	0.3260
0.4401	3.7848	1400	0.2100	0.0860	0.2830
0.4278	4.0541	1500	0.2677	0.1011	0.3322
0.386	4.3248	1600	0.2481	0.0903	0.2979
0.3943	4.5954	1700	0.2835	0.0950	0.3128
0.3986	4.8660	1800	0.1771	0.0707	0.2425
0.3996	5.1353	1900	0.2463	0.0886	0.3234
0.3468	5.4060	2000	0.2471	0.0871	0.2522
0.3429	5.6766	2100	0.2446	0.0901	0.3049
0.3362	5.9472	2200	0.2832	0.1023	0.3216
0.3257	6.2165	2300	0.2617	0.0892	0.2750
0.3088	6.4871	2400	0.2477	0.0821	0.2671
0.3092	6.7578	2500	0.1690	0.0729	0.2127
0.3247	7.0271	2600	0.1609	0.0669	0.2443
0.2877	7.2977	2700	0.2189	0.0817	0.2698
0.2978	7.5683	2800	0.2193	0.0841	0.2698
0.3011	7.8390	2900	0.2226	0.0905	0.2777
0.2792	8.1083	3000	0.2440	0.0877	0.2750
0.2652	8.3789	3100	0.2581	0.0862	0.2566
0.2847	8.6495	3200	0.2583	0.0839	0.2988
0.2788	8.9202	3300	0.1959	0.0789	0.2425
0.2589	9.1894	3400	0.1988	0.0692	0.2496
0.2493	9.4601	3500	0.1799	0.0667	0.2320
0.2473	9.7307	3600	0.2475	0.0701	0.2671
0.2842	10.0	3700	0.2100	0.0718	0.2592
0.2312	10.2706	3800	0.2003	0.0611	0.2408
0.231	10.5413	3900	0.2314	0.0688	0.2680
0.243	10.8119	4000	0.2018	0.0707	0.2504
0.2188	11.0812	4100	0.1835	0.0630	0.2408
0.2129	11.3518	4200	0.1991	0.0628	0.2460
0.2351	11.6225	4300	0.2198	0.0654	0.2707
0.218	11.8931	4400	0.2605	0.0686	0.2794
0.2202	12.1624	4500	0.2181	0.0581	0.2329
0.1962	12.4330	4600	0.1839	0.0557	0.2302
0.2129	12.7037	4700	0.1896	0.0576	0.2267
0.2074	12.9743	4800	0.2011	0.0606	0.2460
0.1813	13.2436	4900	0.1819	0.0611	0.2091
0.1872	13.5142	5000	0.2153	0.0656	0.2601
0.1947	13.7848	5100	0.2198	0.0688	0.2671
0.2001	14.0541	5200	0.2150	0.0677	0.2619
0.1799	14.3248	5300	0.1535	0.0516	0.1854
0.1813	14.5954	5400	0.2150	0.0651	0.2566
0.1812	14.8660	5500	0.1847	0.0578	0.2320
0.1932	15.1353	5600	0.1640	0.0518	0.2091
0.169	15.4060	5700	0.2462	0.0675	0.2487
0.1704	15.6766	5800	0.1913	0.0602	0.2337
0.1692	15.9472	5900	0.2217	0.0658	0.2390
0.133	16.2165	6000	0.1924	0.0600	0.2390
0.1529	16.4871	6100	0.1604	0.0548	0.2074
0.1586	16.7578	6200	0.1852	0.0555	0.2223
0.1821	17.0271	6300	0.1622	0.0501	0.2091
0.1425	17.2977	6400	0.1956	0.0548	0.2329
0.1538	17.5683	6500	0.1957	0.0581	0.2417
0.1395	17.8390	6600	0.1946	0.0583	0.2399
0.1331	18.1083	6700	0.2269	0.0587	0.2540
0.1242	18.3789	6800	0.2109	0.0583	0.2364
0.1323	18.6495	6900	0.2004	0.0544	0.2276
0.1384	18.9202	7000	0.2025	0.0570	0.2452
0.1294	19.1894	7100	0.2109	0.0542	0.2390
0.1279	19.4601	7200	0.1609	0.0479	0.1916
0.122	19.7307	7300	0.2474	0.0606	0.2540
0.1222	20.0	7400	0.1749	0.0503	0.1968
0.1121	20.2706	7500	0.2446	0.0587	0.2513
0.1142	20.5413	7600	0.1932	0.0533	0.2232
0.1226	20.8119	7700	0.2195	0.0535	0.2320
0.1052	21.0812	7800	0.2028	0.0510	0.2223
0.1077	21.3518	7900	0.1865	0.0535	0.2109
0.114	21.6225	8000	0.1755	0.0469	0.2170
0.1041	21.8931	8100	0.1914	0.0458	0.2118
0.1149	22.1624	8200	0.1897	0.0477	0.2179
0.0984	22.4330	8300	0.2170	0.0520	0.2293
0.0974	22.7037	8400	0.1713	0.0462	0.1968
0.1052	22.9743	8500	0.1761	0.0484	0.2144
0.0892	23.2436	8600	0.1500	0.0443	0.1863
0.0919	23.5142	8700	0.1527	0.0460	0.1986
0.0956	23.7848	8800	0.1582	0.0449	0.1968
0.1	24.0541	8900	0.1715	0.0454	0.2012
0.0846	24.3248	9000	0.1829	0.0458	0.2030
0.083	24.5954	9100	0.1713	0.0454	0.2065
0.0821	24.8660	9200	0.1951	0.0499	0.2223
0.0917	25.1353	9300	0.1830	0.0473	0.2100
0.0806	25.4060	9400	0.1770	0.0477	0.2135
0.0756	25.6766	9500	0.1869	0.0482	0.2144
0.0807	25.9472	9600	0.1765	0.0490	0.2021
0.059	26.2165	9700	0.2056	0.0512	0.2241
0.0831	26.4871	9800	0.1965	0.0501	0.2206
0.0647	26.7578	9900	0.1832	0.0475	0.2083
0.0788	27.0271	10000	0.1708	0.0467	0.1986
0.0677	27.2977	10100	0.1692	0.0449	0.1828
0.0651	27.5683	10200	0.1761	0.0464	0.2021
0.0602	27.8390	10300	0.1612	0.0467	0.1880
0.0586	28.1083	10400	0.1752	0.0458	0.1995
0.0602	28.3789	10500	0.1734	0.0454	0.1951
0.0636	28.6495	10600	0.1733	0.0458	0.2021
0.0642	28.9202	10700	0.1744	0.0471	0.2056
0.0611	29.1894	10800	0.1741	0.0460	0.2030
0.0596	29.4601	10900	0.1722	0.0449	0.1951
0.0627	29.7307	11000	0.1738	0.0449	0.1986
0.0623	30.0	11100	0.1730	0.0449	0.1986

Framework versions

• Transformers 4.56.2
• Pytorch 2.8.0+cu128
• Datasets 3.6.0
• Tokenizers 0.22.1