wav2vec2-xlsr-luganda

This model is a fine-tuned version of sulaimank/wav2vec2-xlsr-CV_Fleurs_AMMI_ALFFA-swahili-200hrs on the None dataset. It achieves the following results on the evaluation set:

• Cer: 0.0223
• Loss: 0.2018
• Wer: 0.1123

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Cer	Validation Loss	Wer
0.8458	1.0	16873	0.0601	0.2206	0.3081
0.4665	2.0	33746	0.0503	0.1822	0.2534
0.3881	3.0	50619	0.0442	0.1644	0.2235
0.3411	4.0	67492	0.0403	0.1545	0.2041
0.3080	5.0	84365	0.0378	0.1489	0.1922
0.2828	6.0	101238	0.0359	0.1406	0.1830
0.2626	7.0	118111	0.0346	0.1372	0.1770
0.2443	8.0	134984	0.0345	0.1338	0.1736
0.2290	9.0	151857	0.0324	0.1327	0.1651
0.2146	10.0	168730	0.0319	0.1308	0.1642
0.2027	11.0	185603	0.0310	0.1289	0.1600
0.1907	12.0	202476	0.0314	0.1315	0.1593
0.1800	13.0	219349	0.0303	0.1275	0.1557
0.1703	14.0	236222	0.0301	0.1323	0.1534
0.1614	15.0	253095	0.0294	0.1319	0.1510
0.1531	16.0	269968	0.0291	0.1333	0.1461
0.1453	17.0	286841	0.0280	0.1324	0.1438
0.1388	18.0	303714	0.0282	0.1350	0.1443
0.1318	19.0	320587	0.0280	0.1405	0.1425
0.1250	20.0	337460	0.0274	0.1419	0.1385
0.1200	21.0	354333	0.0271	0.1431	0.1377
0.1148	22.0	371206	0.0266	0.1485	0.1362
0.1094	23.0	388079	0.0262	0.1470	0.1338
0.1045	24.0	404952	0.0265	0.1534	0.1341
0.1010	25.0	421825	0.0258	0.1549	0.1305
0.0971	26.0	438698	0.0252	0.1574	0.1285
0.0926	27.0	455571	0.0256	0.1623	0.1306
0.0892	28.0	472444	0.0251	0.1620	0.1266
0.0862	29.0	489317	0.0249	0.1673	0.1253
0.0834	30.0	506190	0.0247	0.1671	0.1245
0.0800	31.0	523063	0.0245	0.1705	0.1237
0.0778	32.0	539936	0.0244	0.1767	0.1232
0.0757	33.0	556809	0.0244	0.1711	0.1217
0.0731	34.0	573682	0.0238	0.1778	0.1204
0.0705	35.0	590555	0.0234	0.1758	0.1188
0.0686	36.0	607428	0.0233	0.1754	0.1183
0.0662	37.0	624301	0.0234	0.1824	0.1172
0.0648	38.0	641174	0.0231	0.1818	0.1163
0.0634	39.0	658047	0.0232	0.1834	0.1174
0.0614	40.0	674920	0.0232	0.1844	0.1170
0.0603	41.0	691793	0.0230	0.1864	0.1165
0.0587	42.0	708666	0.0232	0.1926	0.1173
0.0573	43.0	725539	0.0232	0.1943	0.1175
0.0562	44.0	742412	0.0229	0.1976	0.1152
0.0551	45.0	759285	0.0227	0.1952	0.1142
0.0537	46.0	776158	0.0227	0.1963	0.1136
0.0532	47.0	793031	0.0225	0.2008	0.1138
0.0522	48.0	809904	0.0224	0.2005	0.1130
0.0520	49.0	826777	0.0224	0.2009	0.1126
0.0509	50.0	843650	0.0223	0.2018	0.1123

Framework versions

• Transformers 5.4.0
• Pytorch 2.11.0+cu130
• Datasets 3.6.0
• Tokenizers 0.22.2