xlsr-luganda-waxal

This model is a fine-tuned version of sulaimank/wav2vec2-xlsr-swahili-400hr on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1404
• Wer: 0.2144
• Cer: 0.0446
• Zindi: 0.8705

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 32
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 64
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 100.0

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Zindi
4.7586	0.1116	500	1.7533	1.0	0.7936	0.1032
1.1527	0.2233	1000	0.4904	0.7300	0.1541	0.5580
1.0081	0.3349	1500	0.4232	0.6416	0.1347	0.6119
0.8807	0.4466	2000	0.3916	0.5954	0.1250	0.6398
0.8672	0.5582	2500	0.3624	0.5555	0.1160	0.6643
0.8081	0.6699	3000	0.3448	0.5403	0.1104	0.6746
0.7736	0.7815	3500	0.3318	0.5213	0.1062	0.6862
0.7532	0.8932	4000	0.3207	0.5010	0.1034	0.6978
0.7297	1.0047	4500	0.3156	0.4812	0.1001	0.7093
0.6981	1.1163	5000	0.3063	0.4709	0.0983	0.7154
0.6785	1.2280	5500	0.2924	0.4481	0.0925	0.7297
0.6416	1.3396	6000	0.2859	0.4427	0.0920	0.7327
0.6293	1.4513	6500	0.2806	0.4297	0.0891	0.7406
0.6273	1.5629	7000	0.2714	0.4166	0.0864	0.7485
0.6036	1.6746	7500	0.2670	0.4124	0.0848	0.7514
0.6041	1.7862	8000	0.2590	0.3997	0.0825	0.7589
0.5980	1.8978	8500	0.2611	0.4030	0.0835	0.7567
0.5623	2.0094	9000	0.2573	0.3879	0.0811	0.7655
0.5617	2.1210	9500	0.2516	0.3859	0.0805	0.7668
0.5663	2.2327	10000	0.2464	0.3700	0.0784	0.7758
0.5433	2.3443	10500	0.2462	0.3671	0.0782	0.7774
0.5266	2.4560	11000	0.2381	0.3646	0.0758	0.7798
0.5249	2.5676	11500	0.2344	0.3540	0.0740	0.7860
0.5259	2.6792	12000	0.2348	0.3508	0.0740	0.7876
0.5167	2.7909	12500	0.2309	0.3481	0.0738	0.7891
0.5050	2.9025	13000	0.2295	0.3446	0.0723	0.7915
0.4866	3.0141	13500	0.2269	0.3375	0.0712	0.7957
0.4713	3.1257	14000	0.2258	0.3383	0.0709	0.7954
0.4747	3.2374	14500	0.2218	0.3317	0.0698	0.7992
0.4725	3.3490	15000	0.2205	0.3305	0.0694	0.8001
0.4951	3.4606	15500	0.2186	0.3240	0.0687	0.8036
0.4529	3.5723	16000	0.2140	0.3208	0.0674	0.8059
0.4668	3.6839	16500	0.2131	0.3204	0.0679	0.8059
0.4648	3.7956	17000	0.2080	0.3120	0.0657	0.8112
0.4636	3.9072	17500	0.2073	0.3109	0.0653	0.8119
0.4420	4.0188	18000	0.2085	0.3110	0.0660	0.8115
0.4488	4.1304	18500	0.2041	0.3087	0.0646	0.8134
0.4210	4.2420	19000	0.2050	0.3059	0.0643	0.8149
0.4337	4.3537	19500	0.2031	0.3042	0.0642	0.8158
0.4562	4.4653	20000	0.2016	0.3020	0.0640	0.8170
0.4383	4.5770	20500	0.1990	0.2974	0.0631	0.8198
0.4310	4.6886	21000	0.1997	0.3015	0.0635	0.8175
0.4320	4.8003	21500	0.1954	0.2965	0.0619	0.8208
0.4197	4.9119	22000	0.1954	0.2920	0.0619	0.8230
0.4146	5.0234	22500	0.1924	0.2893	0.0606	0.8251
0.4095	5.1351	23000	0.1917	0.2909	0.0608	0.8242
0.3989	5.2467	23500	0.1922	0.2858	0.0606	0.8268
0.4033	5.3584	24000	0.1929	0.2872	0.0612	0.8258
0.3920	5.4700	24500	0.1907	0.2872	0.0604	0.8262
0.3934	5.5817	25000	0.1884	0.2795	0.0594	0.8305
0.3881	5.6933	25500	0.1856	0.2795	0.0589	0.8308
0.3835	5.8050	26000	0.1838	0.2754	0.0579	0.8333
0.3827	5.9166	26500	0.1846	0.2762	0.0587	0.8326
0.3774	6.0281	27000	0.1823	0.2746	0.0577	0.8338
0.3775	6.1398	27500	0.1801	0.2735	0.0574	0.8345
0.3762	6.2514	28000	0.1816	0.2727	0.0579	0.8347
0.3755	6.3631	28500	0.1796	0.2703	0.0569	0.8364
0.3676	6.4747	29000	0.1805	0.2691	0.0572	0.8368
0.3830	6.5864	29500	0.1781	0.2658	0.0567	0.8387
0.3714	6.6980	30000	0.1775	0.2682	0.0566	0.8376
0.3648	6.8096	30500	0.1766	0.2653	0.0559	0.8394
0.3665	6.9213	31000	0.1736	0.2621	0.0554	0.8413
0.3667	7.0328	31500	0.1758	0.2634	0.0562	0.8402
0.3634	7.1445	32000	0.1778	0.2631	0.0568	0.8400
0.3519	7.2561	32500	0.1731	0.2574	0.0547	0.8440
0.3643	7.3678	33000	0.1709	0.2623	0.0549	0.8414
0.3451	7.4794	33500	0.1716	0.2571	0.0547	0.8441
0.3497	7.5910	34000	0.1710	0.2546	0.0545	0.8454
0.3563	7.7027	34500	0.1719	0.2567	0.0552	0.8440
0.3393	7.8143	35000	0.1696	0.2551	0.0544	0.8453
0.3494	7.9260	35500	0.1664	0.2555	0.0538	0.8454
0.3435	8.0375	36000	0.1672	0.25	0.0532	0.8484
0.3415	8.1492	36500	0.1662	0.2503	0.0533	0.8482
0.3297	8.2608	37000	0.1655	0.2507	0.0526	0.8484
0.3316	8.3724	37500	0.1658	0.2529	0.0532	0.8469
0.3291	8.4841	38000	0.1659	0.2468	0.0525	0.8504
0.3332	8.5957	38500	0.1643	0.2478	0.0523	0.8500
0.3480	8.7074	39000	0.1622	0.2451	0.0520	0.8514
0.3265	8.8190	39500	0.1623	0.2464	0.0521	0.8508
0.3323	8.9307	40000	0.1625	0.2483	0.0522	0.8498
0.3311	9.0422	40500	0.1617	0.2484	0.0520	0.8498
0.3342	9.1538	41000	0.1625	0.2412	0.0513	0.8538
0.3248	9.2655	41500	0.1613	0.2454	0.0521	0.8513
0.3081	9.3771	42000	0.1621	0.2420	0.0513	0.8534
0.3103	9.4888	42500	0.1603	0.2395	0.0505	0.8550
0.3088	9.6004	43000	0.1590	0.2405	0.0510	0.8542
0.3100	9.7121	43500	0.1590	0.2404	0.0504	0.8546
0.3035	9.8237	44000	0.1609	0.2433	0.0513	0.8527
0.3230	9.9354	44500	0.1597	0.2397	0.0509	0.8547
0.3070	10.0469	45000	0.1592	0.2407	0.0506	0.8544
0.3098	10.1585	45500	0.1578	0.2410	0.0509	0.8541
0.2932	10.2702	46000	0.1571	0.2401	0.0500	0.8549
0.2961	10.3818	46500	0.1562	0.2366	0.0500	0.8567
0.2998	10.4935	47000	0.1551	0.2347	0.0496	0.8579
0.3088	10.6051	47500	0.1549	0.2375	0.0502	0.8562
0.3014	10.7168	48000	0.1549	0.2361	0.0500	0.8569
0.2996	10.8284	48500	0.1549	0.2330	0.0493	0.8589
0.3071	10.9400	49000	0.1549	0.2331	0.0495	0.8587
0.2976	11.0516	49500	0.1550	0.2331	0.0494	0.8587
0.2965	11.1632	50000	0.1546	0.2319	0.0495	0.8593
0.2943	11.2749	50500	0.1533	0.2337	0.0487	0.8588
0.2862	11.3865	51000	0.1527	0.2260	0.0478	0.8631
0.3004	11.4982	51500	0.1529	0.2281	0.0486	0.8616
0.2831	11.6098	52000	0.1518	0.2313	0.0487	0.8600
0.2857	11.7214	52500	0.1494	0.2235	0.0477	0.8644
0.2751	11.8331	53000	0.1495	0.2241	0.0475	0.8642
0.2799	11.9447	53500	0.1503	0.2263	0.0478	0.8629
0.2843	12.0563	54000	0.1500	0.2275	0.0475	0.8625
0.2679	12.1679	54500	0.1502	0.2305	0.0482	0.8606
0.2861	12.2796	55000	0.1500	0.2281	0.0479	0.8620
0.2882	12.3912	55500	0.1492	0.2274	0.0478	0.8624
0.2784	12.5028	56000	0.1495	0.2252	0.0479	0.8634
0.2770	12.6145	56500	0.1483	0.2233	0.0473	0.8647
0.2733	12.7261	57000	0.1494	0.2275	0.0478	0.8623
0.2796	12.8378	57500	0.1480	0.2269	0.0479	0.8626
0.2779	12.9494	58000	0.1473	0.2256	0.0472	0.8636
0.2612	13.0610	58500	0.1488	0.2247	0.0477	0.8638
0.2690	13.1726	59000	0.1487	0.2251	0.0476	0.8636
0.2799	13.2842	59500	0.1479	0.2238	0.0471	0.8645
0.2607	13.3959	60000	0.1481	0.2241	0.0471	0.8644
0.2749	13.5075	60500	0.1486	0.2246	0.0475	0.8639
0.2538	13.6192	61000	0.1473	0.2214	0.0467	0.8659
0.2832	13.7308	61500	0.1458	0.2200	0.0468	0.8666
0.2640	13.8425	62000	0.1447	0.2191	0.0460	0.8674
0.2754	13.9541	62500	0.1467	0.2202	0.0465	0.8666
0.2636	14.0656	63000	0.1458	0.2206	0.0468	0.8663
0.2509	14.1773	63500	0.1460	0.2233	0.0469	0.8649
0.2577	14.2889	64000	0.1441	0.2167	0.0461	0.8686
0.2624	14.4006	64500	0.1447	0.2184	0.0459	0.8678
0.2542	14.5122	65000	0.1438	0.2187	0.0462	0.8675
0.2683	14.6239	65500	0.1446	0.2186	0.0463	0.8676
0.2553	14.7355	66000	0.1424	0.2184	0.0461	0.8678
0.2564	14.8472	66500	0.1427	0.2175	0.0459	0.8683
0.2619	14.9588	67000	0.1443	0.2169	0.0460	0.8685
0.2591	15.0703	67500	0.1434	0.2195	0.0461	0.8672
0.2514	15.1820	68000	0.1434	0.2157	0.0459	0.8692
0.2645	15.2936	68500	0.1435	0.2140	0.0454	0.8703
0.2429	15.4053	69000	0.1426	0.2127	0.0447	0.8713
0.2570	15.5169	69500	0.1419	0.2159	0.0454	0.8694
0.2630	15.6286	70000	0.1426	0.2172	0.0456	0.8686
0.2498	15.7402	70500	0.1457	0.2170	0.0456	0.8687
0.2536	15.8518	71000	0.1455	0.2159	0.0459	0.8691
0.2438	15.9635	71500	0.1440	0.2153	0.0453	0.8697
0.2556	16.0750	72000	0.1445	0.2160	0.0454	0.8693
0.2443	16.1867	72500	0.1427	0.2164	0.0455	0.8690
0.2440	16.2983	73000	0.1408	0.2134	0.0447	0.8710
0.2469	16.4100	73500	0.1411	0.2168	0.0449	0.8692
0.2353	16.5216	74000	0.1404	0.2144	0.0446	0.8705

Framework versions

• Transformers 5.13.0
• Pytorch 2.12.1+cu130
• Datasets 3.6.0
• Tokenizers 0.22.2