whisper-small-arabic-dialectal-v2

v2 — openai/whisper-small (244M) fine-tuned for multi-dialect Arabic on the dialect-balanced dataset oddadmix/lahgtna-v3-small (52k train / 2.6k test, seed 42, undiacritized output).

Private / internal. This is v2, trained on the balanced, leakage-reduced data. v1 (trained on the earlier augmentation-expanded set, with the full cross-model comparison + bundled fine-tuning scripts) is at oddadmix/whisper-small-arabic-dialectal.

Results (balanced test split ~2,600 clips, clean_text WER/CER)

	WER	CER
This model (v2)	0.4034	0.1528

Per-dialect accuracy (v3 balanced test, clean_text)

WER / CER on each dialect's 200 held-out clips, easiest to hardest. Gulf/Levantine transcribe best; Maghrebi (Tunisian/Algerian/Moroccan) is hardest — consistent across every model.

Dialect	WER	CER	n
Saudi/Gulf (sa)	0.227	0.064	200
Iraqi (iq)	0.311	0.091	200
Egyptian (eg)	0.340	0.159	200
Syrian (sy)	0.356	0.130	200
Bahraini (bh)	0.397	0.152	200
Yemeni (ye)	0.410	0.152	200
Palestinian (ps)	0.411	0.173	200
Lebanese (lb)	0.416	0.156	200
Libyan (ly)	0.416	0.162	200
Moroccan (ma)	0.431	0.139	200
Sudanese (sd)	0.462	0.186	200
Algerian (dz)	0.486	0.187	200
Tunisian (tn)	0.606	0.253	200
Overall	0.403	0.153	2600

v2 comparison — all models on the balanced dataset

Same dialect-balanced test split (~2,600 clips, oddadmix/lahgtna-v3-small), same clean_text scoring, seed 42.

Model	Params	WER	CER
whisper-large-v3-v2	1.54B	0.320	0.120
whisper-large-v3-turbo-v2	809M	0.332	0.125
whisper-medium-v2	769M	0.342	0.128
whisper-small-v2	244M	0.403	0.153
nemotron-3.5-asr-v2 (streaming)	638M	0.423	0.148
qwen3-asr-1.7b-v3	1.7B	0.478	0.182
qwen3-asr-0.6b-v2	0.6B	0.551	0.215

whisper-large-v3-turbo-v2 is the best; Whisper fine-tunes furthest. nemotron is the streaming option. (v1 models were trained on the earlier augmentation-expanded set.)

Examples — base vs. fine-tuned (one clip per dialect)

13 held-out test clips, one per dialect. Base is openai/whisper-small untouched; fine-tuned (v2) is this model. Text is clean_text-normalized (undiacritized), matching the WER scoring. Press play to listen.

Dialect	Audio	Reference	Base	Fine-tuned
Egyptian (eg)		لا، في كافيه هنا كده جنب الدار، مع أحمد خطيبها، وزمانها جاي.	لا فك فيه هنا كده جنب الدور مع أحمد خطبها وزمنها دي	لا في كفيه هنا كده جنب الدار، مع احمد خطبها وزمنها جاي.
Lebanese (lb)		ما كون مأمنة حالي. ما أقدر اتحكم. امم. في عندي خوف، إيه.	ما كون مأمنة حالة ما عدر اتحكم فيه عنده خوفة	ما أكون مأمنة حالي، ما أقدر أتحكم. إم. في عندي خوف إيه.
Syrian (sy)		يعني إنت كان في عندك نظام فاقد الشرعية الدولية، دول ما كانت تعترف فيه. إقامة و دول	انت كان في عندك نظام فاقد الشرعي الدولي الدول ما كانت تعترف في اقامة ودول	يعني إنتي كان في عندك نظام فاقد الشرعية، دولية، دول ما كانت تعترف فيه. إيه، إقامة ودول
Palestinian (ps)		إ- إزميل أنس واستشهد والده.	وستشدوا التو.	إيه، زميل أنس، واستشهد والده.
Iraqi (iq)		اشتروا كونتينر او نگدر نگول كرفان حديد، واخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض. وبعد ما انتهوا من فعلا،	و بعد ما انتهى من فعلاته	إشتروا كونتينر، أو نگدر نگول كرفان حديد، وأخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض، وبعد ما انتهوا من فعلته.
Saudi/Gulf (sa)		ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شي نخسره.	ومن نسمع إشارتك تران نازلين المستميتين مع عندنا شينا خسرة	ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شيء نخسرة.
Bahraini (bh)		ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم؟	ولد وكل بنت لأنه إذا يبون رب العالمين يسر له	ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لها،
Yemeni (ye)		وهذا كان ال ال ال ال يعني تستطيع تعتبرها	وهذا كان سطعته أعتبره	وهذا كان ال ال ال ال يعني استطعت أعتبرها
Libyan (ly)		هلبة والله يا بشرى ما ما يحضرنيش حاجة. في بلاد أو برا من البلاد؟	هل بو الله يبشره ما يحضرني شو حالة؟	شنبهال؟ هلبة والله بشرى ما ما يحضرنيش حالها. في البلاد أو بره من البلاد.
Tunisian (tn)		ال الإحتجاجية ما همش م مستأنسين بالأماكن المقابلة اللي هي صالونات الحكم.	ونحن نتنسينا بالأميكن المقابل	ال الاحتيجاجية ما همش مستنسين بالأماكن المقابل اللي هي صلونات الحكم.
Algerian (dz)		دو عامين. بصح وكان يبياعني أنا ندي عشر سنين ونشوفو هو يخرج أليز في بلاليبرتي.	وكاني بياني ونرى عشرة سنة ونرى ويخرج أهلز في بلالي باختي	دعا عامين. بصح هو كان يبيعني، أنا ندي عشر سنين ونشوفو هو يخرج آلز في بلا ليبرتي.
Moroccan (ma)		ضارت، و طردت، و كاع داك الشي اللي فيها من الجن. وسكنت فيها. و الحمد لله من بعد تزوجت بفرح، و أسامة تزوج بكوثر.	وطارتوك قاعدكشي اللي فيه من الجين وسكنتش فيها و الحمدولله من بعد زوج في فاراح و سامة زوج بكوسر	وطرط وكاع ديكشي اللي فيها من الجن. وسكنت فيها، والحمد لله من بعد تزوجت بفراح وسامة تزوج بكوتر.
Sudanese (sd)		آاا همارات بينزلها في الفيس، أو بعد ال هنا أقوم أحضر الخطبة بتاعة طارق الهادي. يعني	هم أراد بي نزيله في الفيس أو بعد الهنا جم أحضر الخطب بتاع طارق الهاني	آآ هم راد بي نزيلوا في الفيس، أو بعد ال هنا لقوموا أحضر الخطبة بتاعة الطارق الهادي. يعني

Full fine-tuning code, dependencies, and lessons are in the v1 repo (train.py, normalize.py, FINETUNE.md). This v2 uses the same recipe on the balanced dataset.