hubert-darija-combined

Fine-tuning de omarxadel/hubert-large-arabic-egyptian pour la reconnaissance automatique de la parole (ASR) en darija (dialecte marocain), sur un ensemble combiné de datasets publics et privés.

Résultats finaux

Métrique	Valeur
WER (Word Error Rate)	0.2386 (23.86%)
CER (Character Error Rate)	0.0813 (8.13%)
Train loss (moyenne sur tout l'entraînement)	0.41482063716298273

Hyperparamètres d'entraînement

Hyperparamètre	Valeur
Modèle de base	omarxadel/hubert-large-arabic-egyptian
Époques	50.0
Batch size (par device)	2
Gradient accumulation	16
Batch effectif	32
Learning rate	5e-5
Weight decay	0.005
Optimiseur	AdamW (par défaut Trainer)
Précision	fp16
Gradient checkpointing	Oui (use_reentrant=False)
Feature encoder	gelé (freeze_feature_encoder)
Attention dropout	0.1
Hidden dropout	0.1
Feat proj dropout	0.0
Mask time prob	0.05
LayerDrop	0.1
CTC loss reduction	mean
Durée d'entraînement	1 day(s), 01:51:47
Vitesse	21.547 samples/s, 0.673 steps/s

Datasets utilisés

• adiren7/darija_speech_to_text
• mohamedmou/moroccan-darija-asr-dataset-split
• afyfbadreddine77/darija-asr-dataset
• ntariklk/darija-merged-asr
• atlasia/Moroccan-Darija-Wiki-Audio-Dataset
• Datasmartly/moroccan_darija_audio
• RHEZLOUNE/darija-restaurant-audio
• anaszil/Segmented-Moroccan-Darija-Wiki-Audio-Dataset

Filtre appliqué : durée audio ≤ 15s.

Utilisation

from transformers import HubertForCTC, Wav2Vec2Processor
import librosa
import torch

processor = Wav2Vec2Processor.from_pretrained("amineouaki/hubert-darija-combined")
model = HubertForCTC.from_pretrained("amineouaki/hubert-darija-combined")

speech, _ = librosa.load("audio.wav", sr=16000)
inputs = processor(speech, sampling_rate=16000, return_tensors="pt", padding=True)

with torch.no_grad():
    logits = model(**inputs).logits

pred_ids = torch.argmax(logits, dim=-1)
print(processor.decode(pred_ids[0]))

Auteur

Amine Ouakib

• Email : amineouakib3@gmail.com
• GitHub : ouakibamine
• LinkedIn : amine-ouakib