Upload README.md with huggingface_hub

b3e3fdf verified 2 days ago

38.9 kB

tags:
  - turn-taking-detection
  - audio-classification
  - ecapa-tdnn
  - whisper
  - causal
license: mit

Turn-Taking Detection Models — Collection complete v4

Modeles de detection de fin de tour (HOLD/SHIFT), architecture causale, entraines sur Smart Turn v3.2 (synthetique) et/ou AppTek (audio reel de centre d'appel, 14 accents anglophones).

Table des matieres

Comparaison globale avec les modeles de reference
Ablation : acoustique seule vs semantique seule vs fusion
Comparaison d'architectures acoustiques a budget variable
CPC : encodeur audio pre-entraine (self-supervised)
Trois configurations d'entrainement (mixte / Smart Turn seul / AppTek seul)
Experience de reequilibrage synthetique/reel
Fichiers de resultats bruts

1. Comparaison globale — 4 modeles, test officiel Smart Turn v3.2

Modele	Params	Accuracy	ROC-AUC	Notes
LiveKit v1-mini	~0.5B (distille)	61.02%	0.7324	Limite a 1.2s de contexte audio
Smart Turn v3.2 (officiel)	~8M	73.33%	0.7962	Whisper-tiny fine-tune complet
Phase 1 (notre, from scratch)	462K	87.36-87.93%	0.9439-0.9483	Selon config, Whisper gele
Phase 2 (notre, fusion)	~360K (+8M geles)	92.06-92.60%	0.9744-0.9776	Meilleure architecture

2. Ablation : Phase 1 (acoustique) vs Whisper-frozen-head (semantique) vs Phase 2 (fusion)

14 accents, config mixte (94% Smart Turn / 6% AppTek).

Accent OOD	P1 Test	WF Test	P2 Test	P1 OOD	WF OOD	P2 OOD
en-AU	84.21%	83.63%	90.01%	66.44%	70.04%	80.76%
en-CA	84.27%	83.75%	89.77%	64.70%	71.04%	78.66%
en-CN	84.29%	83.47%	90.18%	56.12%	67.89%	72.97%
en-GB	84.14%	82.78%	90.48%	60.29%	65.29%	73.43%
en-GB_SCT	84.57%	83.64%	90.52%	57.98%	60.65%	70.39%
en-GB_WLS	83.87%	83.48%	90.05%	57.35%	65.03%	75.58%
en-IE	84.35%	83.37%	90.11%	63.68%	76.04%	84.52%
en-IN	84.31%	83.56%	90.55%	61.05%	69.43%	70.57%
en-MX	84.26%	83.71%	90.58%	56.85%	64.38%	75.99%
en-SG	84.57%	83.54%	90.44%	63.38%	71.14%	76.58%
en-US_Aave	84.20%	83.70%	90.07%	58.56%	65.64%	71.83%
en-US_General	84.45%	83.47%	90.08%	62.39%	71.20%	79.05%
en-US_Southern	84.60%	83.68%	90.60%	65.61%	66.60%	76.32%
en-ZA	84.56%	83.84%	90.54%	57.71%	67.48%	76.62%
Moyenne	84.39%	83.61%	90.21%	60.86%	68.03%	76.02%

Resultat cle : ni l'acoustique seule ni la semantique seule n'atteignent la performance de la fusion complete — la cross-attention genere une synergie reelle.

3. Comparaison d'architectures acoustiques a budget de parametres variable

Config AppTek seul, 3 accents (en-CN, en-GB_WLS, en-IE), mode seul et mode fusion (avec Whisper gele).

Moyennes sur 3 accents — architectures from-scratch

Architecture	Budget (params)	Seul Test	Seul OOD	Fusion Test	Fusion OOD
ECAPA-TDNN	1x (462K)	64.68%	57.42%	78.97%	78.21%
ECAPA-TDNN	2x (911K)	64.51%	57.46%	78.05%	77.40%
BiGRU	1x (461K)	70.19%	65.50%	75.70%	74.48%
BiGRU	2x (909K)	70.54%	65.76%	76.61%	74.04%
Conformer	1x (430K)	67.99%	61.59%	77.95%	75.93%
Conformer	2x (904K)	72.22%	68.93%	78.32%	77.78%
Conformer	3x (1.36M)	70.74%	70.09%	77.18%	77.04%
Conformer	4x (1.83M)	65.14%*	63.13%*	78.08%	78.34%

*Instabilite d'entrainement isolee sur en-CN a 4x, affectant la moyenne.

Resultats cles :

A budget egal (~460K), BiGRU domine en mode seul, mais ECAPA-TDNN reprend l'avantage en mode fusion.
Conformer beneficie d'un budget accru jusqu'a ~900K parametres (2x), avec un gain marque vs 1x.
Au-dela de 2x, Conformer ne progresse plus de facon monotone (possible surapprentissage sur ~17K exemples train).
En mode fusion, la performance reste stable a travers tous les budgets (77-78%).

4. CPC : encodeur audio pre-entraine (self-supervised)

Contrairement aux architectures precedentes (entrainees from-scratch), CPC (Contrastive Predictive Coding, Riviere et al. 2020) est un encodeur pre-entraine sur de la parole brute en self-supervised, sans supervision texte. Checkpoint officiel FAIR charge et entierement gele — seule une tete de classification legere (mode seul) ou le module de fusion (mode fusion) sont entraines.

Architecture reelle du checkpoint utilise : 1 843 456 parametres au total (encodeur convolutif + GRU contextuel, sortie 256-dim) — note : ce chiffre differe de certaines estimations plus elevees (~5.8M) parfois citees pour cette famille de modeles ; il correspond aux poids du checkpoint officiel effectivement charge et verifie.

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-CN	64.31%	53.42%	80.64%	74.96%
en-GB_WLS	62.69%	57.61%	79.91%	77.56%
en-IE	62.40%	66.95%	79.15%	85.70%
Moyenne	63.13%	59.33%	79.90%	79.41%

Comparaison finale — toutes architectures, mode fusion, moyennes sur 3 accents

Architecture	Params (encodeur)	Fusion Test	Fusion OOD
BiGRU (1x, from scratch)	461K	75.70%	74.48%
Conformer (1x, from scratch)	430K	77.95%	75.93%
ECAPA-TDNN (1x, from scratch)	462K	78.97%	78.21%
Conformer (2x, from scratch)	904K	78.32%	77.78%
CPC (pre-entraine, gele)	1.84M	79.90%	79.41%

Resultat cle : CPC (pre-entraine, gele, jamais affine sur la tache) obtient le meilleur score en mode fusion, devant toutes les architectures from-scratch testees — suggerant que son pre-entrainement self-supervised capture deja des informations acoustiques/prosodiques pertinentes, complementaires a la semantique de Whisper. En mode seul cependant, CPC reste modeste (63.13% test, 59.33% OOD), moins bon que BiGRU ou Conformer entraines specifiquement — le gain de CPC provient donc presque entierement de la fusion, pas de sa capacite de classification isolee.

5. Trois configurations d'entrainement (Phase 1 et Phase 2, 14 accents)

Configuration	P1 Test	P1 OOD	P2 Test	P2 OOD
Smart Turn seul (0% AppTek)	87.55%	55.85%*	92.31%	65.77%*
Mixte (94% ST / 6% AppTek)	84.39%	60.86%	90.21%	76.02%
AppTek seul (0% ST)	64.42%	56.59%	78.79%	77.58%

*Pour Smart Turn seul, "OOD" = AppTek test (jamais vu a l'entrainement).

Resultat le plus marquant : Phase 2 (AppTek seul) obtient le meilleur score OOD moyen parmi ces 3 configurations, malgre 16x moins de donnees et l'absence de synthetique.

Tableau complet — Mixte, 14 accents, avec baselines figees

Accent OOD	ST v3.2 AppTek	ST v3.2 OOD	LiveKit AppTek	LiveKit OOD	P1 AppTek	P1 OOD	P2 AppTek	P2 OOD
en-AU	64.39%	67.38%	69.12%	74.37%	62.07%	66.44%	80.55%	80.76%
en-CA	63.41%	67.80%	67.88%	70.61%	66.44%	64.70%	79.06%	78.66%
en-CN	63.59%	63.04%	68.77%	64.79%	67.39%	56.12%	81.64%	72.97%
en-GB	64.76%	60.48%	68.46%	67.33%	65.61%	60.29%	78.75%	73.43%
en-GB_SCT	64.23%	58.39%	68.43%	68.27%	66.15%	57.98%	77.75%	70.39%
en-GB_WLS	63.67%	61.76%	67.44%	67.65%	65.83%	57.35%	79.48%	75.58%
en-IE	63.06%	73.44%	68.00%	76.18%	68.62%	63.68%	78.77%	84.52%
en-IN	64.34%	61.49%	68.15%	62.63%	67.47%	61.05%	79.70%	70.57%
en-MX	64.88%	63.65%	68.63%	70.44%	65.86%	56.85%	78.74%	75.99%
en-SG	63.30%	66.45%	68.01%	67.19%	67.14%	63.38%	79.73%	76.58%
en-US_Aave	65.98%	58.14%	69.10%	65.70%	64.17%	58.56%	80.86%	71.83%
en-US_General	63.84%	68.90%	68.41%	67.82%	66.21%	62.39%	79.73%	79.05%
en-US_Southern	64.96%	63.43%	68.30%	70.44%	67.61%	65.61%	78.71%	76.32%
en-ZA	64.84%	66.57%	68.42%	65.71%	65.50%	57.71%	78.29%	76.62%
Moyenne	64.23%	64.35%	68.29%	68.51%	66.01%	60.86%	79.34%	76.02%

6. Experience de reequilibrage synthetique/reel (OOD=en-CN)

Configuration	P1 Test	P1 OOD	P2 Test	P2 OOD
Original (94%/6%)	84.89%	59.54%	90.48%	71.07%
Oversample (65%/35%, reptete)	84.50%	59.78%	90.10%	70.19%
Undersample (50%/50%, vrai)	60.93%	54.69%	87.47%	71.70%

Resultat cle : Phase 1 s'effondre severement sous undersample (-23.96 points), Phase 2 resiste beaucoup mieux (-3.01 points).

Resultats cles globaux (synthese)

La fusion (Phase 2) genere une vraie synergie — ni l'acoustique seule ni la semantique seule ne l'egalent.
CPC (pre-entraine, gele) surpasse toutes les architectures from-scratch en mode fusion, malgre l'absence totale de fine-tuning sur la tache — le pre-entrainement self-supervised sur audio brut semble capturer une information acoustique/prosodique complementaire particulierement utile.
Phase 2 (AppTek seul) atteint la meilleure generalisation OOD absolue parmi les configurations de donnees testees.
Le choix d'architecture acoustique optimal depend du contexte (seule vs fusionnee) et du budget de parametres.
La chute de performance OOD est systematique a travers tous les accents et modeles testes.

Chargement

import torch
ckpt = torch.load("phase2-whisper-crossattn-v4-ood-en-AU-light.pt", map_location="cpu")
model.load_state_dict(ckpt['best_state'])

Fichiers de resultats bruts (JSON)

results-ood-{accent}.json, results-apptekonly-{accent}.json — Phase1/Phase2, configs mixte et AppTek seul
results-whisperfrozen-mixte-{accent}.json — ablation Whisper-frozen-head
arch-comparison-{arch}-{accent}.json, arch2x-comparison-{arch}-{accent}.json — architectures, budgets 1x/2x
archscale-comparison-conformer-{3x,4x}-{accent}.json — Conformer, budgets 3x/4x
cpc-comparison-{accent}.json — CPC pre-entraine gele
architecture-comparison-consolidated.json — consolide 1x/2x
decomposition-test-all-accents.json, results-smartturn-only-v4.json, smartturn-only-apptek-test-by-accent.json
baselines-smartturn-livekit-all-accents.json

Limites connues

LiveKit v1-mini limite a 1.2s de contexte audio (vs 8s pour les autres modeles)
Couverture AppTek limitee a l'anglais (14 accents)
Comparaison d'architectures effectuee sur 3 accents seulement, pour limiter le temps de calcul
Instabilite d'entrainement observee pour Conformer a budget 4x sur un accent (en-CN)
CPC evalue avec un seul checkpoint pre-entraine (LibriSpeech, anglais), sans fine-tuning

7. Extension : architectures alternatives en config mixte (14 accents)

Suite a la comparaison d'architectures a budget egal (config AppTek seul, section 3), deux architectures supplementaires ont ete testees en config mixte (Smart Turn + AppTek), sur les 14 accents.

BiGRU (config mixte, 14 accents)

Accent OOD	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	69.29%	71.17%	88.48%	79.49%
en-CA	68.31%	69.33%	88.74%	78.17%
en-CN	69.24%	64.71%	88.65%	69.00%
en-GB	69.95%	62.62%	89.06%	69.90%
en-GB_SCT	69.50%	61.49%	88.79%	71.26%
en-GB_WLS	68.02%	66.18%	88.38%	74.17%
en-IE	68.04%	69.13%	88.85%	81.72%
en-IN	69.57%	63.46%	88.83%	67.11%
en-MX	69.89%	64.21%	88.82%	72.76%
en-SG	68.46%	67.29%	88.93%	73.56%
en-US_Aave	69.12%	63.21%	89.02%	71.88%
en-US_General	68.93%	69.28%	88.95%	76.05%
en-US_Southern	70.41%	67.39%	88.71%	75.66%
en-ZA	70.08%	63.62%	88.68%	72.43%
Moyenne	69.06%	65.59%	88.78%	74.71%

Resultat : BiGRU (461K params) sous-performe ECAPA-TDNN (Phase 1, 462K params) sur le test combine en config mixte (88.78% vs 90.21%), malgre sa superiorite observee en config AppTek seul. Suggere que BiGRU exploite moins bien le volume massif de donnees synthetiques Smart Turn.

CPC + Whisper + Transformer (nouvelle architecture de fusion)

Modification apportee a la fusion (par rapport a la Cross-Attention + TCN originale de Phase 2) :

Cross-attention causale entre features CPC (acoustique, gelees) et Whisper (semantique, gelees) — identique a l'original
Connexion residuelle ajoutee : l'acoustique brute projetee est additionnee a la sortie de cross-attention, puis normalisee (LayerNorm)
TCN remplace par 2 couches de TransformerEncoder (d_model=128, nhead=4, dim_feedforward=256), avec masque causal explicite
Classifieur a 2 couches (Linear 128->32 + ReLU + Linear 32->2)

Parametres de la fusion : 499,810 (contre ~360K pour la fusion originale Cross-Attention+TCN, soit +39%)

Accent OOD	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	63.71%	62.45%	80.42%	86.28%
en-CA	63.70%	63.72%	79.75%	81.34%
en-CN	65.98%	54.45%	81.44%	74.09%
en-GB	63.61%	58.81%	80.39%	77.19%
en-GB_SCT	64.93%	60.93%	80.01%	75.92%
en-GB_WLS	63.94%	57.67%	79.68%	77.05%
en-IE	63.96%	65.20%	78.68%	86.70%
en-IN	64.38%	61.71%	80.97%	69.96%
en-MX	63.77%	64.04%	80.42%	78.65%
en-SG	65.11%	61.01%	81.14%	77.37%
en-US_Aave	64.31%	58.56%	80.46%	77.80%
en-US_General	64.07%	59.64%	80.66%	81.10%
en-US_Southern	63.42%	62.57%	80.35%	80.69%
en-ZA	64.74%	55.62%	79.77%	78.38%
Moyenne	64.19%	60.82%	80.02%	78.04%

Resultat cle : cette architecture obtient le meilleur score OOD moyen de toutes les architectures testees en config mixte (78.04%), surpassant Phase 2 originale (76.02%) — malgre un score de test in-distribution inferieur (80.02% vs 90.21%). Le remplacement du TCN par un Transformer avec connexion residuelle semble ameliorer specifiquement la capacite de generalisation vers l'audio reel inconnu, au prix d'une performance legerement moindre sur les donnees vues (Smart Turn + AppTek connus).

Comparaison finale — toutes architectures en config mixte, moyennes 14 accents

Architecture	Params (fusion)	Test combine	OOD
BiGRU	461K (encodeur)	88.78%	74.71%
Phase 1/2 (ECAPA + Cross-Attn+TCN)	462K + ~360K	90.21%	76.02%
CPC + Whisper + Transformer	1.84M (CPC gele) + 500K (fusion)	80.02%	78.04%

Interpretation : si l'objectif est la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA + Cross-Attention/TCN) reste la meilleure architecture. Si l'objectif est la generalisation a un accent totalement inconnu, la combinaison CPC (pre-entraine) + fusion Transformer semble legerement superieure, suggerant une piste d'amelioration pour des applications ou la robustesse a des locuteurs/accents non vus est prioritaire.

8. CPC Frozen vs CPC Partial (fine-tuning du GRU contextuel) — config mixte, 14 accents

Extension de l'experience CPC (section 4) : comparaison entre l'encodeur CPC entierement gele ("frozen") et une variante ou le GRU contextuel (couche recurrente apres l'encodeur convolutif) est degele et fine-tune sur la tache ("partial"), tandis que l'encodeur convolutif reste toujours gele dans les deux cas.

Parametres entraines : 33,154 (frozen, tete de classification seule) vs 559,490 (partial, tete + GRU contextuel).

CPC Frozen (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	65.06%	61.63%	80.75%	84.02%
en-CA	64.63%	63.11%	80.21%	82.30%
en-CN	63.00%	52.70%	80.35%	73.77%
en-GB	63.66%	59.60%	79.99%	78.17%
en-GB_SCT	64.86%	59.44%	80.24%	74.86%
en-GB_WLS	64.53%	56.19%	79.83%	76.85%
en-IE	63.79%	66.02%	78.79%	87.83%
en-IN	64.55%	60.92%	80.53%	71.34%
en-MX	64.10%	60.79%	80.06%	78.02%
en-SG	64.99%	62.29%	80.60%	78.14%
en-US_Aave	64.63%	57.31%	80.32%	76.24%
en-US_General	63.79%	59.83%	80.49%	80.97%
en-US_Southern	63.84%	63.65%	80.42%	78.05%
en-ZA	65.19%	56.09%	80.55%	76.63%
Moyenne	64.33%	59.97%	80.23%	78.37%

CPC Partial (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	63.02%	61.45%	79.45%	85.89%
en-CA	63.18%	59.70%	79.22%	80.98%
en-CN	60.84%	50.87%	79.96%	72.50%
en-GB	63.50%	52.29%	80.75%	76.33%
en-GB_SCT	64.46%	55.81%	79.86%	75.18%
en-GB_WLS	63.69%	57.23%	79.46%	77.05%
en-IE	63.62%	59.23%	79.21%	85.75%
en-IN	62.45%	55.53%	79.98%	71.14%
en-MX	64.69%	62.91%	79.18%	77.41%
en-SG	63.92%	58.69%	80.35%	77.28%
en-US_Aave	62.54%	53.12%	79.68%	75.53%
en-US_General	63.32%	56.39%	80.33%	80.72%
en-US_Southern	63.44%	57.41%	80.33%	77.98%
en-ZA	63.87%	56.10%	79.24%	79.43%
Moyenne	63.33%	56.91%	79.79%	78.08%

Comparaison synthetique

Mode	Seul Test	Seul OOD	Fusion Test	Fusion OOD
Frozen	64.33%	59.97%	80.23%	78.37%
Partial	63.33%	56.91%	79.79%	78.08%
Ecart (frozen - partial)	+1.00	+3.06	+0.44	+0.29

Resultat cle : le fine-tuning partiel du GRU contextuel de CPC n'apporte aucun benefice, et se revele legerement contre-productif sur toutes les metriques, particulierement pour la generalisation OOD en mode seul (+3.06 points en faveur du frozen). Ceci suggere que les representations pre-entrainees de CPC captent deja l'essentiel du signal utile pour cette tache, et qu'un fine-tuning limite (peu de donnees specifiques face a un espace de parametres relativement large) ajoute du bruit d'optimisation sans gain reel.

Tableau recapitulatif final — toutes architectures en fusion, config mixte, moyennes 14 accents

Architecture	Params (acoustique)	Fusion Test	Fusion OOD
CPC frozen	1.84M (gele)	80.23%	78.37%
CPC + Whisper + Transformer	1.84M (gele) + 500K (fusion)	80.02%	78.04%
CPC partial	1.84M (559K entraines)	79.79%	78.08%
Phase 2 (ECAPA + Cross-Attn+TCN)	462K (from scratch)	90.21%	76.02%
BiGRU	461K (from scratch)	88.78%	74.71%

Interpretation finale : pour la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA, from scratch) reste la meilleure architecture. Pour la generalisation a un accent totalement inconnu, CPC gele (sans aucun fine-tuning) offre la meilleure robustesse parmi toutes les architectures testees — confirmant qu'un encodeur pre-entraine en self-supervised sur de la parole brute capture une information acoustique/prosodique qui generalise mieux qu'un apprentissage from-scratch specifique a la tache, meme avec beaucoup moins de parametres entraines (33K vs 462K).

8. CPC Frozen vs CPC Partial (fine-tuning du GRU contextuel) — config mixte, 14 accents

Parametres entraines : 33,154 (frozen, tete de classification seule) vs 559,490 (partial, tete + GRU contextuel).

CPC Frozen (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	65.06%	61.63%	80.75%	84.02%
en-CA	64.63%	63.11%	80.21%	82.30%
en-CN	63.00%	52.70%	80.35%	73.77%
en-GB	63.66%	59.60%	79.99%	78.17%
en-GB_SCT	64.86%	59.44%	80.24%	74.86%
en-GB_WLS	64.53%	56.19%	79.83%	76.85%
en-IE	63.79%	66.02%	78.79%	87.83%
en-IN	64.55%	60.92%	80.53%	71.34%
en-MX	64.10%	60.79%	80.06%	78.02%
en-SG	64.99%	62.29%	80.60%	78.14%
en-US_Aave	64.63%	57.31%	80.32%	76.24%
en-US_General	63.79%	59.83%	80.49%	80.97%
en-US_Southern	63.84%	63.65%	80.42%	78.05%
en-ZA	65.19%	56.09%	80.55%	76.63%
Moyenne	64.33%	59.97%	80.23%	78.37%

CPC Partial (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	63.02%	61.45%	79.45%	85.89%
en-CA	63.18%	59.70%	79.22%	80.98%
en-CN	60.84%	50.87%	79.96%	72.50%
en-GB	63.50%	52.29%	80.75%	76.33%
en-GB_SCT	64.46%	55.81%	79.86%	75.18%
en-GB_WLS	63.69%	57.23%	79.46%	77.05%
en-IE	63.62%	59.23%	79.21%	85.75%
en-IN	62.45%	55.53%	79.98%	71.14%
en-MX	64.69%	62.91%	79.18%	77.41%
en-SG	63.92%	58.69%	80.35%	77.28%
en-US_Aave	62.54%	53.12%	79.68%	75.53%
en-US_General	63.32%	56.39%	80.33%	80.72%
en-US_Southern	63.44%	57.41%	80.33%	77.98%
en-ZA	63.87%	56.10%	79.24%	79.43%
Moyenne	63.33%	56.91%	79.79%	78.08%

Comparaison synthetique

Mode	Seul Test	Seul OOD	Fusion Test	Fusion OOD
Frozen	64.33%	59.97%	80.23%	78.37%
Partial	63.33%	56.91%	79.79%	78.08%
Ecart (frozen - partial)	+1.00	+3.06	+0.44	+0.29

Tableau recapitulatif final — toutes architectures en fusion, config mixte, moyennes 14 accents

Architecture	Params (acoustique)	Fusion Test	Fusion OOD
CPC frozen	1.84M (gele)	80.23%	78.37%
CPC + Whisper + Transformer	1.84M (gele) + 500K (fusion)	80.02%	78.04%
CPC partial	1.84M (559K entraines)	79.79%	78.08%
Phase 2 (ECAPA + Cross-Attn+TCN)	462K (from scratch)	90.21%	76.02%
BiGRU	461K (from scratch)	88.78%	74.71%

9. Choix de l'encodeur semantique : Whisper vs HuBERT — config Smart Turn seul

Ablation testant si le choix de l'encodeur semantique gele (dans la fusion Phase 2) influence les resultats. Meme protocole que l'experience "Smart Turn seul" (train/val/test officiels Smart Turn v3.2, aucune donnee AppTek), avec Phase 1 (ECAPA-TDNN) identique dans les deux cas, seul l'encodeur de fusion change.

Whisper-tiny : encodeur pre-entraine pour la reconnaissance vocale (supervision texte forte), 384 dimensions de sortie. HuBERT-base : encodeur pre-entraine en self-supervised pur (masquage acoustique, sans supervision textuelle), 768 dimensions de sortie.

Modele	Accuracy	F1	ROC-AUC
Phase 1 (ECAPA-TDNN, acoustique seule)	87.34%	87.34%	0.9439
Phase 2 (fusion avec Whisper)	92.37%	—	0.9769
Phase 2 (fusion avec HuBERT)	85.57%	85.56%	0.9271

Resultat cle : la fusion avec HuBERT degrade les performances par rapport a Phase 1 seul (85.57% vs 87.34%), alors que la fusion avec Whisper les ameliore significativement (+5 points). Ceci suggere que le gain de la fusion semantique dans Phase 2 ne provient pas simplement de l'ajout d'une representation audio pre-entrainee generique, mais specifiquement de la supervision textuelle de Whisper (entraine pour la reconnaissance vocale) — un signal linguistique/semantique que le self-supervised pur de HuBERT ne capture pas de la meme maniere. Pour une tache de detection de fin de tour, qui beneficie probablement d'une comprehension du caractere syntaxiquement/semantiquement complet d'un enonce, la supervision texte de Whisper semble apporter un avantage decisif que HuBERT n'offre pas.

10. Ablation du mecanisme de fusion — config mixte, en-CN

Comparaison de trois mecanismes pour combiner les features acoustiques (ECAPA-TDNN) et semantiques (Whisper), Phase 1 identique dans les trois cas.

Cross-Attention (Phase 2 originale) : attention causale entre les deux modalites, suivie d'un TCN. Average Pooling : moyenne temporelle de chaque modalite, projection, concatenation, MLP. Gated Pooling : moyenne temporelle de chaque modalite, porte apprise (sigmoid) ponderant la contribution relative de chaque modalite avant fusion.

Mecanisme	Test combine	OOD
Cross-Attention (baseline)	90.01%	69.00%
Gated Pool	87.30%	67.57%
Avg Pool	87.02%	68.20%

Resultat cle : la cross-attention domine les deux mecanismes plus simples sur les deux metriques (+2.71 a +2.99 points test, +0.80 a +1.43 points OOD), confirmant que la capacite d'attention dynamique entre modalites (plutot qu'une simple moyenne ou une porte statique) apporte une vraie valeur ajoutee a la tache, justifiant la complexite additionnelle de ce mecanisme dans l'architecture Phase 2.

11. Curriculum de diversite d'accents — effet du nombre d'accents sur la generalisation OOD

Description de l'experience

Cette experience teste l'effet du nombre d'accents distincts presents dans l'entrainement sur la capacite de generalisation a des accents totalement inconnus (OOD), independamment du volume total de donnees.

Protocole :

Pour chaque valeur de K (nombre d'accents AppTek inclus), on construit un jeu d'entrainement melangeant K accents AppTek avec un volume egal de Smart Turn sous-echantillonne aleatoirement (ratio 50/50, pour que les accents inclus ne soient jamais negligeables face au synthetique)
Le modele (Phase 1 ECAPA-TDNN + Phase 2 fusion Cross-Attention, architecture standard du projet) est entraine sur ce melange, 15 epochs
L'evaluation OOD se fait sur chacun des accents restants (14-K) individuellement, puis moyennee
Valeurs de K testees : 1, 2, 4, 7, 10, 13 (espacees plutot qu'exhaustives, pour couvrir la pente initiale et le plateau avec un budget de calcul raisonnable)

Controle de la variance : pour isoler l'effet de la diversite (K) de l'effet de l'ordre specifique des accents et du hasard d'entrainement, chaque (K, ordre) est repete avec 2 graines d'entrainement independantes, sur 6 sequences d'accents (3 permutations aleatoires distinctes, chacune testee en ordre normal et inverse) :

$6 \text{ sequences} \times 6 \text{ valeurs de K} \times 2 \text{ repetitions} = 72 \text{ runs}$

Resultats — moyenne et ecart-type sur les 12 runs par valeur de K

K (accents inclus)	Test moyen	Test std	OOD moyen	OOD std
1	77.20%	3.13%	73.99%	1.15%
2	76.78%	2.61%	75.26%	0.52%
4	77.78%	1.60%	75.82%	1.02%
7	78.38%	1.22%	76.89%	1.12%
10	78.98%	1.01%	76.57%	1.41%
13	78.67%	0.51%	75.90%	2.60%

Resultats cles

La variance diminue fortement avec K (3.13% -> 0.51% pour le test) — avec peu d'accents, l'identite precise de l'accent choisi influence enormement le resultat ; avec beaucoup d'accents, l'effet de l'ordre/choix specifique s'estompe et les resultats deviennent stables quelle que soit la sequence testee.
Rendements decroissants clairs — le plus gros du gain de generalisation OOD arrive tot (K=1 a K=7 : +2.90 points), puis plafonne voire recule legerement (K=7 a K=10 : -0.32 point ; K=10 a K=13 : -0.67 point). Au-dela de 7-10 accents differents, ajouter davantage de diversite n'apporte plus de gain significatif.
Le bruit statistique redevient dominant a K=13 — avec un seul accent OOD restant par run a cette valeur, l'ecart-type OOD remonte fortement (2.60%), rendant cette mesure moins fiable individuellement (coherent avec le design : K=13 n'offre qu'un seul point de comparaison OOD par sequence, contre 13 points a K=1).
Robustesse a l'ordre des accents : la faible variance a haut K a travers les 6 sequences testees (3 permutations x 2 sens) suggere que l'effet de diversite domine largement tout effet potentiel de proximite/distance entre accents specifiques — aucune sequence n'a produit de resultat systematiquement different des autres a K egal.

Interpretation pour la pratique : ces resultats suggerent qu'il n'est pas necessaire de collecter des donnees pour un tres grand nombre d'accents differents pour obtenir une bonne generalisation — un socle de 7 a 10 accents diversifies semble suffire a capturer l'essentiel du benefice, avec des gains marginaux au-dela.

12. Curriculum de diversite d'accents (V3, protocole final rigoureux) — Leave-One-Out avec volume total fixe

Motivation et question de recherche

Les experiences precedentes de ce projet (sections 4-9) montrent systematiquement que l'exposition a des accents reels ameliore la generalisation OOD. Mais ces experiences confondaient deux effets distincts : le volume total de donnees et la diversite (nombre d'accents differents). Cette section isole specifiquement l'effet de la diversite, a volume total strictement constant, avec un design statistiquement rigoureux (repetitions multiples, tirage aleatoire, test de significativite formel).

Protocole et preparation des donnees

Architecture testee : Phase 1 (ECAPA-TDNN causal, 462K parametres) + Phase 2 (fusion Cross-Attention + TCN avec Whisper-tiny gele), l'architecture de reference du projet. Phase 1 est entrainee comme etape intermediaire (necessaire pour extraire les features acoustiques utilisees par Phase 2) mais ses metriques ne sont pas rapportees : des experiences preliminaires ont montre qu'elle reste proche du hasard (accuracy ~50%, AUC ~0.50) sur l'OOD quelle que soit la diversite d'entrainement, confirmant qu'elle ne beneficie pas de la diversite sans la composante semantique.

Design "Leave-One-Out" (LOO) : pour chaque accent cible (les 14 accents AppTek testes individuellement, comme dans le reste du projet), cet accent est totalement exclu de l'entrainement et sert uniquement de test OOD.

Volume total AppTek fixe : la contrainte cle de ce protocole. Le nombre total d'exemples AppTek dans le train est fixe a 1258 exemples (628 par classe HOLD/SHIFT), une valeur determinee par la taille du plus petit accent disponible (en-CN, qui ne fournit que 629 exemples equilibres par classe). Ce volume total est reparti egalement entre les K accents inclus : a K=1, l'unique accent fournit ses 1258 exemples ; a K=13, chacun des 13 accents restants (hors l'accent OOD) ne fournit qu'environ 97 exemples. Le volume de Smart Turn synthetique est sous-echantillonne pour egaler exactement le volume AppTek a chaque fois (ratio 50/50 constant).

Tirage aleatoire des accents inclus : contrairement aux versions preliminaires du protocole (qui suivaient un ordre fixe), les K accents inclus a chaque run sont tires aleatoirement parmi les 13 accents non-OOD, independamment a chaque repetition. Ceci evite de confondre "effet de diversite" avec "effet de tel accent precis inclus a telle etape".

Valeurs de K testees : 1, 3, 6, 9, 13 (espacees pour couvrir le debut, le milieu et la fin de la plage possible, avec un budget de calcul maitrise).

Repetitions : 6 repetitions independantes par (accent OOD, K), avec tirage aleatoire different a chaque fois et reinitialisation complete du modele — permet un test de significativite statistique formel.

Volume total de l'experience : 14 accents x 5 valeurs de K x 6 repetitions = 420 runs independants, chacun avec 15 epochs d'entrainement pour Phase 1 puis pour Phase 2.

Metriques enregistrees : pour chaque run, accuracy, F1-macro, ROC-AUC et matrice de confusion, a la fois sur le test combine (in-distribution : Smart Turn test officiel + AppTek test des accents inclus) et sur l'accent OOD exclu.

Resultats — vue d'ensemble par accent et par K

Test combine (in-distribution), accuracy moyenne sur 6 repetitions

Accent	K=1	K=3	K=6	K=9	K=13
en-AU	73.67%	77.04%	75.04%	73.03%	73.62%
en-CA	77.22%	75.98%	76.83%	73.66%	74.51%
en-CN	79.96%	75.44%	73.53%	73.48%	77.36%
en-GB	81.03%	75.89%	75.85%	73.48%	75.31%
en-GB_SCT	76.24%	73.23%	73.71%	72.94%	73.89%
en-GB_WLS	73.85%	76.06%	75.67%	75.00%	74.69%
en-IE	76.33%	74.56%	73.80%	72.85%	74.96%
en-IN	78.10%	74.91%	76.74%	76.97%	75.49%
en-MX	78.10%	74.73%	75.40%	73.92%	76.56%
en-SG	78.19%	76.42%	75.31%	77.24%	70.77%
en-US_Aave	76.68%	76.68%	74.24%	72.67%	75.76%
en-US_General	78.99%	78.10%	75.13%	75.45%	76.83%
en-US_Southern	77.13%	78.63%	74.60%	75.45%	74.42%
en-ZA	75.62%	73.49%	74.96%	74.01%	73.62%

OOD (accent exclu), accuracy moyenne sur 6 repetitions

Accent	K=1	K=3	K=6	K=9	K=13
en-AU	77.49%	79.96%	79.56%	79.60%	79.65%
en-CA	71.99%	76.51%	77.07%	76.54%	76.27%
en-CN	69.33%	68.81%	70.18%	68.67%	69.97%
en-GB	70.17%	70.46%	71.32%	71.95%	73.01%
en-GB_SCT	68.11%	69.68%	70.79%	69.04%	69.43%
en-GB_WLS	69.54%	74.38%	73.70%	74.15%	74.13%
en-IE	81.31%	81.04%	81.58%	81.70%	80.45%
en-IN	68.02%	68.26%	69.65%	68.44%	69.58%
en-MX	72.28%	71.79%	73.60%	73.10%	74.10%
en-SG	73.61%	73.46%	75.55%	75.34%	73.63%
en-US_Aave	70.26%	72.05%	71.95%	73.14%	72.62%
en-US_General	76.25%	76.20%	76.71%	77.31%	77.20%
en-US_Southern	74.03%	74.96%	74.83%	76.51%	76.05%
en-ZA	72.24%	71.78%	73.87%	74.98%	74.03%

Tests statistiques formels (K=1 vs K=13)

Test t apparie par accent (le plus rigoureux, controlant pour la difficulte intrinseque de chaque accent) :

Metrique	Difference moyenne (K=13 - K=1)	Statistique t	p-value	Conclusion
OOD accuracy	+1.82 points	t=4.639	p=0.000463	Effet significatif : la diversite ameliore la generalisation
Test combine accuracy	-2.38 points	t=-4.267	p=0.000918	Effet significatif : la diversite degrade la performance in-distribution

Detail par accent — significativite individuelle (OOD, K=1 vs K=13)

Accent	Diff OOD (K13-K1)	p-value	Significatif
en-GB_WLS	+4.58	0.0059	***
en-GB	+2.83	0.0451	*
en-MX	+1.82	0.0243	*
en-ZA	+1.79	0.0330	*
en-CA	+4.28	0.1414	(tendance forte, non significative)
en-AU	+2.16	0.0947	(tendance, non significative)
en-CN	+0.64	0.5430	non
en-SG	+0.02	0.9840	non
en-IE	-0.86	0.3237	non (legere baisse)

Resultats cles et interpretation

1. Un veritable compromis diversite/specialisation, statistiquement prouve dans les deux sens. A volume total fixe, augmenter le nombre d'accents inclus dans l'entrainement ameliore la generalisation vers un accent totalement inconnu (+1.82 points OOD, p<0.001), mais degrade simultanement la performance sur les donnees directement vues (-2.38 points en test combine, p<0.001). Ce resultat n'aurait pas ete visible en ne regardant que l'OOD seul, comme dans les versions preliminaires de ce protocole.

2. Explication mecanique. A volume total constant, chaque accent supplementaire dilue le nombre d'exemples disponibles par accent (de 1258 exemples a K=1, a environ 97 exemples par accent a K=13). Le modele apprend donc moins precisement chaque accent individuel (d'ou la baisse en test combine), mais cette exposition a davantage de variations differentes semble l'encourager a extraire des caracteristiques acoustiques/semantiques plus generales et transferables (d'ou le gain OOD).

3. Effet fortement heterogene selon l'accent. Seuls 4 accents sur 14 montrent un gain OOD individuellement significatif (en-GB_WLS, en-GB, en-MX, en-ZA), avec en-GB_WLS montrant l'effet le plus marque (+4.58 points, p=0.006). A l'inverse, en-CN et en-SG ne montrent presque aucun gain, et en-IE (deja tres bien generalise a K=1, 81.31%) montre une legere baisse non significative. Ceci suggere que le benefice de la diversite depend de la position de depart : les accents "intermediaires" en beneficient le plus, tandis que les accents deja faciles (en-IE) ou structurellement difficiles (en-CN, en-IN, autour de 68-70% quel que soit K) beneficient peu ou pas de la diversite accrue.

4. Coherence entre metriques. Le F1-macro et le ROC-AUC suivent globalement la meme tendance que l'accuracy pour l'OOD (leger gain avec K), confirmant que le signal observe n'est pas un artefact d'une seule metrique.

Implication pratique : le choix du nombre d'accents a inclure dans l'entrainement, a volume de donnees fixe, depend de l'objectif vise. Pour maximiser la performance sur un ensemble d'accents connus et deja representes, un entrainement plus specialise (moins d'accents, plus d'exemples chacun) est preferable. Pour maximiser la robustesse a des accents totalement inconnus en production, favoriser la diversite (plus d'accents, moins d'exemples chacun) apporte un gain reel, bien que modeste et concentre sur certains types d'accents.