README.md

---
tags:
- turn-taking-detection
- audio-classification
- ecapa-tdnn
- whisper
- causal
license: mit
---

# Turn-Taking Detection Models — Collection complete v4

Modeles de detection de fin de tour (HOLD/SHIFT), architecture causale, entraines sur Smart Turn v3.2 (synthetique) et/ou AppTek (audio reel de centre d'appel, 14 accents anglophones).

## Table des matieres

1. Comparaison globale avec les modeles de reference
2. Ablation : acoustique seule vs semantique seule vs fusion
3. Comparaison d'architectures acoustiques a budget variable
4. CPC : encodeur audio pre-entraine (self-supervised)
5. Trois configurations d'entrainement (mixte / Smart Turn seul / AppTek seul)
6. Experience de reequilibrage synthetique/reel
7. Fichiers de resultats bruts

---

## 1. Comparaison globale — 4 modeles, test officiel Smart Turn v3.2

| Modele | Params | Accuracy | ROC-AUC | Notes |
|---|---|---|---|---|
| LiveKit v1-mini | ~0.5B (distille) | 61.02% | 0.7324 | Limite a 1.2s de contexte audio |
| Smart Turn v3.2 (officiel) | ~8M | 73.33% | 0.7962 | Whisper-tiny fine-tune complet |
| **Phase 1 (notre, from scratch)** | **462K** | **87.36-87.93%** | **0.9439-0.9483** | Selon config, Whisper gele |
| **Phase 2 (notre, fusion)** | **~360K (+8M geles)** | **92.06-92.60%** | **0.9744-0.9776** | Meilleure architecture |

---

## 2. Ablation : Phase 1 (acoustique) vs Whisper-frozen-head (semantique) vs Phase 2 (fusion)

14 accents, config mixte (94% Smart Turn / 6% AppTek).

| Accent OOD | P1 Test | WF Test | P2 Test | P1 OOD | WF OOD | P2 OOD |
|---|---|---|---|---|---|---|
| en-AU | 84.21% | 83.63% | 90.01% | 66.44% | 70.04% | 80.76% |
| en-CA | 84.27% | 83.75% | 89.77% | 64.70% | 71.04% | 78.66% |
| en-CN | 84.29% | 83.47% | 90.18% | 56.12% | 67.89% | 72.97% |
| en-GB | 84.14% | 82.78% | 90.48% | 60.29% | 65.29% | 73.43% |
| en-GB_SCT | 84.57% | 83.64% | 90.52% | 57.98% | 60.65% | 70.39% |
| en-GB_WLS | 83.87% | 83.48% | 90.05% | 57.35% | 65.03% | 75.58% |
| en-IE | 84.35% | 83.37% | 90.11% | 63.68% | 76.04% | 84.52% |
| en-IN | 84.31% | 83.56% | 90.55% | 61.05% | 69.43% | 70.57% |
| en-MX | 84.26% | 83.71% | 90.58% | 56.85% | 64.38% | 75.99% |
| en-SG | 84.57% | 83.54% | 90.44% | 63.38% | 71.14% | 76.58% |
| en-US_Aave | 84.20% | 83.70% | 90.07% | 58.56% | 65.64% | 71.83% |
| en-US_General | 84.45% | 83.47% | 90.08% | 62.39% | 71.20% | 79.05% |
| en-US_Southern | 84.60% | 83.68% | 90.60% | 65.61% | 66.60% | 76.32% |
| en-ZA | 84.56% | 83.84% | 90.54% | 57.71% | 67.48% | 76.62% |
| **Moyenne** | **84.39%** | **83.61%** | **90.21%** | **60.86%** | **68.03%** | **76.02%** |

**Resultat cle** : ni l'acoustique seule ni la semantique seule n'atteignent la performance de la fusion complete — la cross-attention genere une synergie reelle.

---

## 3. Comparaison d'architectures acoustiques a budget de parametres variable

Config AppTek seul, 3 accents (en-CN, en-GB_WLS, en-IE), mode seul et mode fusion (avec Whisper gele).

### Moyennes sur 3 accents — architectures from-scratch

| Architecture | Budget (params) | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|---|
| ECAPA-TDNN | 1x (462K) | 64.68% | 57.42% | 78.97% | 78.21% |
| ECAPA-TDNN | 2x (911K) | 64.51% | 57.46% | 78.05% | 77.40% |
| BiGRU | 1x (461K) | 70.19% | 65.50% | 75.70% | 74.48% |
| BiGRU | 2x (909K) | 70.54% | 65.76% | 76.61% | 74.04% |
| Conformer | 1x (430K) | 67.99% | 61.59% | 77.95% | 75.93% |
| **Conformer** | **2x (904K)** | **72.22%** | **68.93%** | **78.32%** | **77.78%** |
| Conformer | 3x (1.36M) | 70.74% | 70.09% | 77.18% | 77.04% |
| Conformer | 4x (1.83M) | 65.14%* | 63.13%* | 78.08% | 78.34% |

*Instabilite d'entrainement isolee sur en-CN a 4x, affectant la moyenne.

**Resultats cles** :
- A budget egal (~460K), BiGRU domine en mode seul, mais ECAPA-TDNN reprend l'avantage en mode fusion.
- Conformer beneficie d'un budget accru jusqu'a ~900K parametres (2x), avec un gain marque vs 1x.
- Au-dela de 2x, Conformer ne progresse plus de facon monotone (possible surapprentissage sur ~17K exemples train).
- En mode fusion, la performance reste stable a travers tous les budgets (77-78%).

---

## 4. CPC : encodeur audio pre-entraine (self-supervised)

Contrairement aux architectures precedentes (entrainees from-scratch), CPC (Contrastive Predictive Coding, Riviere et al. 2020) est un encodeur **pre-entraine** sur de la parole brute en self-supervised, sans supervision texte. Checkpoint officiel FAIR charge et **entierement gele** — seule une tete de classification legere (mode seul) ou le module de fusion (mode fusion) sont entraines.

**Architecture reelle du checkpoint utilise** : 1 843 456 parametres au total (encodeur convolutif + GRU contextuel, sortie 256-dim) — note : ce chiffre differe de certaines estimations plus elevees (~5.8M) parfois citees pour cette famille de modeles ; il correspond aux poids du checkpoint officiel effectivement charge et verifie.

| Accent | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-CN | 64.31% | 53.42% | 80.64% | 74.96% |
| en-GB_WLS | 62.69% | 57.61% | 79.91% | 77.56% |
| en-IE | 62.40% | 66.95% | 79.15% | 85.70% |
| **Moyenne** | **63.13%** | **59.33%** | **79.90%** | **79.41%** |

### Comparaison finale — toutes architectures, mode fusion, moyennes sur 3 accents

| Architecture | Params (encodeur) | Fusion Test | Fusion OOD |
|---|---|---|---|
| BiGRU (1x, from scratch) | 461K | 75.70% | 74.48% |
| Conformer (1x, from scratch) | 430K | 77.95% | 75.93% |
| ECAPA-TDNN (1x, from scratch) | 462K | 78.97% | 78.21% |
| Conformer (2x, from scratch) | 904K | 78.32% | 77.78% |
| **CPC (pre-entraine, gele)** | **1.84M** | **79.90%** | **79.41%** |

**Resultat cle** : CPC (pre-entraine, gele, jamais affine sur la tache) obtient le **meilleur score en mode fusion**, devant toutes les architectures from-scratch testees — suggerant que son pre-entrainement self-supervised capture deja des informations acoustiques/prosodiques pertinentes, complementaires a la semantique de Whisper. En mode seul cependant, CPC reste modeste (63.13% test, 59.33% OOD), moins bon que BiGRU ou Conformer entraines specifiquement — le gain de CPC provient donc presque entierement de la fusion, pas de sa capacite de classification isolee.

---

## 5. Trois configurations d'entrainement (Phase 1 et Phase 2, 14 accents)

| Configuration | P1 Test | P1 OOD | P2 Test | P2 OOD |
|---|---|---|---|---|
| Smart Turn seul (0% AppTek) | 87.55% | 55.85%* | 92.31% | 65.77%* |
| **Mixte** (94% ST / 6% AppTek) | 84.39% | 60.86% | 90.21% | 76.02% |
| **AppTek seul** (0% ST) | 64.42% | 56.59% | 78.79% | **77.58%** |

*Pour Smart Turn seul, "OOD" = AppTek test (jamais vu a l'entrainement).

**Resultat le plus marquant** : Phase 2 (AppTek seul) obtient le meilleur score OOD moyen parmi ces 3 configurations, malgre 16x moins de donnees et l'absence de synthetique.

### Tableau complet — Mixte, 14 accents, avec baselines figees

| Accent OOD | ST v3.2 AppTek | ST v3.2 OOD | LiveKit AppTek | LiveKit OOD | P1 AppTek | P1 OOD | P2 AppTek | P2 OOD |
|---|---|---|---|---|---|---|---|---|
| en-AU | 64.39% | 67.38% | 69.12% | 74.37% | 62.07% | 66.44% | 80.55% | 80.76% |
| en-CA | 63.41% | 67.80% | 67.88% | 70.61% | 66.44% | 64.70% | 79.06% | 78.66% |
| en-CN | 63.59% | 63.04% | 68.77% | 64.79% | 67.39% | 56.12% | 81.64% | 72.97% |
| en-GB | 64.76% | 60.48% | 68.46% | 67.33% | 65.61% | 60.29% | 78.75% | 73.43% |
| en-GB_SCT | 64.23% | 58.39% | 68.43% | 68.27% | 66.15% | 57.98% | 77.75% | 70.39% |
| en-GB_WLS | 63.67% | 61.76% | 67.44% | 67.65% | 65.83% | 57.35% | 79.48% | 75.58% |
| en-IE | 63.06% | 73.44% | 68.00% | 76.18% | 68.62% | 63.68% | 78.77% | 84.52% |
| en-IN | 64.34% | 61.49% | 68.15% | 62.63% | 67.47% | 61.05% | 79.70% | 70.57% |
| en-MX | 64.88% | 63.65% | 68.63% | 70.44% | 65.86% | 56.85% | 78.74% | 75.99% |
| en-SG | 63.30% | 66.45% | 68.01% | 67.19% | 67.14% | 63.38% | 79.73% | 76.58% |
| en-US_Aave | 65.98% | 58.14% | 69.10% | 65.70% | 64.17% | 58.56% | 80.86% | 71.83% |
| en-US_General | 63.84% | 68.90% | 68.41% | 67.82% | 66.21% | 62.39% | 79.73% | 79.05% |
| en-US_Southern | 64.96% | 63.43% | 68.30% | 70.44% | 67.61% | 65.61% | 78.71% | 76.32% |
| en-ZA | 64.84% | 66.57% | 68.42% | 65.71% | 65.50% | 57.71% | 78.29% | 76.62% |
| **Moyenne** | **64.23%** | **64.35%** | **68.29%** | **68.51%** | **66.01%** | **60.86%** | **79.34%** | **76.02%** |

---

## 6. Experience de reequilibrage synthetique/reel (OOD=en-CN)

| Configuration | P1 Test | P1 OOD | P2 Test | P2 OOD |
|---|---|---|---|---|
| Original (94%/6%) | 84.89% | 59.54% | 90.48% | 71.07% |
| Oversample (65%/35%, reptete) | 84.50% | 59.78% | 90.10% | 70.19% |
| **Undersample (50%/50%, vrai)** | **60.93%** | **54.69%** | **87.47%** | **71.70%** |

**Resultat cle** : Phase 1 s'effondre severement sous undersample (-23.96 points), Phase 2 resiste beaucoup mieux (-3.01 points).

---

## Resultats cles globaux (synthese)

1. La fusion (Phase 2) genere une vraie synergie — ni l'acoustique seule ni la semantique seule ne l'egalent.
2. **CPC (pre-entraine, gele) surpasse toutes les architectures from-scratch en mode fusion**, malgre l'absence totale de fine-tuning sur la tache — le pre-entrainement self-supervised sur audio brut semble capturer une information acoustique/prosodique complementaire particulierement utile.
3. Phase 2 (AppTek seul) atteint la meilleure generalisation OOD absolue parmi les configurations de donnees testees.
4. Le choix d'architecture acoustique optimal depend du contexte (seule vs fusionnee) et du budget de parametres.
5. La chute de performance OOD est systematique a travers tous les accents et modeles testes.

## Chargement

```python
import torch
ckpt = torch.load("phase2-whisper-crossattn-v4-ood-en-AU-light.pt", map_location="cpu")
model.load_state_dict(ckpt['best_state'])
```

## Fichiers de resultats bruts (JSON)

- `results-ood-{accent}.json`, `results-apptekonly-{accent}.json` — Phase1/Phase2, configs mixte et AppTek seul
- `results-whisperfrozen-mixte-{accent}.json` — ablation Whisper-frozen-head
- `arch-comparison-{arch}-{accent}.json`, `arch2x-comparison-{arch}-{accent}.json` — architectures, budgets 1x/2x
- `archscale-comparison-conformer-{3x,4x}-{accent}.json` — Conformer, budgets 3x/4x
- `cpc-comparison-{accent}.json` — CPC pre-entraine gele
- `architecture-comparison-consolidated.json` — consolide 1x/2x
- `decomposition-test-all-accents.json`, `results-smartturn-only-v4.json`, `smartturn-only-apptek-test-by-accent.json`
- `baselines-smartturn-livekit-all-accents.json`

## Limites connues

- LiveKit v1-mini limite a 1.2s de contexte audio (vs 8s pour les autres modeles)
- Couverture AppTek limitee a l'anglais (14 accents)
- Comparaison d'architectures effectuee sur 3 accents seulement, pour limiter le temps de calcul
- Instabilite d'entrainement observee pour Conformer a budget 4x sur un accent (en-CN)
- CPC evalue avec un seul checkpoint pre-entraine (LibriSpeech, anglais), sans fine-tuning

---

## 7. Extension : architectures alternatives en config mixte (14 accents)

Suite a la comparaison d'architectures a budget egal (config AppTek seul, section 3), deux architectures supplementaires ont ete testees en config **mixte** (Smart Turn + AppTek), sur les 14 accents.

### BiGRU (config mixte, 14 accents)

| Accent OOD | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-AU | 69.29% | 71.17% | 88.48% | 79.49% |
| en-CA | 68.31% | 69.33% | 88.74% | 78.17% |
| en-CN | 69.24% | 64.71% | 88.65% | 69.00% |
| en-GB | 69.95% | 62.62% | 89.06% | 69.90% |
| en-GB_SCT | 69.50% | 61.49% | 88.79% | 71.26% |
| en-GB_WLS | 68.02% | 66.18% | 88.38% | 74.17% |
| en-IE | 68.04% | 69.13% | 88.85% | 81.72% |
| en-IN | 69.57% | 63.46% | 88.83% | 67.11% |
| en-MX | 69.89% | 64.21% | 88.82% | 72.76% |
| en-SG | 68.46% | 67.29% | 88.93% | 73.56% |
| en-US_Aave | 69.12% | 63.21% | 89.02% | 71.88% |
| en-US_General | 68.93% | 69.28% | 88.95% | 76.05% |
| en-US_Southern | 70.41% | 67.39% | 88.71% | 75.66% |
| en-ZA | 70.08% | 63.62% | 88.68% | 72.43% |
| **Moyenne** | **69.06%** | **65.59%** | **88.78%** | **74.71%** |

**Resultat** : BiGRU (461K params) sous-performe ECAPA-TDNN (Phase 1, 462K params) sur le test combine en config mixte (88.78% vs 90.21%), malgre sa superiorite observee en config AppTek seul. Suggere que BiGRU exploite moins bien le volume massif de donnees synthetiques Smart Turn.

### CPC + Whisper + Transformer (nouvelle architecture de fusion)

**Modification apportee a la fusion** (par rapport a la Cross-Attention + TCN originale de Phase 2) :
1. Cross-attention causale entre features CPC (acoustique, gelees) et Whisper (semantique, gelees) — identique a l'original
2. **Connexion residuelle ajoutee** : l'acoustique brute projetee est additionnee a la sortie de cross-attention, puis normalisee (LayerNorm)
3. **TCN remplace par 2 couches de TransformerEncoder** (d_model=128, nhead=4, dim_feedforward=256), avec masque causal explicite
4. Classifieur a 2 couches (Linear 128->32 + ReLU + Linear 32->2)

**Parametres de la fusion** : 499,810 (contre ~360K pour la fusion originale Cross-Attention+TCN, soit +39%)

| Accent OOD | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-AU | 63.71% | 62.45% | 80.42% | 86.28% |
| en-CA | 63.70% | 63.72% | 79.75% | 81.34% |
| en-CN | 65.98% | 54.45% | 81.44% | 74.09% |
| en-GB | 63.61% | 58.81% | 80.39% | 77.19% |
| en-GB_SCT | 64.93% | 60.93% | 80.01% | 75.92% |
| en-GB_WLS | 63.94% | 57.67% | 79.68% | 77.05% |
| en-IE | 63.96% | 65.20% | 78.68% | 86.70% |
| en-IN | 64.38% | 61.71% | 80.97% | 69.96% |
| en-MX | 63.77% | 64.04% | 80.42% | 78.65% |
| en-SG | 65.11% | 61.01% | 81.14% | 77.37% |
| en-US_Aave | 64.31% | 58.56% | 80.46% | 77.80% |
| en-US_General | 64.07% | 59.64% | 80.66% | 81.10% |
| en-US_Southern | 63.42% | 62.57% | 80.35% | 80.69% |
| en-ZA | 64.74% | 55.62% | 79.77% | 78.38% |
| **Moyenne** | **64.19%** | **60.82%** | **80.02%** | **78.04%** |

**Resultat cle** : cette architecture obtient le **meilleur score OOD moyen de toutes les architectures testees en config mixte (78.04%)**, surpassant Phase 2 originale (76.02%) — malgre un score de test in-distribution inferieur (80.02% vs 90.21%). Le remplacement du TCN par un Transformer avec connexion residuelle semble ameliorer specifiquement la capacite de generalisation vers l'audio reel inconnu, au prix d'une performance legerement moindre sur les donnees vues (Smart Turn + AppTek connus).

### Comparaison finale — toutes architectures en config mixte, moyennes 14 accents

| Architecture | Params (fusion) | Test combine | OOD |
|---|---|---|---|
| BiGRU | 461K (encodeur) | 88.78% | 74.71% |
| Phase 1/2 (ECAPA + Cross-Attn+TCN) | 462K + ~360K | 90.21% | 76.02% |
| **CPC + Whisper + Transformer** | 1.84M (CPC gele) + 500K (fusion) | 80.02% | **78.04%** |

**Interpretation** : si l'objectif est la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA + Cross-Attention/TCN) reste la meilleure architecture. Si l'objectif est la **generalisation a un accent totalement inconnu**, la combinaison CPC (pre-entraine) + fusion Transformer semble legerement superieure, suggerant une piste d'amelioration pour des applications ou la robustesse a des locuteurs/accents non vus est prioritaire.


---

## 8. CPC Frozen vs CPC Partial (fine-tuning du GRU contextuel) — config mixte, 14 accents

Extension de l'experience CPC (section 4) : comparaison entre l'encodeur CPC entierement gele ("frozen") et une variante ou le GRU contextuel (couche recurrente apres l'encodeur convolutif) est degele et fine-tune sur la tache ("partial"), tandis que l'encodeur convolutif reste toujours gele dans les deux cas.

**Parametres entraines** : 33,154 (frozen, tete de classification seule) vs 559,490 (partial, tete + GRU contextuel).

### CPC Frozen (14 accents)

| Accent | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-AU | 65.06% | 61.63% | 80.75% | 84.02% |
| en-CA | 64.63% | 63.11% | 80.21% | 82.30% |
| en-CN | 63.00% | 52.70% | 80.35% | 73.77% |
| en-GB | 63.66% | 59.60% | 79.99% | 78.17% |
| en-GB_SCT | 64.86% | 59.44% | 80.24% | 74.86% |
| en-GB_WLS | 64.53% | 56.19% | 79.83% | 76.85% |
| en-IE | 63.79% | 66.02% | 78.79% | 87.83% |
| en-IN | 64.55% | 60.92% | 80.53% | 71.34% |
| en-MX | 64.10% | 60.79% | 80.06% | 78.02% |
| en-SG | 64.99% | 62.29% | 80.60% | 78.14% |
| en-US_Aave | 64.63% | 57.31% | 80.32% | 76.24% |
| en-US_General | 63.79% | 59.83% | 80.49% | 80.97% |
| en-US_Southern | 63.84% | 63.65% | 80.42% | 78.05% |
| en-ZA | 65.19% | 56.09% | 80.55% | 76.63% |
| **Moyenne** | **64.33%** | **59.97%** | **80.23%** | **78.37%** |

### CPC Partial (14 accents)

| Accent | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-AU | 63.02% | 61.45% | 79.45% | 85.89% |
| en-CA | 63.18% | 59.70% | 79.22% | 80.98% |
| en-CN | 60.84% | 50.87% | 79.96% | 72.50% |
| en-GB | 63.50% | 52.29% | 80.75% | 76.33% |
| en-GB_SCT | 64.46% | 55.81% | 79.86% | 75.18% |
| en-GB_WLS | 63.69% | 57.23% | 79.46% | 77.05% |
| en-IE | 63.62% | 59.23% | 79.21% | 85.75% |
| en-IN | 62.45% | 55.53% | 79.98% | 71.14% |
| en-MX | 64.69% | 62.91% | 79.18% | 77.41% |
| en-SG | 63.92% | 58.69% | 80.35% | 77.28% |
| en-US_Aave | 62.54% | 53.12% | 79.68% | 75.53% |
| en-US_General | 63.32% | 56.39% | 80.33% | 80.72% |
| en-US_Southern | 63.44% | 57.41% | 80.33% | 77.98% |
| en-ZA | 63.87% | 56.10% | 79.24% | 79.43% |
| **Moyenne** | **63.33%** | **56.91%** | **79.79%** | **78.08%** |

### Comparaison synthetique

| Mode | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| **Frozen** | **64.33%** | **59.97%** | **80.23%** | **78.37%** |
| Partial | 63.33% | 56.91% | 79.79% | 78.08% |
| Ecart (frozen - partial) | +1.00 | +3.06 | +0.44 | +0.29 |

**Resultat cle** : le fine-tuning partiel du GRU contextuel de CPC n'apporte aucun benefice, et se revele legerement contre-productif sur toutes les metriques, particulierement pour la generalisation OOD en mode seul (+3.06 points en faveur du frozen). Ceci suggere que les representations pre-entrainees de CPC captent deja l'essentiel du signal utile pour cette tache, et qu'un fine-tuning limite (peu de donnees specifiques face a un espace de parametres relativement large) ajoute du bruit d'optimisation sans gain reel.

## Tableau recapitulatif final — toutes architectures en fusion, config mixte, moyennes 14 accents

| Architecture | Params (acoustique) | Fusion Test | Fusion OOD |
|---|---|---|---|
| **CPC frozen** | 1.84M (gele) | 80.23% | **78.37%** |
| CPC + Whisper + Transformer | 1.84M (gele) + 500K (fusion) | 80.02% | 78.04% |
| CPC partial | 1.84M (559K entraines) | 79.79% | 78.08% |
| Phase 2 (ECAPA + Cross-Attn+TCN) | 462K (from scratch) | **90.21%** | 76.02% |
| BiGRU | 461K (from scratch) | 88.78% | 74.71% |

**Interpretation finale** : pour la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA, from scratch) reste la meilleure architecture. Pour la **generalisation a un accent totalement inconnu**, CPC gele (sans aucun fine-tuning) offre la meilleure robustesse parmi toutes les architectures testees — confirmant qu'un encodeur pre-entraine en self-supervised sur de la parole brute capture une information acoustique/prosodique qui generalise mieux qu'un apprentissage from-scratch specifique a la tache, meme avec beaucoup moins de parametres entraines (33K vs 462K).

---

## 8. CPC Frozen vs CPC Partial (fine-tuning du GRU contextuel) — config mixte, 14 accents

Extension de l'experience CPC (section 4) : comparaison entre l'encodeur CPC entierement gele ("frozen") et une variante ou le GRU contextuel (couche recurrente apres l'encodeur convolutif) est degele et fine-tune sur la tache ("partial"), tandis que l'encodeur convolutif reste toujours gele dans les deux cas.

**Parametres entraines** : 33,154 (frozen, tete de classification seule) vs 559,490 (partial, tete + GRU contextuel).

### CPC Frozen (14 accents)

| Accent | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-AU | 65.06% | 61.63% | 80.75% | 84.02% |
| en-CA | 64.63% | 63.11% | 80.21% | 82.30% |
| en-CN | 63.00% | 52.70% | 80.35% | 73.77% |
| en-GB | 63.66% | 59.60% | 79.99% | 78.17% |
| en-GB_SCT | 64.86% | 59.44% | 80.24% | 74.86% |
| en-GB_WLS | 64.53% | 56.19% | 79.83% | 76.85% |
| en-IE | 63.79% | 66.02% | 78.79% | 87.83% |
| en-IN | 64.55% | 60.92% | 80.53% | 71.34% |
| en-MX | 64.10% | 60.79% | 80.06% | 78.02% |
| en-SG | 64.99% | 62.29% | 80.60% | 78.14% |
| en-US_Aave | 64.63% | 57.31% | 80.32% | 76.24% |
| en-US_General | 63.79% | 59.83% | 80.49% | 80.97% |
| en-US_Southern | 63.84% | 63.65% | 80.42% | 78.05% |
| en-ZA | 65.19% | 56.09% | 80.55% | 76.63% |
| **Moyenne** | **64.33%** | **59.97%** | **80.23%** | **78.37%** |

### CPC Partial (14 accents)

| Accent | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| en-AU | 63.02% | 61.45% | 79.45% | 85.89% |
| en-CA | 63.18% | 59.70% | 79.22% | 80.98% |
| en-CN | 60.84% | 50.87% | 79.96% | 72.50% |
| en-GB | 63.50% | 52.29% | 80.75% | 76.33% |
| en-GB_SCT | 64.46% | 55.81% | 79.86% | 75.18% |
| en-GB_WLS | 63.69% | 57.23% | 79.46% | 77.05% |
| en-IE | 63.62% | 59.23% | 79.21% | 85.75% |
| en-IN | 62.45% | 55.53% | 79.98% | 71.14% |
| en-MX | 64.69% | 62.91% | 79.18% | 77.41% |
| en-SG | 63.92% | 58.69% | 80.35% | 77.28% |
| en-US_Aave | 62.54% | 53.12% | 79.68% | 75.53% |
| en-US_General | 63.32% | 56.39% | 80.33% | 80.72% |
| en-US_Southern | 63.44% | 57.41% | 80.33% | 77.98% |
| en-ZA | 63.87% | 56.10% | 79.24% | 79.43% |
| **Moyenne** | **63.33%** | **56.91%** | **79.79%** | **78.08%** |

### Comparaison synthetique

| Mode | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
|---|---|---|---|---|
| **Frozen** | **64.33%** | **59.97%** | **80.23%** | **78.37%** |
| Partial | 63.33% | 56.91% | 79.79% | 78.08% |
| Ecart (frozen - partial) | +1.00 | +3.06 | +0.44 | +0.29 |

**Resultat cle** : le fine-tuning partiel du GRU contextuel de CPC n'apporte aucun benefice, et se revele legerement contre-productif sur toutes les metriques, particulierement pour la generalisation OOD en mode seul (+3.06 points en faveur du frozen). Ceci suggere que les representations pre-entrainees de CPC captent deja l'essentiel du signal utile pour cette tache, et qu'un fine-tuning limite (peu de donnees specifiques face a un espace de parametres relativement large) ajoute du bruit d'optimisation sans gain reel.

## Tableau recapitulatif final — toutes architectures en fusion, config mixte, moyennes 14 accents

| Architecture | Params (acoustique) | Fusion Test | Fusion OOD |
|---|---|---|---|
| **CPC frozen** | 1.84M (gele) | 80.23% | **78.37%** |
| CPC + Whisper + Transformer | 1.84M (gele) + 500K (fusion) | 80.02% | 78.04% |
| CPC partial | 1.84M (559K entraines) | 79.79% | 78.08% |
| Phase 2 (ECAPA + Cross-Attn+TCN) | 462K (from scratch) | **90.21%** | 76.02% |
| BiGRU | 461K (from scratch) | 88.78% | 74.71% |

**Interpretation finale** : pour la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA, from scratch) reste la meilleure architecture. Pour la **generalisation a un accent totalement inconnu**, CPC gele (sans aucun fine-tuning) offre la meilleure robustesse parmi toutes les architectures testees — confirmant qu'un encodeur pre-entraine en self-supervised sur de la parole brute capture une information acoustique/prosodique qui generalise mieux qu'un apprentissage from-scratch specifique a la tache, meme avec beaucoup moins de parametres entraines (33K vs 462K).

---

## 9. Choix de l'encodeur semantique : Whisper vs HuBERT — config Smart Turn seul

Ablation testant si le choix de l'encodeur semantique gele (dans la fusion Phase 2) influence les resultats. Meme protocole que l'experience "Smart Turn seul" (train/val/test officiels Smart Turn v3.2, aucune donnee AppTek), avec Phase 1 (ECAPA-TDNN) identique dans les deux cas, seul l'encodeur de fusion change.

**Whisper-tiny** : encodeur pre-entraine pour la reconnaissance vocale (supervision texte forte), 384 dimensions de sortie.
**HuBERT-base** : encodeur pre-entraine en self-supervised pur (masquage acoustique, sans supervision textuelle), 768 dimensions de sortie.

| Modele | Accuracy | F1 | ROC-AUC |
|---|---|---|---|
| Phase 1 (ECAPA-TDNN, acoustique seule) | 87.34% | 87.34% | 0.9439 |
| **Phase 2 (fusion avec Whisper)** | **92.37%** | — | **0.9769** |
| Phase 2 (fusion avec HuBERT) | 85.57% | 85.56% | 0.9271 |

**Resultat cle** : la fusion avec HuBERT degrade les performances par rapport a Phase 1 seul (85.57% vs 87.34%), alors que la fusion avec Whisper les ameliore significativement (+5 points). Ceci suggere que le gain de la fusion semantique dans Phase 2 ne provient pas simplement de l'ajout d'une representation audio pre-entrainee generique, mais specifiquement de la supervision textuelle de Whisper (entraine pour la reconnaissance vocale) — un signal linguistique/semantique que le self-supervised pur de HuBERT ne capture pas de la meme maniere. Pour une tache de detection de fin de tour, qui beneficie probablement d'une comprehension du caractere syntaxiquement/semantiquement complet d'un enonce, la supervision texte de Whisper semble apporter un avantage decisif que HuBERT n'offre pas.


---

## 10. Ablation du mecanisme de fusion — config mixte, en-CN

Comparaison de trois mecanismes pour combiner les features acoustiques (ECAPA-TDNN) et semantiques (Whisper), Phase 1 identique dans les trois cas.

**Cross-Attention** (Phase 2 originale) : attention causale entre les deux modalites, suivie d'un TCN.
**Average Pooling** : moyenne temporelle de chaque modalite, projection, concatenation, MLP.
**Gated Pooling** : moyenne temporelle de chaque modalite, porte apprise (sigmoid) ponderant la contribution relative de chaque modalite avant fusion.

| Mecanisme | Test combine | OOD |
|---|---|---|
| **Cross-Attention (baseline)** | **90.01%** | **69.00%** |
| Gated Pool | 87.30% | 67.57% |
| Avg Pool | 87.02% | 68.20% |

**Resultat cle** : la cross-attention domine les deux mecanismes plus simples sur les deux metriques (+2.71 a +2.99 points test, +0.80 a +1.43 points OOD), confirmant que la capacite d'attention dynamique entre modalites (plutot qu'une simple moyenne ou une porte statique) apporte une vraie valeur ajoutee a la tache, justifiant la complexite additionnelle de ce mecanisme dans l'architecture Phase 2.


---

## 11. Curriculum de diversite d'accents — effet du nombre d'accents sur la generalisation OOD

### Description de l'experience

Cette experience teste l'effet du **nombre d'accents distincts** presents dans l'entrainement sur la capacite de generalisation a des accents totalement inconnus (OOD), independamment du volume total de donnees.

**Protocole** :
- Pour chaque valeur de K (nombre d'accents AppTek inclus), on construit un jeu d'entrainement melangeant K accents AppTek avec un volume egal de Smart Turn sous-echantillonne aleatoirement (ratio 50/50, pour que les accents inclus ne soient jamais negligeables face au synthetique)
- Le modele (Phase 1 ECAPA-TDNN + Phase 2 fusion Cross-Attention, architecture standard du projet) est entraine sur ce melange, 15 epochs
- L'evaluation OOD se fait sur **chacun des accents restants (14-K) individuellement**, puis moyennee
- **Valeurs de K testees** : 1, 2, 4, 7, 10, 13 (espacees plutot qu'exhaustives, pour couvrir la pente initiale et le plateau avec un budget de calcul raisonnable)

**Controle de la variance** : pour isoler l'effet de la diversite (K) de l'effet de l'ordre specifique des accents et du hasard d'entrainement, chaque (K, ordre) est repete avec 2 graines d'entrainement independantes, sur **6 sequences d'accents** (3 permutations aleatoires distinctes, chacune testee en ordre normal et inverse) :

$$6 \text{ sequences} \times 6 \text{ valeurs de K} \times 2 \text{ repetitions} = 72 \text{ runs}$$

### Resultats — moyenne et ecart-type sur les 12 runs par valeur de K

| K (accents inclus) | Test moyen | Test std | OOD moyen | OOD std |
|---|---|---|---|---|
| 1 | 77.20% | 3.13% | 73.99% | 1.15% |
| 2 | 76.78% | 2.61% | 75.26% | 0.52% |
| 4 | 77.78% | 1.60% | 75.82% | 1.02% |
| 7 | 78.38% | 1.22% | 76.89% | 1.12% |
| **10** | **78.98%** | **1.01%** | 76.57% | 1.41% |
| 13 | 78.67% | 0.51% | 75.90% | 2.60% |

### Resultats cles

1. **La variance diminue fortement avec K** (3.13% -> 0.51% pour le test) — avec peu d'accents, l'identite precise de l'accent choisi influence enormement le resultat ; avec beaucoup d'accents, l'effet de l'ordre/choix specifique s'estompe et les resultats deviennent stables quelle que soit la sequence testee.

2. **Rendements decroissants clairs** — le plus gros du gain de generalisation OOD arrive tot (K=1 a K=7 : +2.90 points), puis plafonne voire recule legerement (K=7 a K=10 : -0.32 point ; K=10 a K=13 : -0.67 point). Au-dela de 7-10 accents differents, ajouter davantage de diversite n'apporte plus de gain significatif.

3. **Le bruit statistique redevient dominant a K=13** — avec un seul accent OOD restant par run a cette valeur, l'ecart-type OOD remonte fortement (2.60%), rendant cette mesure moins fiable individuellement (coherent avec le design : K=13 n'offre qu'un seul point de comparaison OOD par sequence, contre 13 points a K=1).

4. **Robustesse a l'ordre des accents** : la faible variance a haut K a travers les 6 sequences testees (3 permutations x 2 sens) suggere que l'effet de diversite domine largement tout effet potentiel de proximite/distance entre accents specifiques — aucune sequence n'a produit de resultat systematiquement different des autres a K egal.

**Interpretation pour la pratique** : ces resultats suggerent qu'il n'est pas necessaire de collecter des donnees pour un tres grand nombre d'accents differents pour obtenir une bonne generalisation — un socle de 7 a 10 accents diversifies semble suffire a capturer l'essentiel du benefice, avec des gains marginaux au-dela.


---

## 12. Curriculum de diversite d'accents (V3, protocole final rigoureux) — Leave-One-Out avec volume total fixe

### Motivation et question de recherche

Les experiences precedentes de ce projet (sections 4-9) montrent systematiquement que l'exposition a des accents reels ameliore la generalisation OOD. Mais ces experiences confondaient deux effets distincts : le **volume total** de donnees et la **diversite** (nombre d'accents differents). Cette section isole specifiquement l'effet de la diversite, a volume total strictement constant, avec un design statistiquement rigoureux (repetitions multiples, tirage aleatoire, test de significativite formel).

### Protocole et preparation des donnees

**Architecture testee** : Phase 1 (ECAPA-TDNN causal, 462K parametres) + Phase 2 (fusion Cross-Attention + TCN avec Whisper-tiny gele), l'architecture de reference du projet. Phase 1 est entrainee comme etape intermediaire (necessaire pour extraire les features acoustiques utilisees par Phase 2) mais ses metriques ne sont pas rapportees : des experiences preliminaires ont montre qu'elle reste proche du hasard (accuracy ~50%, AUC ~0.50) sur l'OOD quelle que soit la diversite d'entrainement, confirmant qu'elle ne beneficie pas de la diversite sans la composante semantique.

**Design "Leave-One-Out" (LOO)** : pour chaque accent cible (les 14 accents AppTek testes individuellement, comme dans le reste du projet), cet accent est totalement exclu de l'entrainement et sert uniquement de test OOD.

**Volume total AppTek fixe** : la contrainte cle de ce protocole. Le nombre total d'exemples AppTek dans le train est fixe a **1258 exemples** (628 par classe HOLD/SHIFT), une valeur determinee par la taille du plus petit accent disponible (en-CN, qui ne fournit que 629 exemples equilibres par classe). Ce volume total est **reparti egalement entre les K accents inclus** : a K=1, l'unique accent fournit ses 1258 exemples ; a K=13, chacun des 13 accents restants (hors l'accent OOD) ne fournit qu'environ 97 exemples. Le volume de Smart Turn synthetique est sous-echantillonne pour egaler exactement le volume AppTek a chaque fois (ratio 50/50 constant).

**Tirage aleatoire des accents inclus** : contrairement aux versions preliminaires du protocole (qui suivaient un ordre fixe), les K accents inclus a chaque run sont tires **aleatoirement** parmi les 13 accents non-OOD, independamment a chaque repetition. Ceci evite de confondre "effet de diversite" avec "effet de tel accent precis inclus a telle etape".

**Valeurs de K testees** : 1, 3, 6, 9, 13 (espacees pour couvrir le debut, le milieu et la fin de la plage possible, avec un budget de calcul maitrise).

**Repetitions** : 6 repetitions independantes par (accent OOD, K), avec tirage aleatoire different a chaque fois et reinitialisation complete du modele — permet un test de significativite statistique formel.

**Volume total de l'experience** : 14 accents x 5 valeurs de K x 6 repetitions = **420 runs** independants, chacun avec 15 epochs d'entrainement pour Phase 1 puis pour Phase 2.

**Metriques enregistrees** : pour chaque run, accuracy, F1-macro, ROC-AUC et matrice de confusion, a la fois sur le test combine (in-distribution : Smart Turn test officiel + AppTek test des accents inclus) et sur l'accent OOD exclu.

### Resultats — vue d'ensemble par accent et par K

**Test combine (in-distribution), accuracy moyenne sur 6 repetitions**

| Accent | K=1 | K=3 | K=6 | K=9 | K=13 |
|---|---|---|---|---|---|
| en-AU | 73.67% | 77.04% | 75.04% | 73.03% | 73.62% |
| en-CA | 77.22% | 75.98% | 76.83% | 73.66% | 74.51% |
| en-CN | 79.96% | 75.44% | 73.53% | 73.48% | 77.36% |
| en-GB | 81.03% | 75.89% | 75.85% | 73.48% | 75.31% |
| en-GB_SCT | 76.24% | 73.23% | 73.71% | 72.94% | 73.89% |
| en-GB_WLS | 73.85% | 76.06% | 75.67% | 75.00% | 74.69% |
| en-IE | 76.33% | 74.56% | 73.80% | 72.85% | 74.96% |
| en-IN | 78.10% | 74.91% | 76.74% | 76.97% | 75.49% |
| en-MX | 78.10% | 74.73% | 75.40% | 73.92% | 76.56% |
| en-SG | 78.19% | 76.42% | 75.31% | 77.24% | 70.77% |
| en-US_Aave | 76.68% | 76.68% | 74.24% | 72.67% | 75.76% |
| en-US_General | 78.99% | 78.10% | 75.13% | 75.45% | 76.83% |
| en-US_Southern | 77.13% | 78.63% | 74.60% | 75.45% | 74.42% |
| en-ZA | 75.62% | 73.49% | 74.96% | 74.01% | 73.62% |

**OOD (accent exclu), accuracy moyenne sur 6 repetitions**

| Accent | K=1 | K=3 | K=6 | K=9 | K=13 |
|---|---|---|---|---|---|
| en-AU | 77.49% | 79.96% | 79.56% | 79.60% | 79.65% |
| en-CA | 71.99% | 76.51% | 77.07% | 76.54% | 76.27% |
| en-CN | 69.33% | 68.81% | 70.18% | 68.67% | 69.97% |
| en-GB | 70.17% | 70.46% | 71.32% | 71.95% | 73.01% |
| en-GB_SCT | 68.11% | 69.68% | 70.79% | 69.04% | 69.43% |
| en-GB_WLS | 69.54% | 74.38% | 73.70% | 74.15% | 74.13% |
| en-IE | 81.31% | 81.04% | 81.58% | 81.70% | 80.45% |
| en-IN | 68.02% | 68.26% | 69.65% | 68.44% | 69.58% |
| en-MX | 72.28% | 71.79% | 73.60% | 73.10% | 74.10% |
| en-SG | 73.61% | 73.46% | 75.55% | 75.34% | 73.63% |
| en-US_Aave | 70.26% | 72.05% | 71.95% | 73.14% | 72.62% |
| en-US_General | 76.25% | 76.20% | 76.71% | 77.31% | 77.20% |
| en-US_Southern | 74.03% | 74.96% | 74.83% | 76.51% | 76.05% |
| en-ZA | 72.24% | 71.78% | 73.87% | 74.98% | 74.03% |

### Tests statistiques formels (K=1 vs K=13)

Test t apparie par accent (le plus rigoureux, controlant pour la difficulte intrinseque de chaque accent) :

| Metrique | Difference moyenne (K=13 - K=1) | Statistique t | p-value | Conclusion |
|---|---|---|---|---|
| **OOD accuracy** | **+1.82 points** | t=4.639 | **p=0.000463** | Effet significatif : la diversite ameliore la generalisation |
| **Test combine accuracy** | **-2.38 points** | t=-4.267 | **p=0.000918** | Effet significatif : la diversite degrade la performance in-distribution |

### Detail par accent — significativite individuelle (OOD, K=1 vs K=13)

| Accent | Diff OOD (K13-K1) | p-value | Significatif |
|---|---|---|---|
| en-GB_WLS | +4.58 | 0.0059 | *** |
| en-GB | +2.83 | 0.0451 | * |
| en-MX | +1.82 | 0.0243 | * |
| en-ZA | +1.79 | 0.0330 | * |
| en-CA | +4.28 | 0.1414 | (tendance forte, non significative) |
| en-AU | +2.16 | 0.0947 | (tendance, non significative) |
| en-CN | +0.64 | 0.5430 | non |
| en-SG | +0.02 | 0.9840 | non |
| en-IE | -0.86 | 0.3237 | non (legere baisse) |

### Resultats cles et interpretation

**1. Un veritable compromis diversite/specialisation, statistiquement prouve dans les deux sens.** A volume total fixe, augmenter le nombre d'accents inclus dans l'entrainement ameliore la generalisation vers un accent totalement inconnu (+1.82 points OOD, p<0.001), mais degrade simultanement la performance sur les donnees directement vues (-2.38 points en test combine, p<0.001). Ce resultat n'aurait pas ete visible en ne regardant que l'OOD seul, comme dans les versions preliminaires de ce protocole.

**2. Explication mecanique.** A volume total constant, chaque accent supplementaire dilue le nombre d'exemples disponibles par accent (de 1258 exemples a K=1, a environ 97 exemples par accent a K=13). Le modele apprend donc moins precisement chaque accent individuel (d'ou la baisse en test combine), mais cette exposition a davantage de variations differentes semble l'encourager a extraire des caracteristiques acoustiques/semantiques plus generales et transferables (d'ou le gain OOD).

**3. Effet fortement heterogene selon l'accent.** Seuls 4 accents sur 14 montrent un gain OOD individuellement significatif (en-GB_WLS, en-GB, en-MX, en-ZA), avec en-GB_WLS montrant l'effet le plus marque (+4.58 points, p=0.006). A l'inverse, en-CN et en-SG ne montrent presque aucun gain, et en-IE (deja tres bien generalise a K=1, 81.31%) montre une legere baisse non significative. Ceci suggere que le benefice de la diversite depend de la position de depart : les accents "intermediaires" en beneficient le plus, tandis que les accents deja faciles (en-IE) ou structurellement difficiles (en-CN, en-IN, autour de 68-70% quel que soit K) beneficient peu ou pas de la diversite accrue.

**4. Coherence entre metriques.** Le F1-macro et le ROC-AUC suivent globalement la meme tendance que l'accuracy pour l'OOD (leger gain avec K), confirmant que le signal observe n'est pas un artefact d'une seule metrique.

**Implication pratique** : le choix du nombre d'accents a inclure dans l'entrainement, a volume de donnees fixe, depend de l'objectif vise. Pour maximiser la performance sur un ensemble d'accents connus et deja representes, un entrainement plus specialise (moins d'accents, plus d'exemples chacun) est preferable. Pour maximiser la robustesse a des accents totalement inconnus en production, favoriser la diversite (plus d'accents, moins d'exemples chacun) apporte un gain reel, bien que modeste et concentre sur certains types d'accents.