Upload README.md with huggingface_hub

README.md

@@ -17,9 +17,10 @@ Modeles de detection de fin de tour (HOLD/SHIFT), architecture causale, entraine
 1. Comparaison globale avec les modeles de reference
 2. Ablation : acoustique seule vs semantique seule vs fusion
 3. Comparaison d'architectures acoustiques a budget variable
-4. Trois configurations d'entrainement (mixte / Smart Turn seul / AppTek seul)
-5. Experience de reequilibrage synthetique/reel
-6. Fichiers de resultats bruts
+4. CPC : encodeur audio pre-entraine (self-supervised)
+5. Trois configurations d'entrainement (mixte / Smart Turn seul / AppTek seul)
+6. Experience de reequilibrage synthetique/reel
+7. Fichiers de resultats bruts
 
 ---
 
@@ -56,17 +57,15 @@ Modeles de detection de fin de tour (HOLD/SHIFT), architecture causale, entraine
 | en-ZA | 84.56% | 83.84% | 90.54% | 57.71% | 67.48% | 76.62% |
 | **Moyenne** | **84.39%** | **83.61%** | **90.21%** | **60.86%** | **68.03%** | **76.02%** |
 
-**Whisper-frozen-head** : tete de classification legere (49.5K parametres) sur Whisper-tiny gele, sans fusion ni backbone acoustique.
-
-**Resultat cle** : ordre de generalisation OOD confirme, Phase 1 (60.86%) < Whisper-frozen (68.03%) < Phase 2 (76.02%). Ni l'acoustique seule ni la semantique seule n'atteignent la performance de la fusion complete — la cross-attention genere une synergie reelle qui depasse la simple somme de ses composantes.
+**Resultat cle** : ni l'acoustique seule ni la semantique seule n'atteignent la performance de la fusion complete — la cross-attention genere une synergie reelle.
 
 ---
 
 ## 3. Comparaison d'architectures acoustiques a budget de parametres variable
 
-Trois architectures testees a budget croissant, config AppTek seul, 3 accents (en-CN, en-GB_WLS, en-IE), en mode seul (acoustique isolee) et en mode fusion (avec Whisper gele).
+Config AppTek seul, 3 accents (en-CN, en-GB_WLS, en-IE), mode seul et mode fusion (avec Whisper gele).
 
-### Moyennes sur 3 accents
+### Moyennes sur 3 accents — architectures from-scratch
 
 | Architecture | Budget (params) | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
 |---|---|---|---|---|---|
@@ -81,48 +80,42 @@ Trois architectures testees a budget croissant, config AppTek seul, 3 accents (e
 
 *Instabilite d'entrainement isolee sur en-CN a 4x, affectant la moyenne.
 
-### Detail par accent
-
-| Accent | Archi-Budget | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
-|---|---|---|---|---|---|
-| en-CN | ECAPA 1x | 65.11% | 56.36% | 79.24% | 75.20% |
-| en-CN | ECAPA 2x | 65.67% | 53.18% | 79.98% | 73.69% |
-| en-CN | BiGRU 1x | 70.35% | 62.48% | 75.85% | 70.51% |
-| en-CN | BiGRU 2x | 70.70% | 61.37% | 76.43% | 67.89% |
-| en-CN | Conformer 1x | 70.18% | 55.64% | 78.71% | 71.70% |
-| en-CN | Conformer 2x | 73.49% | 64.94% | 78.77% | 70.67% |
-| en-CN | Conformer 3x | 71.75% | 65.90% | 75.75% | 70.11% |
-| en-CN | Conformer 4x | 54.74% | 50.72% | 78.17% | 71.54% |
-| en-GB_WLS | ECAPA 1x | 63.40% | 61.70% | 78.21% | 84.94% |
-| en-GB_WLS | ECAPA 2x | 63.82% | 60.29% | 78.29% | 76.02% |
-| en-GB_WLS | BiGRU 1x | 70.06% | 65.60% | 75.73% | 74.42% |
-| en-GB_WLS | BiGRU 2x | 70.74% | 66.11% | 77.96% | 74.49% |
-| en-GB_WLS | Conformer 1x | 68.48% | 65.98% | 77.54% | 74.17% |
-| en-GB_WLS | Conformer 2x | 71.35% | 69.76% | 79.14% | 77.24% |
-| en-GB_WLS | Conformer 3x | 71.78% | 69.57% | 78.08% | 76.60% |
-| en-GB_WLS | Conformer 4x | 70.78% | 70.33% | 78.19% | 77.88% |
-| en-IE | ECAPA 1x | 64.53% | 57.91% | 78.21% | 84.94% |
-| en-IE | ECAPA 2x | 64.04% | 58.90% | 75.87% | 80.49% |
-| en-IE | BiGRU 1x | 70.17% | 68.42% | 75.53% | 78.50% |
-| en-IE | BiGRU 2x | 70.19% | 69.79% | 75.43% | 79.73% |
-| en-IE | Conformer 1x | 65.36% | 63.16% | 77.60% | 81.91% |
-| en-IE | Conformer 2x | 71.81% | 76.09% | 77.06% | 84.42% |
-| en-IE | Conformer 3x | 70.68% | 74.81% | 77.72% | 84.42% |
-| en-IE | Conformer 4x | 69.89% | 71.35% | 77.87% | 85.61% |
-
 **Resultats cles** :
 - A budget egal (~460K), BiGRU domine en mode seul, mais ECAPA-TDNN reprend l'avantage en mode fusion.
-- Conformer beneficie d'un budget accru jusqu'a ~900K parametres (2x), avec un gain marque vs 1x (+4 points test, +7 points OOD en mode seul).
-- Au-dela de 2x, Conformer ne progresse plus de facon monotone (possible surapprentissage sur ~17K exemples train) — optimum autour de 900K parametres pour ce volume de donnees.
-- En mode fusion, la performance reste stable a travers tous les budgets (77-78%) — la fusion semble compenser les variations de qualite de l'encodeur acoustique seul.
+- Conformer beneficie d'un budget accru jusqu'a ~900K parametres (2x), avec un gain marque vs 1x.
+- Au-dela de 2x, Conformer ne progresse plus de facon monotone (possible surapprentissage sur ~17K exemples train).
+- En mode fusion, la performance reste stable a travers tous les budgets (77-78%).
 
 ---
 
-## 4. Trois configurations d'entrainement (Phase 1 et Phase 2, 14 accents)
+## 4. CPC : encodeur audio pre-entraine (self-supervised)
+
+Contrairement aux architectures precedentes (entrainees from-scratch), CPC (Contrastive Predictive Coding, Riviere et al. 2020) est un encodeur **pre-entraine** sur de la parole brute en self-supervised, sans supervision texte. Checkpoint officiel FAIR charge et **entierement gele** — seule une tete de classification legere (mode seul) ou le module de fusion (mode fusion) sont entraines.
+
+**Architecture reelle du checkpoint utilise** : 1 843 456 parametres au total (encodeur convolutif + GRU contextuel, sortie 256-dim) — note : ce chiffre differe de certaines estimations plus elevees (~5.8M) parfois citees pour cette famille de modeles ; il correspond aux poids du checkpoint officiel effectivement charge et verifie.
+
+| Accent | Seul Test | Seul OOD | Fusion Test | Fusion OOD |
+|---|---|---|---|---|
+| en-CN | 64.31% | 53.42% | 80.64% | 74.96% |
+| en-GB_WLS | 62.69% | 57.61% | 79.91% | 77.56% |
+| en-IE | 62.40% | 66.95% | 79.15% | 85.70% |
+| **Moyenne** | **63.13%** | **59.33%** | **79.90%** | **79.41%** |
+
+### Comparaison finale — toutes architectures, mode fusion, moyennes sur 3 accents
+
+| Architecture | Params (encodeur) | Fusion Test | Fusion OOD |
+|---|---|---|---|
+| BiGRU (1x, from scratch) | 461K | 75.70% | 74.48% |
+| Conformer (1x, from scratch) | 430K | 77.95% | 75.93% |
+| ECAPA-TDNN (1x, from scratch) | 462K | 78.97% | 78.21% |
+| Conformer (2x, from scratch) | 904K | 78.32% | 77.78% |
+| **CPC (pre-entraine, gele)** | **1.84M** | **79.90%** | **79.41%** |
+
+**Resultat cle** : CPC (pre-entraine, gele, jamais affine sur la tache) obtient le **meilleur score en mode fusion**, devant toutes les architectures from-scratch testees — suggerant que son pre-entrainement self-supervised capture deja des informations acoustiques/prosodiques pertinentes, complementaires a la semantique de Whisper. En mode seul cependant, CPC reste modeste (63.13% test, 59.33% OOD), moins bon que BiGRU ou Conformer entraines specifiquement — le gain de CPC provient donc presque entierement de la fusion, pas de sa capacite de classification isolee.
+
+---
 
-1. **Mixte** : Smart Turn v3.2 train (94%) + AppTek train 13 accents (6%)
-2. **Smart Turn seul** : uniquement Smart Turn v3.2 train (0% AppTek)
-3. **AppTek seul** : uniquement AppTek train 13 accents (0% Smart Turn)
+## 5. Trois configurations d'entrainement (Phase 1 et Phase 2, 14 accents)
 
 | Configuration | P1 Test | P1 OOD | P2 Test | P2 OOD |
 |---|---|---|---|---|
@@ -130,11 +123,11 @@ Trois architectures testees a budget croissant, config AppTek seul, 3 accents (e
 | **Mixte** (94% ST / 6% AppTek) | 84.39% | 60.86% | 90.21% | 76.02% |
 | **AppTek seul** (0% ST) | 64.42% | 56.59% | 78.79% | **77.58%** |
 
-*Pour Smart Turn seul, "OOD" = AppTek test (jamais vu a l'entrainement), pas un accent totalement exclu.
+*Pour Smart Turn seul, "OOD" = AppTek test (jamais vu a l'entrainement).
 
-**Resultat le plus marquant** : Phase 2 (AppTek seul) obtient le meilleur score OOD moyen de toutes les configurations testees (77.58%), malgre un volume d'entrainement 16x plus faible et l'absence totale de donnees synthetiques.
+**Resultat le plus marquant** : Phase 2 (AppTek seul) obtient le meilleur score OOD moyen parmi ces 3 configurations, malgre 16x moins de donnees et l'absence de synthetique.
 
-### Tableau complet — Mixte, 14 accents, avec baselines figees (Smart Turn v3.2, LiveKit)
+### Tableau complet — Mixte, 14 accents, avec baselines figees
 
 | Accent OOD | ST v3.2 AppTek | ST v3.2 OOD | LiveKit AppTek | LiveKit OOD | P1 AppTek | P1 OOD | P2 AppTek | P2 OOD |
 |---|---|---|---|---|---|---|---|---|
@@ -154,29 +147,9 @@ Trois architectures testees a budget croissant, config AppTek seul, 3 accents (e
 | en-ZA | 64.84% | 66.57% | 68.42% | 65.71% | 65.50% | 57.71% | 78.29% | 76.62% |
 | **Moyenne** | **64.23%** | **64.35%** | **68.29%** | **68.51%** | **66.01%** | **60.86%** | **79.34%** | **76.02%** |
 
-### Effet de l'exposition multi-accent — Smart Turn seul vs Mixte, sur le meme split AppTek test
-
-| Accent | P1 (ST seul) AppTek | P1 (mixte) AppTek | P2 (ST seul) AppTek | P2 (mixte) AppTek |
-|---|---|---|---|---|
-| en-AU | 55.00% | 62.07% | 66.09% | 80.55% |
-| en-CA | 55.74% | 66.44% | 66.02% | 79.06% |
-| en-CN | 55.13% | 67.39% | 65.63% | 81.64% |
-| en-GB | 57.21% | 65.61% | 67.18% | 78.75% |
-| en-GB_SCT | 56.27% | 66.15% | 66.96% | 77.75% |
-| en-GB_WLS | 55.56% | 65.83% | 65.81% | 79.48% |
-| en-IE | 56.21% | 68.62% | 64.62% | 78.77% |
-| en-IN | 55.59% | 67.47% | 65.09% | 79.70% |
-| en-MX | 56.36% | 65.86% | 65.93% | 78.74% |
-| en-SG | 55.78% | 67.14% | 65.90% | 79.73% |
-| en-US_Aave | 55.63% | 64.17% | 65.01% | 80.86% |
-| en-US_General | 55.21% | 66.21% | 65.19% | 79.73% |
-| en-US_Southern | 56.78% | 67.61% | 65.66% | 78.71% |
-| en-ZA | 56.38% | 65.50% | 65.67% | 78.29% |
-| **Moyenne** | **55.85%** | **66.01%** | **65.77%** | **79.34%** |
-
 ---
 
-## 5. Experience de reequilibrage synthetique/reel (OOD=en-CN)
+## 6. Experience de reequilibrage synthetique/reel (OOD=en-CN)
 
 | Configuration | P1 Test | P1 OOD | P2 Test | P2 OOD |
 |---|---|---|---|---|
@@ -184,16 +157,17 @@ Trois architectures testees a budget croissant, config AppTek seul, 3 accents (e
 | Oversample (65%/35%, reptete) | 84.50% | 59.78% | 90.10% | 70.19% |
 | **Undersample (50%/50%, vrai)** | **60.93%** | **54.69%** | **87.47%** | **71.70%** |
 
-**Resultat cle** : Phase 1 s'effondre severement sous undersample (-23.96 points), Phase 2 resiste beaucoup mieux (-3.01 points), demontrant l'efficacite d'apprentissage superieure des representations pre-entrainees face a la rarete des donnees reelles. L'oversampling par simple repetition n'apporte aucun gain significatif.
+**Resultat cle** : Phase 1 s'effondre severement sous undersample (-23.96 points), Phase 2 resiste beaucoup mieux (-3.01 points).
 
 ---
 
 ## Resultats cles globaux (synthese)
 
 1. La fusion (Phase 2) genere une vraie synergie — ni l'acoustique seule ni la semantique seule ne l'egalent.
-2. Phase 2 (AppTek seul) atteint la meilleure generalisation OOD absolue de toutes les configurations testees.
-3. Le choix d'architecture acoustique optimal depend du contexte (seule vs fusionnee) et du budget de parametres.
-4. La chute de performance OOD est systematique a travers tous les accents et modeles testes — la difficulte provient du passage synthetique-vers-reel en general, pas d'un accent specifique.
+2. **CPC (pre-entraine, gele) surpasse toutes les architectures from-scratch en mode fusion**, malgre l'absence totale de fine-tuning sur la tache — le pre-entrainement self-supervised sur audio brut semble capturer une information acoustique/prosodique complementaire particulierement utile.
+3. Phase 2 (AppTek seul) atteint la meilleure generalisation OOD absolue parmi les configurations de donnees testees.
+4. Le choix d'architecture acoustique optimal depend du contexte (seule vs fusionnee) et du budget de parametres.
+5. La chute de performance OOD est systematique a travers tous les accents et modeles testes.
 
 ## Chargement
 
@@ -209,9 +183,10 @@ model.load_state_dict(ckpt['best_state'])
 - `results-whisperfrozen-mixte-{accent}.json` — ablation Whisper-frozen-head
 - `arch-comparison-{arch}-{accent}.json`, `arch2x-comparison-{arch}-{accent}.json` — architectures, budgets 1x/2x
 - `archscale-comparison-conformer-{3x,4x}-{accent}.json` — Conformer, budgets 3x/4x
+- `cpc-comparison-{accent}.json` — CPC pre-entraine gele
 - `architecture-comparison-consolidated.json` — consolide 1x/2x
 - `decomposition-test-all-accents.json`, `results-smartturn-only-v4.json`, `smartturn-only-apptek-test-by-accent.json`
-- `baselines-smartturn-livekit-all-accents.json`, `cpc-comparison-{accent}.json`
+- `baselines-smartturn-livekit-all-accents.json`
 
 ## Limites connues
 
@@ -219,3 +194,4 @@ model.load_state_dict(ckpt['best_state'])
 - Couverture AppTek limitee a l'anglais (14 accents)
 - Comparaison d'architectures effectuee sur 3 accents seulement, pour limiter le temps de calcul
 - Instabilite d'entrainement observee pour Conformer a budget 4x sur un accent (en-CN)
+- CPC evalue avec un seul checkpoint pre-entraine (LibriSpeech, anglais), sans fine-tuning