Upload README.md with huggingface_hub

README.md

@@ -12,37 +12,48 @@ license: mit
 
 Modeles de detection de fin de tour (HOLD/SHIFT), architecture causale, entraines sur Smart Turn v3.2 (synthetique) et/ou un melange avec AppTek (audio reel de centre d'appel, 13 accents anglophones).
 
-## Comparaison avec Smart Turn v3.2 (modele officiel Pipecat)
+## Comparaison avec les modeles de reference (Smart Turn v3.2, LiveKit v1-mini)
 
-| Modele | Params | Accuracy | ROC-AUC |
-|---|---|---|---|
-| Smart Turn v3.2 (officiel, Whisper-tiny fine-tune) | ~8M | 73.33% | 0.7962 |
-| **Phase 1 (notre, from scratch, protocole propre)** | **462K** | **87.50%** | **0.9459** |
+Evaluation sur le test set officiel `smart-turn-data-v3.2-test`.
+
+| Modele | Params | Accuracy | ROC-AUC | Notes |
+|---|---|---|---|---|
+| LiveKit v1-mini | ~0.5B (distille) | 61.02% | 0.7324 | Limite a 1.2s de contexte audio (vs 8s pour les autres) |
+| Smart Turn v3.2 (officiel) | ~8M | 73.33% | 0.7962 | Whisper-tiny fine-tune |
+| **Phase 1 (notre, from scratch, protocole propre)** | **462K** | **87.50%** | **0.9459** | 17x moins de params que Smart Turn |
+| Phase 2 (notre, fusion, sur mix) | ~360K (+8M geles) | 92.51%* | 0.9772* | *Decomposition du run mixte, Smart Turn seul |
 
 ## Protocole d'evaluation (versions mixtes)
 
 - **Train** : Smart Turn v3.2 train + AppTek train (13 accents, equilibre HOLD/SHIFT)
 - **Validation** : tranche mixte, utilisee uniquement pour la selection du meilleur epoch
 - **Test** : Smart Turn v3.2 test (officiel) + AppTek test (20% du pool, jamais vu a l'entrainement)
-- **OOD** : accent en-CN d'AppTek, totalement exclu de l'entrainement/validation/test
-
-## Modeles disponibles
+- **OOD** : un accent AppTek totalement exclu de l'entrainement/validation/test
 
-### Architectures de base (ratio original: ~94% Smart Turn / 6% AppTek)
+## Architectures de base (ratio original: ~94% Smart Turn / 6% AppTek)
 
-| Modele | Params entraines | Test combine | Smart Turn seul | AppTek seul | OOD en-CN |
+| Modele | Params entraines | Test combine | Smart Turn seul | AppTek seul | OOD (accent exclu) |
 |---|---|---|---|---|---|
 | phase1-ecapa-tdnn-smartturn-only-v2 | 462K | - | 87.50% | - | - |
-| phase1-ecapa-tdnn-mixed-v3 | 462K | 84.89% | 87.42% | 68.54% | 59.54% |
-| whisper-frozen-classifier-mixed-v3 | 49.5K | 84.20% | 86.14% | 71.64% | 68.68% |
-| phase2-whisper-crossattn-mixed-v3 | ~360K (+8M geles) | 90.48% | 92.51% | 77.35% | 71.07% |
+| phase1-ecapa-tdnn-mixed-v3 (OOD=en-CN) | 462K | 84.89% | 87.42% | 68.54% | 59.54% |
+| whisper-frozen-classifier-mixed-v3 (OOD=en-CN) | 49.5K | 84.20% | 86.14% | 71.64% | 68.68% |
+| phase2-whisper-crossattn-mixed-v3 (OOD=en-CN) | ~360K (+8M geles) | 90.48% | 92.51% | 77.35% | 71.07% |
+
+## Experience multi-accents OOD (Phase 1 et Phase 2, chacun reentraine par accent exclu)
+
+Trois accents testes comme OOD, chacun exclu totalement de l'entrainement/validation/test, les 13 autres formant le pool d'entrainement AppTek.
 
-### Experience de reequilibrage synthetique/reel
+| Accent OOD exclu | Phase 1 Test | Phase 1 OOD | Phase 2 Test | Phase 2 OOD |
+|---|---|---|---|---|
+| en-CN | 84.89% | 59.54% | 90.48% | 71.07% |
+| en-GB | 84.37% | 63.10% | 90.49% | 73.05% |
+| en-IN | 84.88% | 64.65% | 90.73% | 69.25% |
+| **Moyenne** | **84.71%** | **62.43%** | **90.57%** | **71.12%** |
+| **Ecart-type** | **0.29** | **2.63** | **0.14** | **1.90** |
 
-Deux strategies testees pour modifier la proportion Smart Turn (synthetique) / AppTek (reel) dans le train, avec reentrainement complet de Phase 1 ET Phase 2 pour chaque mode (pas de reutilisation d'un Phase 1 fige) :
+**Resultat cle** : la chute de performance OOD est systematique et de magnitude comparable a travers les trois accents testes (Phase 1 : 59.5-64.7%, Phase 2 : 69.3-73.1%), avec une variance inter-accent modeste comparee a l'ecart avec les performances in-distribution. Ceci suggere que le probleme de generalisation ne provient pas d'un accent specifique, mais du passage synthetique-vers-reel en general.
 
-- **Oversample** : AppTek train reptete 8x (~35% du volume total), Smart Turn conserve en entier (270,946 ex.)
-- **Undersample** : Smart Turn train reduit a 17,536 ex. (= volume AppTek train), vrai ratio 50/50, sans repetition
+## Experience de reequilibrage synthetique/reel (OOD=en-CN)
 
 | Configuration | Phase 1 Test | Phase 1 OOD | Phase 2 Test | Phase 2 Smart Turn | Phase 2 AppTek | Phase 2 OOD |
 |---|---|---|---|---|---|---|
@@ -50,7 +61,7 @@ Deux strategies testees pour modifier la proportion Smart Turn (synthetique) / A
 | Oversample (65%/35%, reptete) | 84.50% | 59.78% | 90.10% | 92.06% | 77.37% | 70.19% |
 | **Undersample (50%/50%, vrai)** | **60.93%** | **54.69%** | **87.47%** | 88.71% | **79.43%** | **71.70%** |
 
-**Resultat cle** : Phase 1 (from scratch) s'effondre severement sous undersample (-23.96 points de test) en raison de la forte reduction du volume total d'entrainement (35,072 ex. au lieu de 288,481). Phase 2 (fusion Whisper) resiste beaucoup mieux a la meme reduction (-3.01 points de test seulement), avec un gain specifique sur AppTek (+2.08 points) et sur l'OOD (+0.63 point), au prix d'une perte sur Smart Turn (-3.80 points). L'oversampling par simple repetition, en revanche, ne change quasiment rien par rapport a l'original (ecarts inferieurs a 0.5 point sur toutes les metriques), confirmant que la repetition de donnees identiques n'apporte pas de nouvelle diversite acoustique exploitable — seule une vraie augmentation de la proportion de donnees reelles *distinctes* (undersample) modifie le comportement du modele.
+**Resultat cle** : Phase 1 (from scratch) s'effondre severement sous undersample (-23.96 points), Phase 2 (fusion Whisper) resiste beaucoup mieux (-3.01 points), demontrant l'efficacite d'apprentissage superieure des representations pre-entrainees face a la rarete des donnees reelles. L'oversampling par simple repetition n'apporte aucun gain significatif.
 
 ## Chargement
 
@@ -65,4 +76,5 @@ model.load_state_dict(ckpt['best_state'])
 - Entrainement majoritairement synthetique dans la configuration de base (Smart Turn ~94% du volume train mixte)
 - Ecart de performance significatif entre donnees synthetiques et reelles
 - Couverture AppTek limitee a l'anglais (14 accents)
-- L'oversampling teste est une simple repetition, pas une augmentation de donnees (pas de diversite acoustique nouvelle)
+- L'oversampling teste est une simple repetition, pas une augmentation de donnees
+- LiveKit v1-mini evalue avec seulement 1.2s de contexte audio (contrainte architecturale du modele), rendant sa comparaison directe aux autres modeles (8s de contexte) limitee