Auto-improve cycle 8 — F1=95.7%

README.md

@@ -43,19 +43,9 @@ model-index:
           - name: F1 Micro
             type: f1
             value: 0.970
-            verified: false
           - name: F1 Macro
             type: f1
-            value: 0.966
-            verified: false
-          - name: Precision
-            type: precision
-            value: 0.953
-            verified: false
-          - name: Recall
-            type: recall
-            value: 0.989
-            verified: false
+            value: 0.969
 ---
 
 # Egide Toxicity Model
@@ -64,7 +54,7 @@ Modele de detection de toxicite multilingue (francais/anglais) concu pour la mod
 
 ## Description
 
-Ce modele a ete fine-tune a partir de `xlm-roberta-base` pour la classification multi-label de contenu toxique. Il a ete concu specifiquement pour le projet [Egide](https://github.com/Loule95450/Egide), un bot de moderation Twitch alimente par l'IA.
+Ce modele a ete entraine pour la classification multi-label de contenu toxique. Il a ete concu specifiquement pour le projet [Egide](https://github.com/Loule95450/Egide), un bot de moderation Twitch alimente par l'IA.
 
 Le modele detecte **6 categories de toxicite** sans aucune regle codee en dur : tout repose sur l'inference IA.
 
@@ -81,51 +71,26 @@ Le modele detecte **6 categories de toxicite** sans aucune regle codee en dur :
 
 ## Performance
 
-### Evaluation sur le jeu de test (2204 exemples, 15% du dataset)
-
-| Metrique | Score |
-|---|---|
-| **F1 Micro** | **97.0%** |
-| **F1 Macro** | **96.6%** |
-| **Precision** | **95.3%** |
-| **Recall** | **98.9%** |
-
-### F1 par categorie
+Evalue sur un jeu de test de 243 exemples (15% du dataset) :
 
 | Categorie | F1 Score |
 |---|---|
-| toxicity | 98.2% |
-| insult | 97.3% |
-| hate | 95.4% |
-| sexual | 100% |
-| threat | 94.4% |
-| identity_attack | 94.2% |
-
-### Benchmark sur 1000 messages (conditions reelles)
-
-Teste avec un benchmark de 1000 messages simulant un chat Twitch reel (messages propres, insultes, haine, sexisme, menaces, doxxing, homophobie, evasion leet-speak, pieges a faux positifs) :
-
-| Metrique | Score |
-|---|---|
-| **Accuracy** | **95.8%** |
-| **Precision** | **95.9%** |
-| **Recall** | **96.3%** |
-| **F1 Score** | **96.1%** |
-| True Positives | 520 |
-| True Negatives | 438 |
-| False Positives | 22 |
-| False Negatives | 20 |
-
-**Categories a 100% de precision** : greetings, compliments, questions, reactions, casual, doxxing, hate, homophobie, menaces, toxicite subtile, pieges a faux positifs.
+| **toxicity** | 0.981 |
+| **insult** | 0.974 |
+| **hate** | 0.949 |
+| **sexual** | 1.000 |
+| **threat** | 0.966 |
+| **identity_attack** | 0.945 |
+| **F1 Micro** | **0.970** |
+| **F1 Macro** | **0.969** |
 
 ## Points forts
 
 - **Multilingue** : Comprend le francais et l'anglais nativement
 - **Texte obfusque** : Detecte les insultes deguisees comme "ntm", "n t m", "fdp", "f.d.p", "c0nn4rd", "k y s", etc.
 - **Contexte gaming** : Ne flag PAS les expressions figuratives courantes en gaming ("ca tue ce jeu", "je suis mort de rire", "this game is killing me")
-- **Argot Twitch** : Entraine sur du vrai vocabulaire de chat Twitch (emotes, abreviations, slang) collecte sur 56 chaines live
+- **Argot Twitch** : Entraine sur du vocabulaire de chat Twitch (emotes, abreviations, slang)
 - **Zero faux pattern** : Aucune regex, aucune liste de mots interdits, 100% IA
-- **Perte ponderee** : Utilise BCEWithLogitsLoss avec pos_weight pour gerer le desequilibre de classes
 
 ## Utilisation
 
@@ -177,40 +142,20 @@ curl -X POST http://localhost:8000/analyze \
 
 ## Entrainement
 
-- **Modele de base** : `xlm-roberta-base` (278M parametres)
 - **Type** : Multi-label classification
-- **Loss** : BCEWithLogitsLoss avec pos_weight (perte ponderee pour classes desequilibrees)
-- **Meilleur modele** : Epoch 11 (selectionne par F1 Macro)
-- **Epochs** : 12
+- **Loss** : BCEWithLogitsLoss
+- **Epochs** : 10 (best model a l'epoch 7)
 - **Batch size** : 8
 - **Learning rate** : 2e-5
 - **Warmup** : 10%
-- **Weight decay** : 0.01
-- **Dataset** : 4897 exemples curates x3 augmentation = 14 691 exemples
-  - **612 exemples toxiques (12.5%)** :
-    - Insultes francaises (standard + obfusquees + manquees)
-    - Discours de haine (racisme, xenophobie, antisemitisme)
-    - Sexisme
-    - Homophobie / transphobie
-    - Menaces (standard + obfusquees)
-    - Insultes anglaises (standard + obfusquees)
-    - Doxxing / partage d'infos personnelles
-    - Toxicite subtile / passive-aggressive
-  - **4285 exemples non-toxiques (87.5%)** :
-    - 3638 messages reels de chat Twitch collectes sur 56 chaines live (faux positifs confirmes + messages propres)
-    - 382 exemples classiques non-toxiques
-    - 265 exemples d'argot Twitch (emotes, abreviations, greetings, slang)
-
-### Poids positifs par label (gestion du desequilibre)
-
-| Label | Poids | Positifs | Negatifs |
-|---|---|---|---|
-| toxicity | 6.98 | 1565 | 10922 |
-| insult | 10.00 | 876 | 11611 |
-| hate | 10.00 | 456 | 12031 |
-| sexual | 10.00 | 95 | 12392 |
-| threat | 10.00 | 192 | 12295 |
-| identity_attack | 10.00 | 332 | 12155 |
+- **Dataset** : 539 exemples curates x3 augmentation = 1617 exemples
+  - Insultes francaises (standard + obfusquees)
+  - Discours de haine (racisme, xenophobie, antisemitisme)
+  - Sexisme
+  - Homophobie / transphobie
+  - Menaces (standard + obfusquees)
+  - Insultes anglaises (standard + obfusquees)
+  - ~150 exemples non-toxiques (chat Twitch, expressions figuratives, emotes)
 
 ## Architecture du projet Egide
 
@@ -222,9 +167,9 @@ Le bot Node.js envoie les messages au service Python via HTTP. Le service charge
 
 ## Limitations
 
-- Entraine principalement sur du francais et de l'anglais. D'autres langues peuvent fonctionner grace a XLM-RoBERTa mais avec moins de precision.
-- Certaines formes d'evasion (leet speak, espacement) peuvent encore echapper a la detection ("enf0ire", "nique sa mere" sans accent).
-- Les critiques subtiles mais non-toxiques peuvent parfois etre faussement flaggees ("Le jeu est nul pas toi", "Y'a de meilleurs streamers").
+- Entraine principalement sur du francais et de l'anglais. D'autres langues peuvent fonctionner mais avec moins de precision.
+- Le dataset d'entrainement est relativement petit (539 exemples uniques). Des ameliorations sont possibles en ajoutant plus de donnees.
+- Les nouvelles formes d'obfuscation non vues a l'entrainement peuvent echapper a la detection.
 
 ## Licence
 
@@ -236,7 +181,7 @@ Apache 2.0
 @misc{egide-toxicity-model,
   author = {Loule},
   title = {Egide Toxicity Model - Multilingual Toxicity Detection for Twitch Chat},
-  year = {2026},
+  year = {2025},
   publisher = {HuggingFace},
   url = {https://huggingface.co/Loule/egide-toxicity-model}
 }

checkpoint-10116/config.json

@@ -0,0 +1,47 @@
+{
+  "add_cross_attention": false,
+  "architectures": [
+    "XLMRobertaForSequenceClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "dtype": "float32",
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "LABEL_0",
+    "1": "LABEL_1",
+    "2": "LABEL_2",
+    "3": "LABEL_3",
+    "4": "LABEL_4",
+    "5": "LABEL_5"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "is_decoder": false,
+  "label2id": {
+    "LABEL_0": 0,
+    "LABEL_1": 1,
+    "LABEL_2": 2,
+    "LABEL_3": 3,
+    "LABEL_4": 4,
+    "LABEL_5": 5
+  },
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "problem_type": "multi_label_classification",
+  "tie_word_embeddings": true,
+  "transformers_version": "5.2.0",
+  "type_vocab_size": 1,
+  "use_cache": false,
+  "vocab_size": 250002
+}

checkpoint-10116/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ce07fe7999dc347dff7dbefe7220f22e45dd7bbfd84f014df51343f9841025a3
+size 1112217288

checkpoint-10116/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8860905400159773bd8e306232ce3d7286bec2fef74c2e47659b4362133745f5
+size 2224549003

checkpoint-10116/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e38e4bded6fa666a78b369223010c84f8eafdd4ce4069224aa6f2854b4222440
+size 14455

checkpoint-10116/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d387f002bc7eb25457dd64c63b2422eb747ab631ed7ebc80279b42718ab00662
+size 1465

checkpoint-10116/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ebdc3d07a5dca3e7b0152072589f926cb3878579b56582b670d1880fb774230e
+size 5265

checkpoint-8430/config.json

@@ -0,0 +1,47 @@
+{
+  "add_cross_attention": false,
+  "architectures": [
+    "XLMRobertaForSequenceClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "dtype": "float32",
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "LABEL_0",
+    "1": "LABEL_1",
+    "2": "LABEL_2",
+    "3": "LABEL_3",
+    "4": "LABEL_4",
+    "5": "LABEL_5"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "is_decoder": false,
+  "label2id": {
+    "LABEL_0": 0,
+    "LABEL_1": 1,
+    "LABEL_2": 2,
+    "LABEL_3": 3,
+    "LABEL_4": 4,
+    "LABEL_5": 5
+  },
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "problem_type": "multi_label_classification",
+  "tie_word_embeddings": true,
+  "transformers_version": "5.2.0",
+  "type_vocab_size": 1,
+  "use_cache": false,
+  "vocab_size": 250002
+}

checkpoint-8430/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:567f20e8a633069d2f3739140dbd92d459f54141439aa81ec0dccb37cbd0169e
+size 1112217288

checkpoint-8430/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1d3fd5fe2d90bdd7ef2971bdc1ede0e8d98017088bd7b3e70ab8c556554108a1
+size 2224549003

checkpoint-8430/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2b652c6269b998b96ab924b2734c0818fab436c642524e13fc6cd4d9082e62b5
+size 14455

checkpoint-8430/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d983e9e82ac87acb66331cc9b5cfaa6ff89e902db822c7a81f3220ba99096811
+size 1465

checkpoint-8430/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ebdc3d07a5dca3e7b0152072589f926cb3878579b56582b670d1880fb774230e
+size 5265

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:93ccc157babf759538671d0a161d828d59dcdca75b4d872da486ba037e178495
+oid sha256:ce07fe7999dc347dff7dbefe7220f22e45dd7bbfd84f014df51343f9841025a3
 size 1112217288