Rename agent_ai_xenova.py to agent_ai_xenova_full.py

agent_ai_xenova.py → agent_ai_xenova_full.py

@@ -1,17 +1,17 @@
-# agent_ai_xenova.py
+# agent_ai_xenova_full.py
 from transformers import PreTrainedTokenizerFast, GPTNeoXForCausalLM, GPTNeoXConfig
 import os
 import json
 
 # -------------------------------
-# Config modèle
+# Paramètres du modèle (>2M)
 # -------------------------------
 model_config = {
     "vocab_size": 50257,
-    "n_embd": 768,
-    "n_layer": 12,
-    "n_head": 12,
-    "block_size": 128,
+    "n_embd": 512,       # embedding dimension
+    "n_layer": 12,       # nombre de couches -> augmente les paramètres
+    "n_head": 8,         # attention heads
+    "block_size": 128,   # max tokens
     "dropout": 0.1,
     "model_type": "gpt_neox"
 }
@@ -22,10 +22,10 @@ paths = {
 }
 
 # -------------------------------
-# Tokenizer simple compatible Xenova
+# Tokenizer minimal compatible Xenova
 # -------------------------------
 tokenizer = PreTrainedTokenizerFast(
-    tokenizer_file=None,  # pour l'instant vide
+    tokenizer_file=None,
     bos_token="<s>",
     eos_token="</s>",
     unk_token="<unk>",
@@ -33,7 +33,7 @@ tokenizer = PreTrainedTokenizerFast(
 )
 
 # -------------------------------
-# Création modèle à partir de config
+# Création du modèle
 # -------------------------------
 config = GPTNeoXConfig(
     vocab_size=model_config["vocab_size"],
@@ -50,7 +50,17 @@ model = GPTNeoXForCausalLM(config)
 # Sauvegarde pour Xenova
 # -------------------------------
 os.makedirs(paths["model_save"], exist_ok=True)
+os.makedirs(paths["tokenizer_save"], exist_ok=True)
+
 model.save_pretrained(paths["model_save"])
 tokenizer.save_pretrained(paths["tokenizer_save"])
 
-print("✅ Modèle et tokenizer prêts pour Xenova !")
+# -------------------------------
+# Génération test
+# -------------------------------
+prompt = "Bonjour Agent-AI, que peux-tu faire ?"
+inputs = tokenizer(prompt, return_tensors="pt")
+output = model.generate(**inputs, max_length=50)
+print(tokenizer.decode(output[0], skip_special_tokens=True))
+
+print("✅ Modèle complet Agent-AI prêt pour Xenova !")