Update app.py

app.py

@@ -1,40 +1,36 @@
-import gradio as gr
-import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
 import os
+import torch
+import gradio as gr
+from transformers import RobertaTokenizerFast, AutoModelForCausalLM
 
-# 🔹 Récupérez le token depuis les secrets du Space
-# Le token sera automatiquement chargé dans les variables d'environnement
+# 🔹 Récupération du token Hugging Face depuis les "Secrets" du Space
 hf_token = os.environ.get("HF_TOKEN")
-
-# Vérification si le token est bien chargé
 if hf_token is None:
-    raise ValueError("⚠️ Le token Hugging Face (HF_TOKEN) n'est pas trouvé. "
-                     "Vérifie que tu l’as bien ajouté dans les secrets du Space.")
+    raise ValueError("⚠️ Le secret HF_TOKEN n’est pas défini dans ton Space.")
 
-# 🔹 Charger le tokenizer
-tokenizer = AutoTokenizer.from_pretrained(
+# 🔹 Charger le tokenizer (en ignorant tokenizer.json corrompu)
+tokenizer = RobertaTokenizerFast.from_pretrained(
     "SafaaAI/final_llm_darija_fr_tech",
-    token=hf_token, # Utilisez le token pour l'authentification
+    use_fast=True,
+    token=hf_token,
     trust_remote_code=True
 )
 
 # 🔹 Charger le modèle
 model = AutoModelForCausalLM.from_pretrained(
     "SafaaAI/final_llm_darija_fr_tech",
-    token=hf_token, # Utilisez le token pour l'authentification
-    trust_remote_code=True,
-    device_map="auto" # Pour GPU si disponible
+    device_map="auto",   # GPU si dispo, sinon CPU
+    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+    token=hf_token,
+    trust_remote_code=True
 )
 
-# 🔹 Fonction d'inférence
+# 🔹 Fonction d’inférence (chatbot)
 def chat_with_model(message, history):
     history = history or []
-
-    # Encode texte
+    
     inputs = tokenizer(message, return_tensors="pt").to(model.device)
 
-    # Générer la réponse
     with torch.no_grad():
         output_ids = model.generate(
             **inputs,
@@ -44,14 +40,13 @@ def chat_with_model(message, history):
             temperature=0.7
         )
 
-    # Décoder la sortie
     response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
     history.append((message, response))
     return history, history
 
 # 🔹 Interface Gradio
 with gr.Blocks() as demo:
-    gr.Markdown("## 💬 Chatbot SafaaAI - LLM (Darija + Français + Technique)")
+    gr.Markdown("## 💬 Chatbot SafaaAI - LLM Darija + Français + Technique")
 
     chatbot = gr.Chatbot()
     msg = gr.Textbox(label="Écris ton message ici")
@@ -62,6 +57,6 @@ with gr.Blocks() as demo:
     msg.submit(chat_with_model, [msg, state], [chatbot, state])
     clear.click(lambda: ([], []), None, [chatbot, state])
 
-# 🔹 Lancer l'application
+# 🔹 Lancer l’app
 if __name__ == "__main__":
     demo.launch()