Update app.py

app.py

@@ -1,60 +1,63 @@
-# app.py
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
-import os
-
-# ======================
-# ⚠️ NE PAS METTRE LE TOKEN HUGGINGFACE EN CLAIR DANS LE CODE
-# Ajouter ton token dans les Secrets du Space Hugging Face
-# Ex : "HUGGINGFACE_TOKEN" dans Settings -> Secrets
-# ======================
-HF_TOKEN = os.environ.get("HUGGINGFACE_TOKEN")
+from transformers import AutoTokenizer, AutoModelForCausalLM
 
-MODEL_PATH = "SafaaAI/final_llm_darija_fr_tech"
+# 🔹 Utiliser le token Hugging Face stocké dans les secrets du Space
+# Assurez-vous d'ajouter votre HF_TOKEN dans la section Secrets
+HF_TOKEN = "use_auth_token_from_secret"  # NE PAS mettre votre vrai token ici
 
-# Charger le tokenizer
+# 🔹 Charger le tokenizer
 tokenizer = AutoTokenizer.from_pretrained(
-    MODEL_PATH,
-    use_auth_token=HF_TOKEN,
+    "SafaaAI/final_llm_darija_fr_tech",
+    use_auth_token=True,   # prend le token du Space si configuré
     trust_remote_code=True
 )
 
-# Charger le modèle
+# 🔹 Charger le modèle
 model = AutoModelForCausalLM.from_pretrained(
-    MODEL_PATH,
-    use_auth_token=HF_TOKEN,
+    "SafaaAI/final_llm_darija_fr_tech",
+    use_auth_token=True,
     trust_remote_code=True,
     device_map="auto"  # pour GPU si disponible
 )
 
-# Fonction pour générer les réponses
-def chat_with_model(user_input, history=[]):
-    # Ajouter le contexte
-    full_input = "\n".join([f"Utilisateur: {h[0]}\nModèle: {h[1]}" for h in history] + [f"Utilisateur: {user_input}"])
-    
-    inputs = tokenizer(full_input, return_tensors="pt").to(model.device)
-    output_ids = model.generate(**inputs, max_new_tokens=200)
-    output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
-
-    # Extraire seulement la réponse du modèle après le dernier "Utilisateur: ..."
-    if "Utilisateur:" in output_text:
-        output_text = output_text.split("Utilisateur:")[-1].strip()
-    if "Modèle:" in output_text:
-        output_text = output_text.split("Modèle:")[-1].strip()
-    
-    history.append((user_input, output_text))
-    return output_text, history
-
-# Interface Gradio
-with gr.Blocks() as demo:
-    gr.Markdown("# évaluation 🤖")
-    
-    chatbot = gr.Chatbot()
-    msg = gr.Textbox(label="Votre message")
-    clear = gr.Button("Effacer l'historique")
-    
-    msg.submit(chat_with_model, inputs=[msg, chatbot], outputs=[chatbot, chatbot])
-    clear.click(lambda: [], None, chatbot)
-
-demo.launch()
+# 🔹 Fonction d'inférence
+def inference(input_text, input_image=None):
+    """
+    input_text: texte utilisateur
+    input_image: image (optionnelle) pour contexte multimodal
+    """
+    # Encode texte
+    inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
+
+    # Générer la réponse
+    with torch.no_grad():
+        output_ids = model.generate(
+            **inputs,
+            max_length=512,
+            do_sample=True,
+            top_p=0.9,
+            temperature=0.7
+        )
+
+    # Décoder la sortie
+    response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
+    return response
+
+# 🔹 Interface Gradio
+iface = gr.Interface(
+    fn=inference,
+    inputs=[
+        gr.Textbox(lines=5, label="Entrez votre texte"),
+        gr.Image(type="pil", label="Image (optionnelle)")
+    ],
+    outputs=[
+        gr.Textbox(lines=10, label="Réponse du modèle")
+    ],
+    title="SafaaAI LLM Darija-FR-Tech",
+    description="Modèle multimodal léger pour comprendre la Darija, le français et le langage technique."
+)
+
+# 🔹 Lancer l'application
+if __name__ == "__main__":
+    iface.launch()