Create app.py

app.py

@@ -0,0 +1,162 @@
+import os
+import threading
+from typing import List, Tuple, Dict
+
+import torch
+import gradio as gr
+from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer
+from huggingface_hub import login
+import spaces
+
+MODEL_ID = "Ronaldodev/MobileLLM"
+MAX_NEW_TOKENS = 256
+TEMPERATURE = 0.7
+TOP_P = 0.95
+
+MEDICAL_SYSTEM_PROMPT = """Tu es FINANFA , un assistant médical spécialisé. Tu ne réponds QU'AUX questions relatives à la médecine, la santé, les maladies, les traitements, les symptômes, l'anatomie, la physiologie, la pharmacologie et tout sujet lié au domaine médical.
+Si on te pose une question qui n'est PAS liée à la médecine, tu dois poliment refuser de répondre en disant : "Je suis désolé, je ne peux répondre qu'aux questions médicales. Pouvez-vous me poser une question sur la santé ou la médecine ?"
+Reste toujours professionnel, précis et rappelle que tes réponses ne remplacent pas l'avis d'un médecin qualifié. De plus, évite au maximum les fautes d'orthographes.
+Ton créateur s'appelle AWADEME Finanfa Ronaldo. Il y a aussi Focas TCHANHOUN , GABIAM Honorine qui sont aussi tes créateurs."""
+
+# Mots-clés médicaux pour validation (optionnel, filtrage supplémentaire)
+MEDICAL_KEYWORDS = [
+    "maladie", "symptôme", "traitement", "médecin", "santé", "douleur", "fièvre",
+    "diagnostic", "médicament", "patient", "hôpital", "clinique", "infection",
+    "virus", "bactérie", "cancer", "diabète", "hypertension", "allergie",
+    "vaccination", "chirurgie", "anatomie", "organe", "système", "sang",
+    "cœur", "poumon", "foie", "rein", "cerveau", "os", "muscle", "peau",
+    "thérapie", "prévention", "urgence", "premiers secours", "grossesse",
+    "disease", "symptom", "treatment", "doctor", "health", "pain", "fever",
+    "diagnosis", "medicine", "drug", "hospital", "clinic", "infection"
+]
+
+# --- Silent Hub auth via env/Space Secret (no UI) ---
+HF_TOKEN = os.getenv("HF_TOKEN") or os.getenv("HUGGINGFACEHUB_API_TOKEN") or os.getenv("HUGGINGFACE_TOKEN")
+if HF_TOKEN:
+    try:
+        login(token=HF_TOKEN)
+    except Exception:
+        pass
+
+_tokenizer = None
+_model = None
+_device = None
+
+def _ensure_loaded():
+    global _tokenizer, _model, _device
+    if _tokenizer is not None and _model is not None:
+        return
+    _tokenizer = AutoTokenizer.from_pretrained(
+        MODEL_ID, trust_remote_code=True
+    )
+    _model = AutoModelForCausalLM.from_pretrained(
+        MODEL_ID,
+        trust_remote_code=True,
+        torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+        low_cpu_mem_usage=True,
+        device_map="auto" if torch.cuda.is_available() else None,
+    )
+    if _tokenizer.pad_token_id is None and _tokenizer.eos_token_id is not None:
+        _tokenizer.pad_token = _tokenizer.eos_token
+    _model.eval()
+    _device = next(_model.parameters()).device
+
+def _history_to_messages(history: List[Tuple[str, str]]) -> List[Dict[str, str]]:
+    msgs: List[Dict[str, str]] = []
+    for user_msg, bot_msg in history:
+        if user_msg:
+            msgs.append({"role": "user", "content": user_msg})
+        if bot_msg:
+            msgs.append({"role": "assistant", "content": bot_msg})
+    return msgs
+
+def is_medical_question(message: str) -> bool:
+    """
+    Vérifie si la question semble liée à la médecine.
+    Retourne True si au moins un mot-clé médical est trouvé.
+    """
+    message_lower = message.lower()
+    return any(keyword in message_lower for keyword in MEDICAL_KEYWORDS)
+
+@spaces.GPU(duration=120)
+def generate_stream(message: str, history: List[Tuple[str, str]]):
+    """
+    Streaming chat function limitée aux questions médicales.
+    """
+    _ensure_loaded()
+    
+    messages = [{"role": "system", "content": MEDICAL_SYSTEM_PROMPT}]
+    
+    # Ajouter l'historique et le nouveau message
+    messages.extend(_history_to_messages(history))
+    messages.append({"role": "user", "content": message})
+    
+    inputs = _tokenizer.apply_chat_template(
+        messages,
+        return_tensors="pt",
+        add_generation_prompt=True,
+    )
+    input_ids = inputs["input_ids"] if isinstance(inputs, dict) else inputs
+    input_ids = input_ids.to(_device)
+    
+    # IMPORTANT: don't stream the prompt (prevents system/user text from appearing)
+    streamer = TextIteratorStreamer(
+        _tokenizer,
+        skip_special_tokens=True,
+        skip_prompt=True,      # <-- key fix
+    )
+    
+    gen_kwargs = dict(
+        input_ids=input_ids,
+        max_new_tokens=MAX_NEW_TOKENS,
+        do_sample=TEMPERATURE > 0.0,
+        temperature=float(TEMPERATURE),
+        top_p=float(TOP_P),
+        pad_token_id=_tokenizer.pad_token_id,
+        eos_token_id=_tokenizer.eos_token_id,
+        streamer=streamer,
+    )
+    
+    thread = threading.Thread(target=_model.generate, kwargs=gen_kwargs)
+    thread.start()
+    
+    output = ""
+    for new_text in streamer:
+        output += new_text
+        yield output
+
+with gr.Blocks(title="MediClic LLM — Assistant Médical") as demo:
+    gr.Markdown(
+        """# 🏥 FINANFA — Assistant Médical
+**Assistant spécialisé en médecine et santé**
+⚠️ **Important** : Cet assistant ne répond qu'aux questions médicales et ne remplace pas l'avis d'un médecin qualifié. 
+En cas d'urgence, contactez immédiatement un professionnel de santé.
+<div style="text-align:center;">
+  Propulsé par MobileLLM-Pro
+</div>""")
+    
+    gr.ChatInterface(
+        fn=generate_stream,
+        chatbot=gr.Chatbot(
+            height=420, 
+            label="FINANFA - Assistant Médical",
+            placeholder="Posez-moi des questions sur la santé et la médecine..."
+        ),
+        textbox=gr.Textbox(
+            placeholder="Exemple : Quels sont les symptômes du diabète ?",
+            container=False,
+            scale=7
+        ),
+        title=None,
+        description=None,
+        examples=[
+            "Quels sont les symptômes du diabète de type 2 ?",
+            "Comment prévenir l'hypertension artérielle ?",
+            "Qu'est-ce qu'une infection virale ?",
+            "Quels sont les effets secondaires de l'aspirine ?",
+            "Comment fonctionne le système immunitaire ?"
+        ],
+    )
+
+if __name__ == "__main__":
+    demo.launch(server_name="0.0.0.0", server_port=int(os.getenv("PORT", 7860)))