Update app.py

app.py

@@ -1,11 +1,11 @@
 """
 Répétiteur Vocal — POC (Bac tchadien, Maths série D, français)
 Interface : réplique WhatsApp (le produit final vivra sur WhatsApp).
-Pipeline : Vocale élève → ASR (faster-whisper) → LLM (Qwen2.5 via HF Inference)
+Pipeline : Vocale élève → ASR (faster-whisper) → LLM (Qwen2.5-1.5B local, GGUF)
            → TTS (MMS-TTS français) → Vocale réponse
 
-100% modèles open-source. Conçu pour un Space HF gratuit (CPU 2 vCPU).
-Secret requis dans le Space : HF_TOKEN (token HuggingFace, lecture suffit).
+100% modèles open-source, 100% local : AUCUN token ni secret requis.
+Conçu pour un Space HF gratuit (CPU 2 vCPU, 16 Go RAM).
 """
 
 import os
@@ -18,14 +18,15 @@ import numpy as np
 import scipy.io.wavfile as wavfile
 import torch
 from faster_whisper import WhisperModel
-from huggingface_hub import InferenceClient
+from huggingface_hub import hf_hub_download
+from llama_cpp import Llama
 from transformers import AutoTokenizer, VitsModel
 
 # ---------------------------------------------------------------------------
 # Configuration
 # ---------------------------------------------------------------------------
-HF_TOKEN = os.environ.get("HF_TOKEN")
-LLM_MODEL = "Qwen/Qwen2.5-7B-Instruct"
+LLM_REPO = "Qwen/Qwen2.5-1.5B-Instruct-GGUF"
+LLM_FILE = "qwen2.5-1.5b-instruct-q4_k_m.gguf"
 ASR_MODEL_SIZE = "small"
 TTS_MODEL = "facebook/mms-tts-fra"
 
@@ -57,7 +58,9 @@ tts_model = VitsModel.from_pretrained(TTS_MODEL)
 tts_tokenizer = AutoTokenizer.from_pretrained(TTS_MODEL)
 tts_model.eval()
 
-llm_client = InferenceClient(model=LLM_MODEL, token=HF_TOKEN)
+print("Chargement LLM local (Qwen2.5-1.5B GGUF, Q4)...")
+llm_path = hf_hub_download(repo_id=LLM_REPO, filename=LLM_FILE)
+llm = Llama(model_path=llm_path, n_ctx=2048, n_threads=2, verbose=False)
 print("Modèles prêts.")
 
 # ---------------------------------------------------------------------------
@@ -74,10 +77,10 @@ def repondre(question: str, memoire: list) -> str:
         messages.append({"role": "user", "content": q})
         messages.append({"role": "assistant", "content": r})
     messages.append({"role": "user", "content": question})
-    reponse = llm_client.chat_completion(
-        messages=messages, max_tokens=350, temperature=0.4
+    reponse = llm.create_chat_completion(
+        messages=messages, max_tokens=250, temperature=0.4
     )
-    return reponse.choices[0].message.content.strip()
+    return reponse["choices"][0]["message"]["content"].strip()
 
 
 def nettoyer_pour_tts(texte: str) -> str:
@@ -129,7 +132,7 @@ def traiter(audio_path, question_texte, chat, memoire):
         explication = repondre(question, memoire)
     except Exception as e:
         chat.append({"role": "assistant",
-                     "content": f"⚠️ Erreur LLM (vérifie le secret HF_TOKEN) : {e}"})
+                     "content": f"⚠️ Erreur LLM : {e}"})
         return chat, memoire, None, ""
 
     # Note vocale du répétiteur, puis transcription texte (comme sur WhatsApp)