correction NLTK

Dockerfile

@@ -1,7 +1,7 @@
-# Image de base Python avec support CPU
+# 🐍 Image de base
 FROM python:3.10-slim
 
-# Dépendances système nécessaires à llama-cpp-python et nltk
+# 🧱 Dépendances système
 RUN apt-get update && apt-get install -y \
     build-essential \
     cmake \
@@ -11,26 +11,21 @@ RUN apt-get update && apt-get install -y \
     curl \
     && rm -rf /var/lib/apt/lists/*
 
-# Définir le dossier de travail
+# 📁 Dossier de travail
 WORKDIR /code
 
-# Copier les fichiers requirements
+# 📝 Copier les requirements et installer les dépendances
 COPY requirements.txt .
-
-# Installer les dépendances Python
 RUN pip install --no-cache-dir -r requirements.txt
 
-# 🔧 Créer dossier pour NLTK
-RUN mkdir -p /tmp/nltk_data
-
-# ✅ Télécharger punkt AVANT le lancement de l'app
-RUN python -m nltk.downloader -d /tmp/nltk_data punkt
+# 📦 Préparer le cache NLTK
+RUN mkdir -p /tmp/nltk_data && python -m nltk.downloader -d /tmp/nltk_data punkt
 
-# Copier le reste du code
+# 📁 Copier tout le code
 COPY . .
 
-# Exposer le port pour Streamlit
+# 📤 Exposer le port Streamlit
 EXPOSE 7860
 
-# CMD adapté pour Hugging Face Spaces
+# 🚀 Lancer l'application (le patch doit être dans app.py AVANT l'import llama_index)
 CMD ["streamlit", "run", "app.py", "--server.port=7860", "--server.address=0.0.0.0"]

app.py

@@ -7,10 +7,12 @@ from huggingface_hub import hf_hub_download
 import time
 
 
-# 🔧 Corrige le problème de PermissionError avec NLTK
+import os
 os.environ["NLTK_DATA"] = "/tmp/nltk_data"
 
-ENV = os.getenv("ENV", "space")
+# Appliquer le patch avant tout import de llama_index
+from patches.llama_patch import patch_llamaindex_nltk
+patch_llamaindex_nltk()
 
 logger = logging.getLogger("Streamlit")
 logger.setLevel(logging.INFO)

patches/llama_patch.py

@@ -0,0 +1,20 @@
+import os
+import nltk
+
+# Forcer le cache dans /tmp
+NLTK_CACHE_DIR = "/tmp/nltk_data"
+
+def patch_llamaindex_nltk():
+    try:
+        from llama_index.core.utils import GlobalsHelper
+        class PatchedGlobalsHelper(GlobalsHelper):
+            def __init__(self):
+                # Rediriger vers /tmp
+                self._nltk_data_dir = NLTK_CACHE_DIR
+                # Télécharger punkt si nécessaire
+                try:
+                    nltk.data.find("tokenizers/punkt")
+                except LookupError:
+                    nltk.download("punkt", download_dir=self._nltk_data_dir)
+    except Exception as e:
+        print("[patch_llamaindex_nltk] Failed to patch:", e)