Persist data

app.py

@@ -19,7 +19,7 @@ from deepseek_caller import DeepSeekCaller
 from stats_logger import StatsLogger
 from config import DISTANCE_THRESHOLD
 from utils import load_css
-from huggingface_hub import login
+from huggingface_hub import login, snapshot_download
 import os
 
 # ==========================================
@@ -32,6 +32,13 @@ st.set_page_config(
     initial_sidebar_state="expanded"
 )
 
+DATASET_ID = "matis35/chroma-rag-storage"
+REPO_FOLDER = "chroma_db_storage" # Le nom du dossier DANS le repo HF
+
+# Le dossier local où Streamlit va stocker la DB
+# On se met un niveau au-dessus pour que snapshot_download recrée le dossier "chroma_db_storage" dedans
+LOCAL_CACHE_DIR = Path("./chroma_cache")
+
 # ==========================================
 # CUSTOM CSS
 # ==========================================
@@ -130,24 +137,49 @@ def load_dataset_from_source(source: str, path: str):
                     data.append(json.loads(line))
         return data
 
-def initialize_chromadb(force_reindex=False):
-    db_path = Path("streamlit_rag_viewer/chroma_db_storage")
-    db_path.mkdir(parents=True, exist_ok=True)
-
-    client = chromadb.PersistentClient(path=str(db_path))
-
+# @st.cache_resource # <--- Décommenter si tu es sous Streamlit pour ne le faire qu'une fois !
+def initialize_chromadb():
+    """
+    Mode Static RAG : Télécharge la DB depuis Hugging Face et se connecte en lecture seule.
+    """
+    
+    # 1. CHEMIN CIBLE
+    # Le chemin final sera : ./chroma_cache/chroma_db_storage
+    final_db_path = LOCAL_CACHE_DIR / REPO_FOLDER
+    
+    # 2. TÉLÉCHARGEMENT (Si pas déjà présent)
+    if not final_db_path.exists():
+        print(f"📥 Téléchargement de la base depuis {DATASET_ID}...")
+        try:
+            snapshot_download(
+                repo_id=DATASET_ID,
+                repo_type="dataset",
+                local_dir=LOCAL_CACHE_DIR, # On télécharge DANS le cache
+                allow_patterns=[f"{REPO_FOLDER}/*"], # On ne prend que le dossier DB
+                local_dir_use_symlinks=False,
+                # token=os.environ.get("HF_TOKEN") # Nécessaire si le dataset est PRIVÉ
+            )
+            print("Téléchargement terminé.")
+        except Exception as e:
+            print(f"❌ Erreur de téléchargement : {e}")
+            # Fallback : Si on est en local et que le dossier existe déjà ailleurs, on pourrait pointer dessus
+            raise e
+            
+    # 3. CONNEXION CHROMA
+    # On pointe vers le dossier contenant le fichier sqlite3
+    client = chromadb.PersistentClient(path=str(final_db_path))
+
+    # 4. RÉCUPÉRATION DE LA COLLECTION
+    # Attention : On ne fait plus de "create_collection" ni de "delete".
+    # On récupère juste ce qui existe.
     try:
-        if force_reindex:
-            try: client.delete_collection("feedbacks")
-            except: pass
-            collection = client.create_collection(name="feedbacks", metadata={"hnsw:space": "cosine"})
-        else:
-            collection = client.get_collection(name="feedbacks")
-    except:
-        collection = client.create_collection(name="feedbacks", metadata={"hnsw:space": "cosine"})
+        collection = client.get_collection(name="feedbacks")
+        print(f"📊 Collection chargée. {collection.count()} documents disponibles.")
+    except Exception as e:
+        print(f"❌ Erreur : La collection 'feedbacks' n'existe pas dans la base téléchargée.")
+        raise e
 
     return client, collection
-
 # ==========================================
 # MAIN APP
 # ==========================================

cache_manager.py

@@ -18,7 +18,7 @@ class CacheManager:
         """
         self.collection = chroma_collection
         self.encoder_fn = encoder_fn
-        self.threshold = threshold if threshold is not None else SIMILARITY_THRESHOLD
+        self.threshold = threshold if threshold is not None else DISTANCE_THRESHOLD
 
     def calculate_confidence(self, distances: List[float]) -> float:
         """