Update Mori_Technical_RAGwithFAISS.py

Mori_Technical_RAGwithFAISS.py

@@ -17,18 +17,19 @@ import faiss
 import numpy as np
 import torch
 from sentence_transformers import SentenceTransformer
+from huggingface_hub import hf_hub_download
 
-# ************************************************************************
-# Configuración básica
-# ************************************************************************
-output_dir     = Path("Vec_DataBase")       # mismo directorio que usaste al construir
-model_name     = "intfloat/multilingual-e5-base"
-index_basename = "mori"
-DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
+#***************************************************************************
+#Loading FAISS Vec DB
+#***************************************************************************
+DATASET_REPO_ID = "tecuhtli/Mori_FAISS_Full"
 
-RAG_BASE_DIR   = output_dir
-RAG_INDEX_PATH = RAG_BASE_DIR / f"{index_basename}.faiss"
-RAG_METAS_PATH = RAG_BASE_DIR / f"{index_basename}_metas.json"
+# 🔹 Nombres de archivo dentro del dataset
+FAISS_FILENAME = "mori.faiss"         # <-- AJUSTA SI TU ARCHIVO SE LLAMA DIFERENTE
+METAS_FILENAME = "mori_metas.json"    # idem
+
+model_name = "intfloat/multilingual-e5-base"
+DEVICE     = "cuda" if torch.cuda.is_available() else "cpu"
 
 # Lazy loading (solo en la primera llamada a retrieve_docs)
 _rag_model = None
@@ -43,22 +44,42 @@ def _ensure_rag_loaded(verbose: bool = False):
     """
     global _rag_model, _rag_index, _rag_metas
 
+    # Modelo de embeddings
     if _rag_model is None:
         if verbose:
             print(f"[*] Cargando modelo RAG ({model_name}) en {DEVICE}…")
         _rag_model = SentenceTransformer(model_name, device=DEVICE)
 
+    # Índice FAISS
     if _rag_index is None:
         if verbose:
-            print(f"[*] Cargando índice FAISS desde {RAG_INDEX_PATH}…")
-        assert RAG_INDEX_PATH.exists(), f"No se encontró el índice FAISS: {RAG_INDEX_PATH}"
-        _rag_index = faiss.read_index(str(RAG_INDEX_PATH))
+            print(f"[*] Descargando índice FAISS desde dataset: {DATASET_REPO_ID}/{FAISS_FILENAME}…")
+
+        # Descarga el archivo al caché local de HF y devuelve la ruta
+        faiss_local_path = hf_hub_download(
+            repo_id=DATASET_REPO_ID,
+            repo_type="dataset",
+            filename=FAISS_FILENAME,
+        )
+
+        if verbose:
+            print(f"[*] Leyendo índice FAISS desde {faiss_local_path}…")
+        _rag_index = faiss.read_index(str(faiss_local_path))
 
+    # Metadatos
     if _rag_metas is None:
         if verbose:
-            print(f"[*] Cargando metadatos desde {RAG_METAS_PATH}…")
-        assert RAG_METAS_PATH.exists(), f"No se encontró el archivo de metadatos: {RAG_METAS_PATH}"
-        with open(RAG_METAS_PATH, "r", encoding="utf-8") as f:
+            print(f"[*] Descargando metadatos desde dataset: {DATASET_REPO_ID}/{METAS_FILENAME}…")
+
+        metas_local_path = hf_hub_download(
+            repo_id=DATASET_REPO_ID,
+            repo_type="dataset",
+            filename=METAS_FILENAME,
+        )
+
+        if verbose:
+            print(f"[*] Leyendo metadatos desde {metas_local_path}…")
+        with open(metas_local_path, "r", encoding="utf-8") as f:
             _rag_metas = json.load(f)
 
 
@@ -106,4 +127,4 @@ if __name__ == "__main__":
     qs = "¿Para qué sirve un isolation forest?"
     docs = retrieve_docs(qs, k=3, verbose=True)
     for d in docs:
-        print(f"[score={d['score']:.3f}] {d['input']} -> {d['output']}")
+        print(f"[score={d['score']:.3f}] {d['input']} -> {d['output']}")