Update app.py

app.py

@@ -4,7 +4,7 @@ from typing import Optional
 
 # ✅ Modules de LlamaIndex
 from llama_index.core.settings import Settings
-from llama_index.core import Document
+from llama_index.core import Document, ServiceContext
 from llama_index.llms.llama_cpp import LlamaCPP
 from llama_index.core.node_parser import SemanticSplitterNodeParser
 
@@ -31,7 +31,6 @@ MODEL_NAME = "BAAI/bge-small-en-v1.5"
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, cache_dir=CACHE_DIR)
 model = AutoModel.from_pretrained(MODEL_NAME, cache_dir=CACHE_DIR)
 
-
 def get_embedding(text: str):
     with torch.no_grad():
         inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)
@@ -54,10 +53,8 @@ async def chunk_text(data: ChunkRequest):
         print(f"✅ Texte reçu ({len(data.text)} caractères) : {data.text[:200]}...")
         print("✅ ✔️ Reçu – On passe à la configuration du modèle LLM...")
 
-
-        # ✅ Chargement du modèle LLM depuis Hugging Face en ligne (pas de .gguf local)
+        # ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
         llm = LlamaCPP(
-            
             model_url="https://huggingface.co/leafspark/Mistral-7B-Instruct-v0.2-Q4_K_M-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf",
             temperature=0.1,
             max_new_tokens=512,
@@ -65,31 +62,30 @@ async def chunk_text(data: ChunkRequest):
             generate_kwargs={"top_p": 0.95},
             model_kwargs={"n_gpu_layers": 1},
         )
-        
+
         print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
 
-        # ✅ Intégration manuelle de l'embedding local dans Settings
+        # ✅ Définition d’un wrapper simple pour l’embedding local
         class SimpleEmbedding:
             def get_text_embedding(self, text: str):
                 return get_embedding(text)
 
         try:
-            Settings.llm = llm
-            Settings.embed_model = SimpleEmbedding()
-            print("✅ ✔️ Settings configurés avec LLM et embedding")
+            # 🛠️ Remplace Settings.llm + embed_model par ServiceContext
+            Settings.service_context = ServiceContext.from_defaults(
+                llm=llm,
+                embed_model=SimpleEmbedding()
+            )
+            print("✅ ✔️ Settings configurés via ServiceContext (LLM + Embedding)")
         except Exception as e:
             print(f"❌ Erreur dans la configuration des Settings : {e}")
             return {"error": str(e)}
 
-
-        import sys
-
         print("✅ LLM et embedding configurés - prêt pour le split")
-        
         print("✅ Début du split sémantique...", flush=True)
 
-        #parser = SemanticSplitterNodeParser.from_defaults()
-        parser = SemanticSplitterNodeParser.from_defaults(llm=Settings.llm)
+        # ✅ Utilisation du Semantic Splitter avec le LLM actuel
+        parser = SemanticSplitterNodeParser.from_defaults(llm=llm)
         fallback_splitter = Settings.node_parser  # fallback = splitter par défaut
 
         doc = Document(text=data.text)
@@ -98,28 +94,18 @@ async def chunk_text(data: ChunkRequest):
             nodes = parser.get_nodes_from_documents([doc])
             print(f"✅ Nombre de chunks générés : {len(nodes)}")
             print(f"🧩 Exemple chunk : {nodes[0].text[:100]}...")
-            
+
         except Exception as e:
             import traceback
             traceback.print_exc()
             print(f"❌ Erreur lors du split sémantique : {e}")
-            return {"error": str(e)}  # ← très important pour n8n
-            
-            
+            return {"error": str(e)}
 
+            # Fallback option (non utilisé ici)
             nodes = fallback_splitter.get_nodes_from_documents([doc])
             print(f"⚠️ Split fallback utilisé - chunks générés : {len(nodes)}")
 
-
-
-        
-        # ✅ Découpage sémantique intelligent
-#        parser = SemanticSplitterNodeParser.from_defaults()
-#        nodes = parser.get_nodes_from_documents([Document(text=data.text)])
-
-        # ✅ Vérification du nombre de chunks générés
-        print(f"✅ Nombre de chunks générés : {len(nodes)}")        
-
+        # ✅ Résultat complet pour l’API
         return {
             "chunks": [node.text for node in nodes],
             "metadatas": [node.metadata for node in nodes],
@@ -130,7 +116,6 @@ async def chunk_text(data: ChunkRequest):
             "error": None  # ← essentiel pour que n8n voie "rien à signaler"
         }
 
-
     except Exception as e:
         return {"error": str(e)}