Update app.py

app.py

@@ -12,9 +12,14 @@ import uuid
 from user_agents import parse as parse_ua
 import schedule
 import threading
+from sentence_transformers import SentenceTransformer
+import numpy as np
+import faiss
 
 # --- Konfiguration ---
 CHARGENODE_URL = "https://www.chargenode.eu"
+MAX_CHUNK_SIZE = 1024  # Storlek på chunker för indexering
+RETRIEVAL_K = 3        # Antal chunker att hämta vid varje sökning
 
 # Kontrollera om vi kör i Hugging Face-miljön
 IS_HUGGINGFACE = os.environ.get("SPACE_ID") is not None
@@ -57,7 +62,13 @@ scheduler = CommitScheduler(
 
 # --- Globala variabler ---
 last_log = None  # Sparar loggdata från senaste svar för feedback
-full_context = None  # Används för att spara hela kontexten
+
+# Globala variabler för embeddings
+embedder = None
+embeddings = None
+index = None
+chunks = []
+chunk_sources = []
 
 # --- Förbättrad loggfunktion ---
 def safe_append_to_log(log_entry):
@@ -143,22 +154,69 @@ def load_prompt():
         print(f"Fel vid inläsning av prompt.txt: {e}, använder standardprompt")
         return "Du är ChargeNode's AI-assistent. Svara på frågor om ChargeNode's produkter och tjänster baserat på den tillhandahållna informationen."
 
-def load_full_context():
-    """Laddar hela kontexten en gång och cachar resultatet."""
-    global full_context
-    if full_context is None:
-        print("Laddar alla textfiler till fullständig kontext...")
-        full_context = load_local_files()
-        print(f"Laddade {len(full_context)} tecken till kontext")
-    return full_context
+# Förbered textsegment
+def prepare_chunks(text_data):
+    """Delar upp texten i mindre segment för embedding och sökning."""
+    chunks, sources = [], []
+    for source, text in text_data.items():
+        paragraphs = [p for p in text.split("\n") if p.strip()]
+        chunk = ""
+        for para in paragraphs:
+            if len(chunk) + len(para) + 1 <= MAX_CHUNK_SIZE:
+                chunk += " " + para
+            else:
+                if chunk.strip():
+                    chunks.append(chunk.strip())
+                    sources.append(source)
+                chunk = para
+        if chunk.strip():
+            chunks.append(chunk.strip())
+            sources.append(source)
+    return chunks, sources
+
+def initialize_embeddings():
+    """Initierar SentenceTransformer och FAISS-index vid första anrop."""
+    global embedder, embeddings, index, chunks, chunk_sources
+    
+    if embedder is None:
+        print("Initierar SentenceTransformer och FAISS-index...")
+        # Ladda och förbered lokal data
+        print("Laddar textdata...")
+        text_data = {"local_files": load_local_files()}
+        print("Förbereder textsegment...")
+        chunks, chunk_sources = prepare_chunks(text_data)
+        print(f"{len(chunks)} segment laddade")
+
+        print("Skapar embeddings...")
+        embedder = SentenceTransformer('all-MiniLM-L6-v2')
+        embeddings = embedder.encode(chunks, convert_to_numpy=True)
+        embeddings /= np.linalg.norm(embeddings, axis=1, keepdims=True)
+        index = faiss.IndexFlatIP(embeddings.shape[1])
+        index.add(embeddings)
+        print("FAISS-index klart")
+
+def retrieve_context(query, k=RETRIEVAL_K):
+    """Hämtar relevant kontext för frågor."""
+    # Säkerställ att modeller är laddade
+    initialize_embeddings()
+    
+    query_embedding = embedder.encode([query], convert_to_numpy=True)
+    query_embedding /= np.linalg.norm(query_embedding)
+    D, I = index.search(query_embedding, k)
+    retrieved, sources = [], set()
+    for idx in I[0]:
+        if idx < len(chunks):
+            retrieved.append(chunks[idx])
+            sources.add(chunk_sources[idx])
+    return " ".join(retrieved), list(sources)
 
 # Ladda prompt template
 prompt_template = load_prompt()
 
 def generate_answer(query):
-    """Genererar svar baserat på fråga med hela kontexten."""
-    # Hämta hela kontexten
-    context = load_full_context()
+    """Genererar svar baserat på fråga och retrieval-baserad kontext med Claude Haiku."""
+    # Hämta relevant kontext via RAG istället för hela databasen
+    context, sources = retrieve_context(query)
     
     if not context.strip():
         return "Jag hittar ingen relevant information i mina källor.\n\nDetta är ett AI genererat svar."
@@ -166,16 +224,16 @@ def generate_answer(query):
     # System-prompts och användarfråga
     system_prompt = prompt_template
     
-    # Skapa ett renare användarmeddelande
+    # Skapa ett renare användarmeddelande med bara den relevanta kontexten
     user_message = f"""Jag har en fråga om ChargeNode.
 
-Hela dataunderlaget du kan använda för att svara:
+Relevant kontext för frågan:
 {context}
 
 Min fråga är: {query}"""
     
     try:
-        # Använd Claude Haiku med hela kontexten
+        # Använd Claude Haiku med RAG-baserad kontext
         response = anthropic_client.messages.create(
             model="claude-3-haiku-20240307",
             max_tokens=500,
@@ -786,10 +844,10 @@ with gr.Blocks(css=custom_css, title="ChargeNode Kundtjänst") as app:
         [chat_interface, support_interface, success_interface, chat_preview]
     )
 
-# Ladda kontexten direkt vid uppstart
-print("Förbereder hela kontexten vid uppstart...")
-load_full_context()
-print("Kontext laddad och redo!")
+# Initialisera embeddings vid uppstart
+print("Förbereder embedding-modell och index...")
+initialize_embeddings()
+print("Embedding-modell och index redo!")
 
 if __name__ == "__main__":
     app.launch(share=True)