Update app.py

app.py

@@ -24,7 +24,7 @@ CHUNK_OVERLAP = 200    # Nytt: Overlapping chunks för att inte tappa kontext
 RETRIEVAL_K = 5        # Antal chunker att hämta vid varje sökning
 
 # Uppdaterad modell till Sonnet 4
-MODEL_NAME = "claude-sonnet-4-20250514" # Behåller din specificerade Sonnet, Claude-3.5-Sonnet är "claude-3-5-sonnet-20240620"
+MODEL_NAME = "claude-sonnet-4-20250514"
 
 # Kontrollera om vi kör i Hugging Face-miljön
 IS_HUGGINGFACE = os.environ.get("SPACE_ID") is not None
@@ -77,15 +77,30 @@ chunk_sources = []
 chunk_priorities = []  # Ny: Prioritet för varje chunk
 faq_dict = {}  # Dictionary för direktmatchning av vanliga frågor
 
-# Nya globala variabler för källprioriterng
+# FÖRBÄTTRADE källprioriteringar - nu som standard, kommer att överskridas av dynamisk prioritering
 source_priorities = {
-    "FAQ": 1.0,           # Högsta prioritet
+    "FAQ": 1.0,           # Standard högsta prioritet
     "ChargeNode App": 0.8,
     "ChargeNode Portal": 0.8, 
     "Företagskonto": 0.8,
     "local_files": 0.6    # Lägsta prioritet för övriga filer
 }
 
+# NYA: Nyckelord för att identifiera frågetyper och dynamisk prioritering
+question_type_keywords = {
+    "navigation": [
+        "hur gör jag", "hur kommer jag", "var hittar jag", "var finns", "hur når jag",
+        "hur navigerar", "hur går jag till", "vilken meny", "vilken flik", "klicka på",
+        "tryck på", "välj", "gå till", "öppna", "steg", "instruktion", "navigation",
+        "systemträd", "meny", "knapp", "flik", "tab", "ikon", "länk", "hur använder",
+        "hur kommer vi", "var hittar vi", "hur får vi tillgång", "hur får vi access"
+    ],
+    "quick_answer": [
+        "vad kostar", "vad är", "varför", "när", "pris", "kostnad", "avgift",
+        "ja eller nej", "kan jag", "får jag", "är det möjligt", "vad innebär"
+    ]
+}
+
 # Förbättrade nyckelord med organisationskontext
 system_keywords = {
     "app": ["app", "mobil", "telefon", "ladda bil", "ladda fordon", "qr-kod", "skanna", "kartvy", "favoriter", "laddningar", "nedre meny", "mitt privata"],
@@ -93,24 +108,66 @@ system_keywords = {
         "portal", "dashboard", "medlemmar", "statistik", "priser", "avtal", "felanmälan", "hjälpcenter",
         "samfällighet", "samfällighetsförening", "bostadsrättsförening", "förening", "organisation", 
         "vi är", "vi har avtal", "våra uppgifter", "vårt avtal", "vår förening", "adminpanel", 
-        "administrera", "hantera medlemmar", "logga in portal", "portal.chargenode"
+        "administrera", "hantera medlemmar", "logga in portal", "portal.chargenode",
+        "hur får vi tillgång", "hur får vi access", "våra inställningar", "vår administration"
     ],
     "företagskonto": [
         "företag", "företagskonto", "administratör", "fakturor", "behörighet", "användare", 
         "org.nummer", "organisationsnummer", "företagsavtal", "mitt företag", "vårt företag"
     ],
     "betalning_privat": [
-        "mitt betalsätt", "min betalmetod", "mitt kort", "min betalning", "privat betalkort",
+        "mitt betalsätt", "min betalmetod", "mitt betalkort", "mitt kort", "min betalning", "privat betalkort",
         "personlig betalning", "mitt privata kort"
     ]
 }
 
-# Nya organisationsspecifika regler
+# UTÖKADE organisationsspecifika regler
 organization_types = [
     "samfällighet", "samfällighetsförening", "bostadsrättsförening", "förening", 
-    "organisation", "kommun", "kommunal", "offentlig", "vi är", "vi har avtal"
+    "organisation", "kommun", "kommunal", "offentlig", "vi är", "vi har avtal",
+    "våra", "vårt", "vår", "vi får", "vi vill", "vi behöver"
 ]
 
+def get_question_type(query):
+    """Identifierar typ av fråga för dynamisk prioritering."""
+    query_lower = query.lower()
+    
+    # Kontrollera för navigationsfrågor
+    if any(keyword in query_lower for keyword in question_type_keywords["navigation"]):
+        return "navigation"
+    
+    # Kontrollera för snabba svar
+    if any(keyword in query_lower for keyword in question_type_keywords["quick_answer"]):
+        return "quick_answer"
+    
+    return "general"
+
+def get_dynamic_source_priorities(query, preferred_source):
+    """Justerar källprioriteringar baserat på frågetyp."""
+    question_type = get_question_type(query)
+    
+    if question_type == "navigation":
+        # För navigationsfrågor: prioritera systemträd över FAQ
+        return {
+            "ChargeNode App": 1.0,      # Högst för navigationsfrågor
+            "ChargeNode Portal": 1.0,   # Högst för navigationsfrågor  
+            "Företagskonto": 1.0,       # Högst för navigationsfrågor
+            "FAQ": 0.7,                # Lägre för navigationsfrågor
+            "local_files": 0.5
+        }
+    elif question_type == "quick_answer":
+        # För snabba svar: prioritera FAQ
+        return {
+            "FAQ": 1.0,                # Högst för snabba svar
+            "ChargeNode App": 0.6,
+            "ChargeNode Portal": 0.6, 
+            "Företagskonto": 0.6,
+            "local_files": 0.4
+        }
+    else:
+        # Allmänna frågor: använd standard
+        return source_priorities
+
 # --- Förbättrad loggfunktion ---
 def safe_append_to_log(log_entry):
     """Säker metod för att lägga till loggdata utan att förlora historisk information."""
@@ -152,7 +209,16 @@ def identify_source_context(query):
     has_collective_pronouns = any(word in query_lower for word in ["vi", "våra", "vårt", "vår"])
     mentions_agreement = any(word in query_lower for word in ["avtal", "avtalet", "överenskommelse"])
     
-    if is_organization or (has_collective_pronouns and mentions_agreement):
+    # FÖRBÄTTRAD organisationsdetektering
+    organization_phrases = [
+        "samfällighetsförening", "bostadsrättsförening", "förening", "organisation",
+        "vi är", "vi har avtal", "våra uppgifter", "vårt avtal", "vår förening",
+        "hur får vi tillgång", "hur får vi access"
+    ]
+    
+    has_org_phrase = any(phrase in query_lower for phrase in organization_phrases)
+    
+    if is_organization or has_org_phrase or (has_collective_pronouns and mentions_agreement):
         print(f"🏢 Identifierad som organisationsfråga: {query}")
         
         # Om det handlar om fakturor/betalningar för företag -> Företagskonto
@@ -180,7 +246,7 @@ def identify_source_context(query):
                 return "Företagskonto"
     
     # Standard fallback - men inte FAQ för organisationer
-    if is_organization or has_collective_pronouns:
+    if is_organization or has_collective_pronouns or has_org_phrase:
         return "ChargeNode Portal"
     else:
         return "FAQ"
@@ -348,34 +414,53 @@ def enhanced_prepare_chunks(text_data):
     return chunks_list, sources_list, chunk_priorities_list
 
 def add_organization_faqs():
-    """Lägger till specifika FAQ-svar för organisationer."""
+    """FÖRBÄTTRADE FAQ-svar för organisationer."""
     global faq_dict
     
-    # Samfällighets- och föreningsfrågor
-    samfallighet_svar = """För samfällighetsföreningar och andra organisationer med avtal:
+    # Omfattande svar för samfälligheter och föreningar
+    samfallighet_svar = """För samfällighetsföreningar och andra organisationer med ChargeNode-avtal:
+
+**Så får ni tillgång till er portal:**
 
-1. Gå till portal.chargenode.eu
-2. Logga in med de uppgifter ni fick när avtalet tecknades
-3. I portalen kan ni:
-   - Se Dashboard med översikt
-   - Hantera medlemmar under 'Medlemmar'
-   - Se statistik under 'Statistik'
-   - Ändra priser under 'Priser'
-   - Hantera avtal under 'Avtal'
-   - Se fakturering under 'Fakturering'
+1. **Gå till portal.chargenode.eu**
+2. **Logga in** med de inloggningsuppgifter ni fick när avtalet tecknades
+3. Om ni saknar inloggningsuppgifter, kontakta oss på support@chargenode.eu eller 010-2051055
 
-Om ni inte har inloggningsuppgifter, kontakta support@chargenode.eu eller 010-2051055."""
+**I portalen kan ni:**
+• **Dashboard** - Se översikt och statistik
+• **Medlemmar** - Hantera medlemmar och grupper  
+• **Statistik** - Detaljerad förbrukningsdata
+• **Priser** - Ställa in och ändra priser
+• **Avtal** - Se och hantera avtalsinformation
+• **Fakturering** - Fakturaöversikt och betalning
 
+**Ändra uppgifter:**
+• Klicka på 'Medlemmar' för att hantera medlemsuppgifter
+• Gå till 'Avtal' för att se kontaktinformation
+• Under 'Fakturering' kan ni ändra fakturauppgifter
+
+Har ni problem med inloggning eller behöver hjälp? Kontakta vår support så hjälper vi er direkt."""
+
+    # Utökade variationer för organisationsfrågor
     organization_keys = [
         "samfällighetsförening logga in",
-        "förening logga in portal",
+        "förening logga in portal", 
         "vi har avtal hur loggar vi in",
         "ändra våra uppgifter",
         "hantera vår organisation",
         "organisationsuppgifter",
         "samfällighet portal",
         "bostadsrättsförening portal",
-        "vi är en förening"
+        "vi är en förening",
+        "hur får vi tillgång",
+        "hur får vi access",
+        "vi är en samfällighetsförening",
+        "logga in och ändra uppgifter",
+        "tillgång för att ändra uppgifter",
+        "access till våra uppgifter",
+        "vi vill ändra våra uppgifter",
+        "våra inställningar",
+        "vår administration"
     ]
     
     for key in organization_keys:
@@ -389,9 +474,37 @@ def enhanced_check_direct_match(query):
     is_organization = any(org_type in query_lower for org_type in organization_types)
     has_collective_pronouns = any(word in query_lower for word in ["vi", "våra", "vårt", "vår"])
     
-    if is_organization or has_collective_pronouns:
-        print(f"🏢 Organisationsfråga detekterad - hoppar över FAQ direktmatchning")
-        return None  # Låt RAG hantera detta istället
+    # FÖRBÄTTRAD detektering av organisationsfraser  
+    organization_phrases = [
+        "samfällighetsförening", "bostadsrättsförening", "förening", "organisation",
+        "vi är", "vi har avtal", "våra uppgifter", "vårt avtal", "vår förening",
+        "hur får vi tillgång", "hur får vi access"
+    ]
+    has_org_phrase = any(phrase in query_lower for phrase in organization_phrases)
+    
+    # Om det är en organisationsfråga, kontrollera FAQ dictionary för organisationer
+    if is_organization or has_collective_pronouns or has_org_phrase:
+        print(f"🏢 Organisationsfråga detekterad: {query}")
+        
+        # Kontrollera exakt matchning för organisationer
+        if query_lower in faq_dict:
+            print(f"✅ Hittade exakt FAQ-matchning för organisation: {query}")
+            return faq_dict[query_lower]
+        
+        # Kontrollera partiell matchning för organisationer
+        for key, value in faq_dict.items():
+            if any(phrase in key for phrase in organization_phrases):
+                query_words = set(re.findall(r'\w+', query_lower))
+                key_words = set(re.findall(r'\w+', key))
+                common_words = query_words.intersection(key_words)
+                
+                if len(common_words) >= 2:  # Kräv minst 2 gemensamma ord
+                    print(f"✅ Hittade partiell FAQ-matchning för organisation: {key}")
+                    return value
+        
+        # Om ingen FAQ-matchning för organisationer, låt RAG hantera det
+        print(f"ℹ️ Ingen direkt FAQ-matchning för organisation, låter RAG hantera")
+        return None
     
     # Endast för PRIVATA betalningsfrågor
     payment_prefixes = [
@@ -409,7 +522,7 @@ def enhanced_check_direct_match(query):
     is_general_payment = any(term in query_lower for term in general_payment_terms)
     
     if any(query_lower.startswith(prefix) for prefix in payment_prefixes) and \
-       (is_private_payment or (is_general_payment and not has_collective_pronouns)):
+       (is_private_payment or (is_general_payment and not has_collective_pronouns and not has_org_phrase)):
         
         payment_answer = """Så här lägger du till/ändrar betalkort: 
 1. Öppna ChargeNode-appen
@@ -444,7 +557,7 @@ OBS! Se till att kortet har pengar och att det är upplåst för internetbetalni
     return None
 
 def enhanced_retrieve_context(query, k=RETRIEVAL_K):
-    """Förbättrad kontexthämtning med källprioriterng och smart viktning."""
+    """Förbättrad kontexthämtning med dynamisk källprioriterng."""
     initialize_enhanced_embeddings()
     
     # Steg 1: Kontrollera direktmatchning (högsta prioritet)
@@ -457,9 +570,14 @@ def enhanced_retrieve_context(query, k=RETRIEVAL_K):
         print("Varning: Embedder eller FAISS-index inte tillgängligt")
         return "", []
     
-    # Steg 2: Identifiera förväntad källkontext
+    # Steg 2: Identifiera förväntad källkontext och frågetyp
     preferred_source = identify_source_context(query)
-    print(f"📍 Identifierad förväntad källa: {preferred_source}")
+    question_type = get_question_type(query)
+    dynamic_priorities = get_dynamic_source_priorities(query, preferred_source)
+    
+    print(f"📍 Förväntad källa: {preferred_source}")
+    print(f"🔍 Frågetyp: {question_type}")
+    print(f"⚖️ Dynamiska prioriteter: {dynamic_priorities}")
     
     # Steg 3: Utför embedding-sökning
     query_embedding = embedder.encode([query], convert_to_numpy=True)
@@ -472,34 +590,44 @@ def enhanced_retrieve_context(query, k=RETRIEVAL_K):
     search_k = min(k * 3, len(chunks))  
     D, I = index.search(query_embedding, search_k)
     
-    # Steg 4: Viktad ranking baserat på både relevans och källprioritet
+    # Steg 4: Viktad ranking med dynamiska prioriteter
     candidates = []
     for idx, score in zip(I[0], D[0]):
         if 0 <= idx < len(chunks):
             source = chunk_sources[idx]
-            chunk_priority = chunk_priorities[idx] if idx < len(chunk_priorities) else 0.5
             
-            # Bonuspoäng om det matchar förväntad källa
+            # Använd dynamiska prioriteter istället för statiska
+            source_priority = dynamic_priorities.get(source, 0.5)
+            
+            # Extra bonuspoäng om det matchar förväntad källa
             source_bonus = 0.3 if source == preferred_source else 0.0
             
-            # Kombinera semantic similarity med source priority
-            combined_score = score + chunk_priority + source_bonus
+            # Ytterligare bonus för navigationsfrågor från systemträd
+            navigation_bonus = 0.0
+            if question_type == "navigation" and source in ["ChargeNode App", "ChargeNode Portal", "Företagskonto"]:
+                navigation_bonus = 0.2
+            
+            # Kombinera alla poäng
+            combined_score = score + source_priority + source_bonus + navigation_bonus
             
             candidates.append({
                 'chunk': chunks[idx],
                 'source': source,
                 'score': combined_score,
                 'semantic_score': score,
-                'priority': chunk_priority
+                'priority': source_priority,
+                'navigation_bonus': navigation_bonus
             })
     
     # Steg 5: Sortera och välj topp k resultat
     candidates.sort(key=lambda x: x['score'], reverse=True)
     top_candidates = candidates[:k]
     
-    # Steg 6: Logga vad som valdes för debugging
+    # Steg 6: Utökad loggning för debugging
     print(f"🔍 Valda källor: {[c['source'] for c in top_candidates]}")
-    print(f"📊 Scores: {[(c['source'], round(c['score'], 3)) for c in top_candidates]}")
+    print(f"📊 Detaljerade scores:")
+    for c in top_candidates[:3]:  # Visa topp 3
+        print(f"   {c['source']}: total={c['score']:.3f} (semantic={c['semantic_score']:.3f}, priority={c['priority']:.3f}, nav_bonus={c['navigation_bonus']:.3f})")
     
     # Steg 7: Bygg kontextsvar
     retrieved_chunks = [c['chunk'] for c in top_candidates]
@@ -513,7 +641,7 @@ def initialize_enhanced_embeddings():
     global embedder, embeddings, index, chunks, chunk_sources, chunk_priorities, faq_dict
     
     if embedder is None:
-        print("🚀 Initierar förbättrad RAG med källprioriterng...")
+        print("🚀 Initierar förbättrad RAG med dynamisk källprioriterng...")
         
         # Ladda data med källseparation
         print("📁 Laddar källseparerad textdata...")
@@ -526,6 +654,7 @@ def initialize_enhanced_embeddings():
         print(f"📦 {len(chunks)} chunks skapade")
         
         # NYTT: Lägg till organisationsspecifika FAQ
+        print("🏢 Lägger till organisationsfrågor...")
         add_organization_faqs()
         
         if not chunks: