שיפורים משמעותיים: מודל embedding משופר, טמפרטורה 0.9, תשובות ארוכות יותר (600-800 מילים), 100 רשומות ל-RAG

.query_history.json

@@ -64,5 +64,23 @@
     "response": {
       "summary": "את הנוחות של המשתמש נוחות השירות והאינטואיטיביות של הממשק שירות לקוחות על הפנים מענה זמין יותר בשירות לקוחות שירות קל וידידותי למשתמש "
     }
+  },
+  {
+    "query": "מה הנושא שהפריע להכי הרבה משתמשים?",
+    "response": {
+      "summary": "האתר סיבך את העניין את הנוחות של המשתמש חווית משתמש ממש לא טובה! מסורבל ולא נעים למשתמש אלופים. אחלה חווית משתמש"
+    }
+  },
+  {
+    "query": "חוויית משתמש",
+    "response": {
+      "summary": "נוחות משתמש חווית משתמש טובה וקלות תפעול את הנוחות של המשתמש מאוד חוויתי למשתמש חווית משתמש מעולה!"
+    }
+  },
+  {
+    "query": "מה המשתמשים אהבו במיוחד?",
+    "response": {
+      "summary": "חווית משתמש מעולה! מאוד חוויתי למשתמש כי זה היה ידידותי למשתמש.\nומובן.\nתודה רבה תמשיכו כך את הנוחות של המשתמש חווית משתמש מצויינת! עשיתם עבודה מעוררת השראה צוות הפרודקט"
+    }
   }
 ]

app/config.py

@@ -13,7 +13,7 @@ class Settings:
     gemini_api_key: str | None = os.getenv("GEMINI_API_KEY")
     embedding_model_name: str = os.getenv(
         "EMBEDDING_MODEL",
-        "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
+        "sentence-transformers/paraphrase-multilingual-mpnet-base-v2",
     )
     vector_index_path: str = os.getenv("VECTOR_INDEX_PATH", ".vector_index/faiss.index")
     vector_metadata_path: str = os.getenv("VECTOR_METADATA_PATH", ".vector_index/meta.parquet")

app/rag_service.py

@@ -151,8 +151,8 @@ class RAGService:
         
         # Check if response is too short (relaxed threshold - allow shorter responses if they're good)
         word_count = len(response.split())
-        if word_count < 150:
-            # Response is very short, try to get more detail
+        if word_count < 400:
+            # Response is very short, try to get more detail (target is 600-800 words)
             return self._request_fix(response, query, aggregates_str)
         
         # Check if response seems too generic or just a list of examples (doesn't contain analysis)
@@ -203,28 +203,28 @@ class RAGService:
                 "לא מרוצה", "שונא", "שלילי", "רע", "גרוע", "דירוג נמוך", "דירוג 1", "דירוג 2",
                 "unsatisfied", "negative", "bad", "poor", "low rating", "rating 1", "rating 2"
             ])
-            if not (has_positive_terms and has_negative_terms) and word_count < 250:
+            if not (has_positive_terms and has_negative_terms) and word_count < 500:
                 # Response doesn't cover both sides and is short, try to improve
                 return self._request_fix(response, query, aggregates_str)
         
-        # Relaxed validation - only fix if really problematic
-        if (not has_numbers or not has_analysis_terms) and word_count < 200:
+        # Relaxed validation - only fix if really problematic (target is 600-800 words)
+        if (not has_numbers or not has_analysis_terms) and word_count < 400:
             # Response seems too generic or lacks analysis, try to improve
             return self._request_fix(response, query, aggregates_str)
         
-        if is_mostly_list and word_count < 200:
+        if is_mostly_list and word_count < 400:
             # Response is mostly a list and very short, try to improve
             return self._request_fix(response, query, aggregates_str)
         
-        if not has_business_terms and word_count < 300:
+        if not has_business_terms and word_count < 500:
             # Response lacks business understanding and is short, try to improve
             return self._request_fix(response, query, aggregates_str)
         
-        if is_fragmented and word_count < 200:
+        if is_fragmented and word_count < 400:
             # Response is too fragmented and short, try to improve
             return self._request_fix(response, query, aggregates_str)
         
-        if not has_enough_paragraphs and word_count < 200:
+        if not has_enough_paragraphs and word_count < 400:
             # Response doesn't have enough structure and is short, try to improve
             return self._request_fix(response, query, aggregates_str)
         
@@ -271,19 +271,20 @@ class RAGService:
         fix_prompt = (
             f"התשובה הבאה לא מספקת - היא קצרה מדי, לא קוהרנטית, או רק רשימת נקודות קצרות. אנא כתוב תשובה חדשה ומתוקנת:\n\n"
             f"דרישות לתשובה המתוקנת (חובה!):\n"
-            f"1. תשובה קוהרנטית, מפורטת ומקיפה בפסקאות מלאות (לפחות 5-7 פסקאות, לפחות 400-500 מילים)\n"
+            f"1. תשובה קוהרנטית, מפורטת מאוד ומקיפה בפסקאות מלאות (לפחות 7-10 פסקאות, לפחות 600-800 מילים)\n"
             f"2. אל תכתוב רשימת נקודות או רשימת משפטים קצרים - כתוב תשובה קוהרנטית בפסקאות מלאות\n"
-            f"3. כל פסקה צריכה להיות לפחות 4-5 משפטים ארוכים ומפורטים\n"
+            f"3. כל פסקה צריכה להיות לפחות 4-6 משפטים ארוכים ומפורטים\n"
             f"4. תשובה שמראה הבנה רחבה ומקיפה של כל הנתונים - לא רק רשימת משובים בודדים\n"
+            f"5. הרחב על כל נקודה - תן הסברים מפורטים, דוגמאות מרובות, והשוואות מעמיקות\n"
             f"{feelings_instruction}"
-            f"5. מבוססת אך ורק על הנתונים הסטטיסטיים הבאים:\n{aggregates_str}\n"
-            f"6. עונה ישירות על השאלה: {query}\n"
-            f"7. כוללת מספרים מדויקים מהנתונים (כמה משתמשים, אחוזים, ממוצעים, וכו')\n"
-            f"8. מראה הבנה של דפוסים ונושאים מרכזיים - לא רק דוגמאות בודדות\n"
-            f"9. תשובה קוהרנטית ומקצועית - ניתוח מעמיק, לא רק חיבור של משובים\n"
-            f"10. כוללת תובנות עסקיות מעמיקות והמלצות מעשיות\n"
-            f"11. הגיונית, לוגית, וקשורה לשאלה - לא שטויות או גיבוב מילים\n"
-            f"12. כתובה בעברית מקצועית וקולחת\n\n"
+            f"6. מבוססת אך ורק על הנתונים הסטטיסטיים הבאי��:\n{aggregates_str}\n"
+            f"7. עונה ישירות על השאלה: {query}\n"
+            f"8. כוללת מספרים מדויקים מהנתונים (כמה משתמשים, אחוזים, ממוצעים, וכו')\n"
+            f"9. מראה הבנה של דפוסים ונושאים מרכזיים - לא רק דוגמאות בודדות\n"
+            f"10. תשובה קוהרנטית ומקצועית - ניתוח מעמיק, לא רק חיבור של משובים\n"
+            f"11. כוללת תובנות עסקיות מעמיקות והמלצות מעשיות\n"
+            f"12. הגיונית, לוגית, וקשורה לשאלה - לא שטויות או גיבוב מילים\n"
+            f"13. כתובה בעברית מקצועית וקולחת\n\n"
             f"התשובה המקורית (לא מספקת - אל תשתמש בה, רק כתוב תשובה חדשה):\n{original_response}\n\n"
             f"אנא כתוב תשובה חדשה ומתוקנת שעומדת בכל הדרישות לעיל - תשובה קוהרנטית ומקיפה בפסקאות מלאות שמראה הבנה של כל הנתונים:"
         )
@@ -325,7 +326,7 @@ class RAGService:
         # If fix failed, return original with note
         return f"{original_response}\n\n[הערה: התשובה עשויה להיות לא מלאה. אנא נסה שאילתה יותר ספציפית.]"
 
-    def synthesize(self, query: str, results: List[SearchResult], contexts: List[str], max_contexts: int = 300, level_filter: Optional[tuple] = None) -> Optional[str]:
+    def synthesize(self, query: str, results: List[SearchResult], contexts: List[str], max_contexts: int = 100, level_filter: Optional[tuple] = None) -> Optional[str]:
         """Produce a free-form, analyst-style answer that synthesizes the retrieved contexts.
 
         This method asks the LLM to act as an experienced data analyst for digital business
@@ -429,7 +430,7 @@ class RAGService:
             "1. תשובותיך מבוססות רק על הנתונים שסופקו - אל תמציא\n"
             "2. תן תשובה קוהרנטית ומקיפה שמראה הבנה של כל הנתונים\n"
             "3. כל מספר חייב להיות מדויק מהנתונים\n"
-            "4. תשובה מפורטת (5-7 פסקאות, 400-500 מילים)\n"
+            "4. תשובה מפורטת מאוד וארוכה (7-10 פסקאות, 600-800 מילים לפחות)\n"
             "\n"
             "איך לנתח:\n"
             "- השתמש בסטטיסטיקות להבנת התמונה הגדולה\n"
@@ -437,25 +438,29 @@ class RAGService:
             "- תמיד נתח שני צדדים: מרוצים (דירוג 4-5) ולא מרוצים (דירוג 1-2)\n"
             "- השווה בין קבוצות משתמשים ושירותים\n"
             "- השתמש בדוגמאות קונקרטיות להמחשה\n"
+            "- תן ניתוח מעמיק ומפורט - אל תחסך במילים\n"
             "\n"
             "פורמט תשובה:\n"
             "- תשובה קוהרנטית בפסקאות מלאות (לא רשימת נקודות)\n"
-            "- כל פסקה 3-4 משפטים ארוכים\n"
+            "- כל פסקה 4-6 משפטים ארוכים ומפורטים\n"
             "- כששואלים על רגשות: התחל בסיכום כללי, המשך בניתוח מרוצים, המשך בניתוח לא מרוצים, סיים בהמלצות\n"
-            "- כלול מספרים מדויקים ודוגמאות קונקרטיות\n"
+            "- כלול מספרים מדויקים ודוגמאות קונקרטיות רבות\n"
             "- כתוב בצורה טבעית וקולחת - כאילו אתה מסביר למנהל\n"
+            "- תן תשובה ארוכה ומקיפה - לפחות 600-800 מילים, 7-10 פסקאות\n"
+            "- הרחב על כל נקודה - תן הסברים מפורטים, דוגמאות מרובות, והשוואות מעמיקות\n"
             "\n"
             "בדיקה אחרונה לפני שליחת התשובה - חובה לבדוק:\n"
-            "1. האם התשובה ארוכה ומקיפה מספיק (לפחות 400-500 מילים)?\n"
+            "1. האם התשובה ארוכה ומקיפה מספיק (לפחות 600-800 מילים, 7-10 פסקאות)?\n"
             "2. האם התשובה קוהרנטית ומראה הבנה של כל הנתונים (לא רק רשימת משובים)?\n"
             "3. אם השאלה מתייחסת לרגשות/תחושות/דעות - האם התשובה כוללת ניתוח של שני הצדדים (מרוצים ולא מרוצים)?\n"
             "4. האם התשובה מראה הבנה עסקית מעמיקה (משמעות, השפעה, המלצות)?\n"
-            "5. האם כל המספרים מדויקים מהנתונים?\n"
-            "6. האם כל השירותים קיימים בנתונים?\n"
-            "7. האם התשובה הגיונית ולוגית (לא ש��ויות)?\n"
-            "8. האם התשובה קשורה לשאלה שנשאלה?\n"
-            "9. האם התשובה מפורטת ומקצועית?\n"
-            "10. האם התשובה כוללת תובנות עסקיות והמלצות מעשיות?\n"
+            "5. האם הרחבת על כל נקודה עם הסברים מפורטים ודוגמאות מרובות?\n"
+            "6. האם כל המספרים מדויקים מהנתונים?\n"
+            "7. האם כל השירותים קיימים בנתונים?\n"
+            "8. האם התשובה הגיונית ולוגית (לא שטויות)?\n"
+            "9. האם התשובה קשורה לשאלה שנשאלה?\n"
+            "10. האם התשובה מפורטת ומקצועית?\n"
+            "11. האם התשובה כוללת תובנות עסקיות והמלצות מעשיות?\n"
             "\n"
             "אם התשובה לא עומדת בכל הקריטריונים לעיל, כתוב תשובה חדשה שעומדת בכל הקריטריונים.\n"
         )
@@ -607,7 +612,7 @@ class RAGService:
                     f"   - ציין שירותים ספציפיים מהניתוח\n"
                     f"   - השתמש בדוגמאות הקונקרטיות מהמשובים - צטט או תאר משובים ספציפיים\n"
                     f"   - כתוב בעברית מקצועית וקולחת\n"
-                    f"   - תן תשובה מפורטת ומקיפה (לפחות 500-700 מילים בסך הכל)\n"
+                    f"   - תן תשובה מפורטת מאוד ומקיפה (לפחות 700-900 מילים בסך הכל, 8-12 פסקאות)\n"
                     f"   - כל נושא צריך לקבל טיפול שווה ומפורט\n"
                 )
             except Exception as e:
@@ -729,7 +734,7 @@ class RAGService:
                     f"   - ציין שירותים ספציפיים מהניתוח\n"
                     f"   - השתמש בדוגמאות הקונקרטיות מהמשובים - צטט או תאר משובים ספציפיים\n"
                     f"   - כתוב בעברית מקצועית וקולחת\n"
-                    f"   - תן תשובה מפורטת ומקיפה (לפחות 400-500 מילים)\n"
+                    f"   - תן תשובה מפורטת מאוד ומקיפה (לפחות 600-800 מילים, 7-10 פסקאות)\n"
                     f"   - התמקד בנושא המרכזי/הדומיננטי ביותר, לא בכל הנושאים\n"
                 )
             except Exception as e:
@@ -781,7 +786,7 @@ class RAGService:
                 f"  * סיים עם סיכום והמלצות\n"
                 f"- השווה בין קבוצות משתמשים (מרוצים vs לא מרוצים) ושירותים שונים - מה המשמעות?\n"
                 f"- ציין שירותים ספציפיים ומספרים מדויקים מהנתונים\n"
-                f"- תן תשובה מפורטת (5-7 פסקאות, לפחות 400-500 מילים) המנתחת את הנתונים לעומק\n"
+                f"- תן תשובה מפורטת מאוד (7-10 פסקאות, לפחות 600-800 מילים) המנתחת את הנתונים לעומק\n"
                 f"- כלול תובנות עסקיות מעמיקות: מה המשמעות של הממצאים? מה ההשפעה על השירות?\n"
                 f"- כלול המלצות מעשיות וקונקרטיות - מה צריך לעשות?\n"
                 f"- כתוב בעברית מקצועית וקולחת - כאילו אתה אנליסט שמסביר את הממצאים למנהל\n"
@@ -796,10 +801,10 @@ class RAGService:
                 # Use generation config for longer, more detailed and creative responses
                 # Higher temperature for more creative, comprehensive analysis that covers both sides
                 generation_config = {
-                    "temperature": 0.85,  # Higher temperature for more creative and comprehensive responses
+                    "temperature": 0.9,  # Higher temperature for more creative and comprehensive responses
                     "top_p": 0.95,
                     "top_k": 40,
-                    "max_output_tokens": 4000,  # Increased for longer, more comprehensive responses
+                    "max_output_tokens": 5000,  # Increased for longer, more comprehensive responses
                 }
                 resp = model.generate_content(prompt, generation_config=generation_config)
                 text = getattr(resp, "text", None)
@@ -818,8 +823,8 @@ class RAGService:
                 resp = client.chat.completions.create(
                     model="gpt-4o-mini",
                     messages=[{"role": "user", "content": prompt}],
-                    temperature=0.85,  # Higher temperature for more creative and comprehensive responses
-                    max_tokens=3000,  # Increased for longer, more comprehensive responses
+                    temperature=0.9,  # Higher temperature for more creative and comprehensive responses
+                    max_tokens=4000,  # Increased for longer, more comprehensive responses
                 )
                 response_text = resp.choices[0].message.content
                 if response_text:
@@ -866,7 +871,7 @@ class RAGService:
         
         # Use a very large retrieval to get comprehensive understanding of the data
         # This ensures the model sees a broad representation of all feedback
-        adjusted_k = max(top_k, 300)  # Increased from 40 to 300 for comprehensive analysis
+        adjusted_k = max(top_k, 100)  # Use 100 records for comprehensive RAG-based analysis
         results = self.retrieve(query, top_k=adjusted_k, level_filter=level_filter)
         contexts = [r.row[settings.text_column] for r in results]
         # Use comprehensive synthesis that analyzes the full dataset, not just retrieved items

app/static/app.js

@@ -60,7 +60,7 @@ async function sendQuery() {
     return;
   }
   
-  const body = { query: q, top_k: 300 }; // Use large top_k for comprehensive analysis
+  const body = { query: q, top_k: 100 }; // Use 100 records for comprehensive RAG-based analysis
   
   // Show loading state
   const sendBtn = document.getElementById('send');