תיקון ממוקד: schema מדויק, שאילתות זמן עם שדות מחושבים, prompt קצר ומדויק, תיקון שמירת היסטוריה עם NaN handling

app/api.py

@@ -52,14 +52,30 @@ def save_history() -> None:
     global history
     try:
         # Ensure we're saving the current history
+        # Use default=str to handle any non-serializable types
         with history_file.open("w", encoding="utf-8") as f:
-            json.dump(history, f, ensure_ascii=False, indent=2)
+            json.dump(history, f, ensure_ascii=False, indent=2, default=str)
         print(f"History saved successfully to {history_file.absolute()}: {len(history)} entries", flush=True)
     except Exception as e:
         # Log error but don't break main flow
         import traceback
-        print(f"Warning: Could not save history to {history_file}: {e}", flush=True)
+        print(f"CRITICAL ERROR: Could not save history to {history_file}: {e}", flush=True)
         traceback.print_exc()
+        # Try to save a simplified version
+        try:
+            simplified_history = []
+            for entry in history:
+                simplified_entry = {
+                    "query": entry.get("query", ""),
+                    "summary": entry.get("response", {}).get("summary", ""),
+                    "timestamp": entry.get("timestamp", "")
+                }
+                simplified_history.append(simplified_entry)
+            with history_file.open("w", encoding="utf-8") as f:
+                json.dump(simplified_history, f, ensure_ascii=False, indent=2)
+            print(f"Saved simplified history: {len(simplified_history)} entries", flush=True)
+        except Exception as e2:
+            print(f"Failed to save even simplified history: {e2}", flush=True)
 
 
 class QueryRequest(BaseModel):
@@ -146,12 +162,18 @@ def query_sql(req: QueryRequest) -> SQLQueryResponse:
             Convert numpy types to native Python types for JSON serialization.
             
             FastAPI/Pydantic can't serialize numpy types directly, so we need
-            to convert them. This function handles integers, floats, and arrays.
+            to convert them. This function handles integers, floats, arrays, and NaN.
             """
             import numpy as np
+            import math
+            # Handle NaN and None
+            if val is None or (isinstance(val, float) and math.isnan(val)):
+                return None
             if isinstance(val, (np.integer, np.int64, np.int32)):
                 return int(val)
             elif isinstance(val, (np.floating, np.float64, np.float32)):
+                if math.isnan(val):
+                    return None
                 return float(val)
             elif isinstance(val, np.ndarray):
                 return val.tolist()
@@ -176,27 +198,28 @@ def query_sql(req: QueryRequest) -> SQLQueryResponse:
         # Save to history - ensure it's always saved BEFORE returning response
         # Use the already-converted query_results (which are JSON-serializable)
         global history
-        history_entry = {
-            "query": result.user_query, 
-            "response": {
-                "summary": result.summary,
-                "sql_queries": result.sql_queries,
-                "query_results": query_results,  # Already converted to JSON-serializable format above
-                "visualizations": result.visualizations
-            },
-            "timestamp": __import__("datetime").datetime.now().isoformat()
-        }
-        history.append(history_entry)
-        print(f"History entry added to memory: {len(history)} entries. Query: {result.user_query[:50]}...", flush=True)
-        
-        # Save to disk immediately
         try:
+            history_entry = {
+                "query": result.user_query, 
+                "response": {
+                    "summary": result.summary,
+                    "sql_queries": result.sql_queries,
+                    "query_results": query_results,  # Already converted to JSON-serializable format above
+                    "visualizations": result.visualizations
+                },
+                "timestamp": __import__("datetime").datetime.now().isoformat()
+            }
+            history.append(history_entry)
+            print(f"History entry added to memory: {len(history)} entries. Query: {result.user_query[:50]}...", flush=True)
+            
+            # Save to disk immediately - use force save
             save_history()
             print(f"History saved to disk: {history_file.absolute()}", flush=True)
         except Exception as e:
-            print(f"Error saving history to disk: {e}", flush=True)
+            print(f"CRITICAL: Error saving history: {e}", flush=True)
             import traceback
             traceback.print_exc()
+            # Don't fail the request, but log the error
         
         response = SQLQueryResponse(
             query=result.user_query,

app/sql_service.py

@@ -152,37 +152,43 @@ class SQLFeedbackService:
                 # If date parsing fails, still include the column info
                 date_info = "\n- CreationDate: תאריך וזמן הזנת הפידבק (תאריך/זמן)"
             
-            # Add info about date/time columns if they exist
+            # Add info about date/time columns if they exist - these are PRE-CALCULATED and always available
             date_columns = ['יום_בחודש', 'יום_בשבוע', 'שנה', 'חודש', 'שעה', 'יום_לילה']
             existing_date_columns = [col for col in date_columns if col in self.df.columns]
             if existing_date_columns:
-                date_columns_info = "\n\nשדות תאריך/זמן נוספים (מחושבים מ-CreationDate):"
+                date_columns_info = "\n\n⚠️ שדות תאריך/זמן מחושבים (כבר מולאו בנתונים - לא צריך לחשב!):"
                 if 'יום_בחודש' in existing_date_columns:
-                    date_columns_info += "\n- יום_בחודש: יום בחודש (1-31, מספר שלם)"
+                    date_columns_info += "\n- יום_בחודש: יום בחודש (1-31, מספר שלם) - מוכן לשימוש!"
                 if 'יום_בשבוע' in existing_date_columns:
-                    date_columns_info += "\n- יום_בשבוע: יום בשבוע (טקסט: Monday, Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday)"
+                    date_columns_info += "\n- יום_בשבוע: יום בשבוע (טקסט: Monday, Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday) - מוכן לשימוש!"
                 if 'שנה' in existing_date_columns:
-                    date_columns_info += "\n- שנה: שנה (מספר שלם, למשל 2020)"
+                    # Get actual year range from data
+                    try:
+                        year_min = int(self.df['שנה'].min())
+                        year_max = int(self.df['שנה'].max())
+                        date_columns_info += f"\n- שנה: שנה (מספר שלם, טווח: {year_min}-{year_max}) - מוכן לשימוש!"
+                    except:
+                        date_columns_info += "\n- שנה: שנה (מספר שלם, למשל 2020) - מוכן לשימוש!"
                 if 'חודש' in existing_date_columns:
-                    date_columns_info += "\n- חודש: חודש (1-12, מספר שלם, 1=ינואר, 12=דצמבר)"
+                    date_columns_info += "\n- חודש: חודש (1-12, מספר שלם, 1=ינואר, 12=דצמבר) - מוכן לשימוש!"
                 if 'שעה' in existing_date_columns:
-                    date_columns_info += "\n- שעה: שעה ביום (0-23, מספר שלם, 0=חצות, 23=23:00)"
+                    date_columns_info += "\n- שעה: שעה ביום (0-23, מספר שלם, 0=חצות, 23=23:00) - מוכן לשימוש!"
                 if 'יום_לילה' in existing_date_columns:
-                    date_columns_info += "\n- יום_לילה: האם זה יום או לילה (טקסט: 'יום' או 'לילה', יום=6:00-18:00, לילה=18:00-6:00)"
+                    date_columns_info += "\n- יום_לילה: האם זה יום או לילה (טקסט: 'יום' או 'לילה', יום=6:00-18:00, לילה=18:00-6:00) - מוכן לשימוש!"
         
-        # Build complete schema with all columns
-        all_columns_info = "- ID: מזהה ייחודי של כל משוב (מספר שלם)\n"
-        all_columns_info += "- ServiceName: שם השירות הדיגיטלי (טקסט)\n"
-        all_columns_info += "- Level: הציון שהמשתמש נתן לשירות (מספר שלם מ-1 עד 5, כאשר 1=גרוע, 5=מעולה)\n"
-        all_columns_info += "- Text: הטקסט החופשי שהמשתמש הזין כחלק מהפידבק (טקסט)\n"
+        # Build complete schema with all columns - be very specific about types and meanings
+        all_columns_info = "- ID: מזהה ייחודי של כל משוב (UUID/טקסט, למשל: 71BE94CF-A408-47EC-9443-CA2385B6BFCF)\n"
+        all_columns_info += "- ServiceName: שם השירות הדיגיטלי (טקסט, למשל: 1050_NifAvoda@btl.gov.il)\n"
+        all_columns_info += "- Level: הציון שהמשתמש נתן לשירות (מספר שלם מ-1 עד 5, כאשר 1=גרוע מאוד, 5=מעולה)\n"
+        all_columns_info += "- Text: הטקסט החופשי שהמשתמש הזין כחלק מהפידבק (טקסט, יכול להיות ארוך)\n"
         
         # Add optional columns if they exist
         if 'ReferenceNumber' in self.df.columns:
-            all_columns_info += "- ReferenceNumber: מספר הפניה של המשוב (טקסט, יכול להיות NULL)\n"
+            all_columns_info += "- ReferenceNumber: מספר הפניה של המשוב (מספר שלם, יכול להיות NULL)\n"
         if 'RequestID' in self.df.columns:
-            all_columns_info += "- RequestID: מזהה בקשה (טקסט, יכול להיות NULL)\n"
+            all_columns_info += "- RequestID: מזהה בקשה (UUID/טקסט, יכול להיות NULL)\n"
         if 'ProcessID' in self.df.columns:
-            all_columns_info += "- ProcessID: מזהה תהליך (טקסט, יכול להיות NULL)\n"
+            all_columns_info += "- ProcessID: מזהה תהליך (UUID/טקסט, יכול להיות NULL)\n"
         
         all_columns_info += date_info
         
@@ -299,12 +305,15 @@ class SQLFeedbackService:
        5. Text הוא הטקסט החופשי של המשוב
        6. CreationDate הוא תאריך וזמן בפורמט ISO (YYYY-MM-DD HH:MM:SS) - ניתן להשתמש בו לשאילתות על תאריכים, תקופות זמן, מגמות לאורך זמן
        7. ⚠️ שאילתות מבוססות זמן - חשוב מאוד:
-          - CreationDate הוא TEXT ב-SQLite, לא DATE - צריך להשתמש ב-strftime() או DATE() לפורמט
-          - דוגמה לשאילתה לפי שנה: SELECT שנה, COUNT(*) FROM Feedback_transformed GROUP BY שנה
-          - דוגמה לשאילתה לפי חודש: SELECT חודש, COUNT(*) FROM Feedback_transformed GROUP BY חודש
-          - דוגמה לשאילתה לפי יום בשבוע: SELECT יום_בשבוע, COUNT(*) FROM Feedback_transformed GROUP BY יום_בשבוע
-          - דוגמה לשאילתה לפי CreationDate (טווח תאריכים): SELECT DATE(CreationDate) as date, COUNT(*) FROM Feedback_transformed WHERE CreationDate >= '2024-01-01' GROUP BY DATE(CreationDate)
-          - עדיף להשתמש בשדות המחושבים (שנה, חודש, יום_בשבוע, שעה) במקום CreationDate לשאילתות פשוטות
+          - השדות שנה, חודש, יום_בשבוע, שעה, יום_לילה כבר מחושבים ומולאו בנתונים - אין צורך לחשב אותם!
+          - תמיד השתמש בשדות המחושבים האלה - הם מהירים ומדויקים
+          - דוגמה לשאילתה לפי שנה: SELECT שנה, COUNT(*) as count FROM Feedback_transformed GROUP BY שנה ORDER BY שנה
+          - דוגמה לשאילתה לפי חודש: SELECT חודש, COUNT(*) as count FROM Feedback_transformed GROUP BY חודש ORDER BY חודש
+          - דוגמה לשאילתה לפי יום בשבוע: SELECT יום_בשבוע, COUNT(*) as count FROM Feedback_transformed GROUP BY יום_בשבוע
+          - דוגמה לשאילתה לפי שעה: SELECT שעה, COUNT(*) as count FROM Feedback_transformed GROUP BY שעה ORDER BY שעה
+          - דוגמה לשאילתה לפי יום/לילה: SELECT יום_לילה, COUNT(*) as count FROM Feedback_transformed GROUP BY יום_לילה
+          - דוגמה לשאילתה משולבת (שנה וחודש): SELECT שנה, חודש, COUNT(*) as count FROM Feedback_transformed GROUP BY שנה, חודש ORDER BY שנה, חודש
+          - CreationDate הוא TEXT - רק אם צריך טווח תאריכים ספציפי, אחרת תמיד השתמש בשדות המחושבים!
        8. שדות תאריך/זמן נוספים (אם קיימים): יום_בחודש, יום_בשבוע, שנה, חודש, שעה, יום_לילה - ניתן להשתמש בהם ישירות לשאילתות על תאריכים, שעות, ימים בשבוע, חודשים, וכו'
        9. כל שאילתה צריכה להיות תקפה SQLite
        10. השתמש בפונקציות SQL סטנדרטיות: COUNT, AVG, GROUP BY, WHERE, LIKE, DATE(), strftime(), etc.
@@ -613,35 +622,30 @@ class SQLFeedbackService:
                     results_text += qr.result.to_string(index=False)
                     results_text += "\n\n"
         
-        prompt = f"""אתה אנליסט נתונים מקצועי. המשתמש שאל שאלה על משובי משתמשים.
+        prompt = f"""אתה אנליסט נתונים. המשתמש שאל שאלה על משובי משתמשים.
 
 שאלת המשתמש: {query}
 
-כדי לענות על השאלה, נוצרו ובוצעו השאילתות הבאות:
-
+תוצאות השאילתות:
 {results_text}
 
-המשימה שלך: כתוב תשובה מדויקת, מסודרת וברורה שמבוססת ישירות על התוצאות.
+כתוב תשובה קצרה, מדויקת ומסודרת שמבוססת ישירות על התוצאות.
 
-⚠️ כללים חשובים לתשובה:
-1. תשובה מדויקת וממוקדת - ענה ישירות על השאלה שנשאלה
-2. תשובה מסודרת - השתמש בפסקאות קצרות וברורות
-3. כלול מספרים מדויקים מהתוצאות - צטט את הנתונים מהטבלאות
-4. הסבר קצר וממוקד - לא צריך להיות עמוק מדי, רק להסביר את הממצאים
-5. אם השאלה מבקשת סיווג/חלוקה - הצג את הנתונים לפי הקטגוריות הנדרשות
-6. כתוב בעברית ברורה ופשוטה - לא צריך מונחים מקצועיים מורכבים
+⚠️ כללים:
+1. ענה ישירות על השאלה - לא יותר, לא פחות
+2. השתמש במספרים המדויקים מהתוצאות
+3. פסקאות קצרות (2-3 משפטים כל אחת)
+4. אם יש סיווג - רשום כל קטגוריה עם המספר שלה
+5. עברית פשוטה וברורה
 
-מבנה התשובה:
-1. תשובה ישירה לשאלה (2-3 משפטים) - מה הממצאים העיקריים
-2. פירוט הנתונים (2-3 פסקאות קצרות):
-   - הצג את המספרים והנתונים מהתוצאות
-   - אם יש סיווג - הצג כל קטגוריה בנפרד
-   - הסבר קצר על המשמעות
-3. סיכום (1-2 משפטים) - המסקנה העיקרית
+מבנה:
+- פסקה ראשונה: תשובה ישירה לשאלה עם המספרים העיקריים
+- פסקאות נוספות: פירוט לפי הצורך (אם יש סיווג - כל קטגוריה בנפרד)
+- משפט סיכום: המסקנה העיקרית
 
-⚠️ חשוב: התשובה חייבת להיות ממוקדת, מדויקת ומסודרת. לא צריך להיות עמוק מדי או פילוסופי - רק להציג את הנתונים ולהסביר אותם בפשטות.
+⚠️ חשוב: תשובה קצרה ומדויקת. לא פילוסופיה, לא הסברים ארוכים - רק הנתונים והמסקנות.
 
-אם יש שגיאות בשאילתות, ציין זאת בתשובה."""
+אם יש שגיאות בשאילתות, ציין זאת בקצרה."""
 
         # Try Gemini first
         if settings.gemini_api_key and genai is not None:
@@ -676,25 +680,21 @@ class SQLFeedbackService:
 תוצאות השאילתות:
 {results_text}
 
-כתוב תשובה משופרת שמתמקדת ישירות בשאלה, מבוססת על הנתונים, ומסודרת.
-
-⚠️ כללים חשובים לתשובה:
-1. תשובה מדויקת וממוקדת - ענה ישירות על השאלה שנשאלה
-2. תשובה מסודרת - השתמש בפסקאות קצרות וברורות
-3. כלול מספרים מדויקים מהתוצאות - צטט את הנתונים מהטבלאות
-4. הסבר קצר וממוקד - לא צריך להיות עמוק מדי, רק להסביר את הממצאים
-5. אם השאלה מבקשת סיווג/חלוקה - הצג את הנתונים לפי הקטגוריות הנדרשות
-6. כתוב בעברית ברורה ופשוטה - לא צריך מונחים מקצועיים מורכבים
-
-מבנה התשובה:
-1. תשובה ישירה לשאלה (2-3 משפטים) - מה הממצאים העיקריים
-2. פירוט הנתונים (2-3 פסקאות קצרות):
-   - הצג את המספרים והנתונים מהתוצאות
-   - אם יש סיווג - הצג כל קטגוריה בנפרד
-   - הסבר קצר על המשמעות
-3. סיכום (1-2 משפטים) - המסקנה העיקרית
-
-⚠️ חשוב: התשובה חייבת להיות ממוקדת, מדויקת ומסודרת. לא צריך להיות עמוק מדי או פילוסופי - רק להציג את הנתונים ולהסביר אותם בפשטות."""
+כתוב תשובה משופרת - קצרה, מדויקת ומסודרת.
+
+⚠️ כללים:
+1. ענה ישירות על השאלה - לא יותר, לא פחות
+2. השתמש במספרים המדויקים מהתוצאות
+3. פסקאות קצרות (2-3 משפטים כל אחת)
+4. אם יש סיווג - רשום כל קטגוריה עם המספר שלה
+5. עברית פשוטה וברורה
+
+מבנה:
+- פסקה ראשונה: תשובה ישירה לשאלה עם המספרים העיקריים
+- פסקאות נוספות: פירוט לפי הצורך (אם יש סיווג - כל קטגוריה בנפרד)
+- משפט סיכום: המסקנה העיקרית
+
+⚠️ חשוב: תשובה קצרה ומדויקת. לא פילוסופיה, לא הסברים ארוכים - רק הנתונים והמסקנות."""
                         
                         try:
                             response = model.generate_content(improvement_prompt, generation_config=generation_config)
@@ -743,25 +743,21 @@ class SQLFeedbackService:
 תוצאות השאילתות:
 {results_text}
 
-כתוב תשובה משופרת שמתמקדת ישירות בשאלה, מבוססת על הנתונים, ומסודרת.
-
-⚠️ כללים חשובים לתשובה:
-1. תשובה מדויקת וממוקדת - ענה ישירות על השאלה שנשאלה
-2. תשובה מסודרת - השתמש בפסקאות קצרות וברורות
-3. כלול מספרים מדויקים מהתוצאות - צטט את הנתונים מהטבלאות
-4. הסבר קצר וממוקד - לא צריך להיות עמוק מדי, רק להסביר את הממצאים
-5. אם השאלה מבקשת סיווג/חלוקה - הצג את הנתונים לפי הקטגוריות הנדרשות
-6. כתוב בעברית ברורה ופשוטה - לא צריך מונחים מקצועיים מו��כבים
-
-מבנה התשובה:
-1. תשובה ישירה לשאלה (2-3 משפטים) - מה הממצאים העיקריים
-2. פירוט הנתונים (2-3 פסקאות קצרות):
-   - הצג את המספרים והנתונים מהתוצאות
-   - אם יש סיווג - הצג כל קטגוריה בנפרד
-   - הסבר קצר על המשמעות
-3. סיכום (1-2 משפטים) - המסקנה העיקרית
-
-⚠️ חשוב: התשובה חייבת להיות ממוקדת, מדויקת ומסודרת. לא צריך להיות עמוק מדי או פילוסופי - רק להציג את הנתונים ולהסביר אותם בפשטות."""
+כתוב תשובה משופרת - קצרה, מדויקת ומסודרת.
+
+⚠️ כללים:
+1. ענה ישירות על השאלה - לא יותר, לא פחות
+2. השתמש במספרים המדויקים מהתוצאות
+3. פסקאות קצרות (2-3 משפטים כל אחת)
+4. אם יש סיווג - רשום כל קטגוריה עם המספר שלה
+5. עברית פשוטה וברורה
+
+מבנה:
+- פסקה ראשונה: תשובה ישירה לשאלה עם המספרים העיקריים
+- פסקאות נוספות: פירוט לפי הצורך (אם יש סיווג - כל קטגוריה בנפרד)
+- משפט סיכום: המסקנה העיקרית
+
+⚠️ חשוב: תשובה קצרה ומדויקת. לא פילוסופיה, לא הסברים ארוכים - רק הנתונים והמסקנות."""
                         
                         try:
                             response = client.chat.completions.create(