Improve infill prompt and add fallback for non-JSON model outputs

app/domains/cars/prompts.py

@@ -34,8 +34,7 @@ Na podstawie poniższych danych, utwórz krótki, atrakcyjny opis marketingowy t
 def create_infill_prompt(text_with_gaps: str, options: InfillOptions) -> list[dict]:
     """
     Creates the chat prompt for gap-filling in car ads.
-    
-    The LLM must return strict JSON with filled text and per-gap choices.
+    Uses function-call format to force structured JSON output.
     
     Args:
         text_with_gaps: Ad text with [GAP:n] markers
@@ -47,41 +46,26 @@ def create_infill_prompt(text_with_gaps: str, options: InfillOptions) -> list[di
     lang_instruction = "po polsku" if options.language == "pl" else "in English"
     
     system_content = f"""Jesteś ekspertem od uzupełniania tekstów ogłoszeń samochodowych.
+Zawsze odpowiadasz TYLKO prawidłowym JSON-em, bez żadnych innych tekstów."""
 
-ZADANIE:
-Uzupełnij WSZYSTKIE luki oznaczone jako [GAP:n] naturalnymi słowami {lang_instruction}.
-Każda luka powinna być uzupełniona słowem lub krótką frazą (1-4 słowa).
+    # More direct instruction with explicit filling examples
+    user_content = f"""ZADANIE: Uzupełnij luki w ogłoszeniu samochodowym {lang_instruction}.
 
-ZASADY:
-1. WAŻNE: Rzeczywiście uzupełnij luki - nie zwracaj tekstu z [GAP:n] w filled_text!
-2. Uzupełnienia muszą pasować kontekstowo I gramatycznie
-3. Używaj słownictwa typowego dla ogłoszeń motoryzacyjnych
-4. Dla każdej luki podaj {options.top_n_per_gap} alternatywne propozycje
+TEKST:
+{text_with_gaps}
 
-GRAMATYKA POLSKA - BARDZO WAŻNE:
-- Uzupełnienia MUSZĄ być w odpowiednim przypadku gramatycznym (deklinacja)!
-- "w kolorze [GAP:1]" → uzupełnij MIEJSCOWNIKIEM (np. "czarnym", "srebrnym")
-- "z silnikiem [GAP:2]" → uzupełnij NARZĘDNIKIEM (np. "benzynowym", "dieselowym")
-- "ma [GAP:3] przebieg" → uzupełnij BIERNIKIEM (np. "mały", "duży")
+INSTRUKCJE:
+1. Zastąp KAŻDY [GAP:n] rzeczywistym słowem/frazą (nie zostawiaj [GAP:n] w tekście!)
+2. Pamiętaj o polskiej gramatyce (deklinacja)
+3. Dla każdej luki podaj {options.top_n_per_gap} alternatywne słowa
 
-PRZYKŁAD:
-Input: "Mam [GAP:1] Mercedes w kolorze [GAP:2]."
-Output: 
+ODPOWIEDŹ - TYLKO JSON:
 {{
-    "filled_text": "Mam wspaniały Mercedes w kolorze czarnym.",
+    "filled_text": "tekst z uzupełnionymi lukami (BEZ [GAP:n])",
     "gaps": [
-        {{"index": 1, "marker": "[GAP:1]", "choice": "wspaniały", "alternatives": ["piękny", "zadbany"]}},
-        {{"index": 2, "marker": "[GAP:2]", "choice": "czarnym", "alternatives": ["srebrnym", "białym"]}}
+        {{"index": 1, "choice": "słowo1", "alternatives": ["alt1", "alt2"]}}
     ]
-}}
-
-WYMAGANY FORMAT ODPOWIEDZI - TYLKO JSON, BEZ KOMENTARZY!"""
-
-    user_content = f"""Uzupełnij luki w poniższym ogłoszeniu samochodowym:
-
-{text_with_gaps}
-
-Zwróć TYLKO JSON bez żadnych dodatkowych tekstów. Uzupełnij ALL gaps, w filled_text nie powinno być [GAP:n]!"""
+}}"""
 
     return [
         {"role": "system", "content": system_content},

app/main.py

@@ -422,7 +422,36 @@ async def process_infill_item(
         parsed = parse_infill_json(raw_output)
         
         if not parsed:
-            # JSON parsing failed
+            # JSON parsing failed - try to extract fills from the raw output
+            # Model might have filled the text without JSON wrapper
+            print(f"[INFILL] JSON parsing failed, attempting fallback extraction")
+            print(f"[INFILL] Raw output: {raw_output[:300]}")
+            
+            # If raw output contains the text with gaps filled (no [GAP:n]), 
+            # it might be a valid response without JSON
+            if "[GAP:" not in raw_output:
+                # Model filled the gaps! Extract by comparing with original
+                filled_text = raw_output.strip()
+                
+                # Try to build gaps list from what we know
+                gap_fills = []
+                for i, gap in enumerate(gaps, 1):
+                    gap_fills.append(GapFill(
+                        index=i,
+                        marker=gap.marker,
+                        choice="(model filled)",
+                        alternatives=[]
+                    ))
+                
+                return InfillResult(
+                    id=item.id,
+                    status="ok",
+                    filled_text=filled_text,
+                    gaps=gap_fills,
+                    error=None
+                )
+            
+            # Otherwise it's a real error
             return InfillResult(
                 id=item.id,
                 status="error",