Update normalize logic

app/services/enrichment/normalize.py

@@ -55,8 +55,7 @@ Nhiệm vụ:
 
 YÊU CẦU ĐẦU RA:
 - Chỉ trả về văn bản đã chuẩn hóa
-- KHÔNG JSON, KHÔNG giải thích, KHÔNG markdown
-- KHÔNG thêm lời dẫn, giải thích, nhận xét hay meta-text.
+- KHÔNG JSON, KHÔNG giải thích, KHÔNG markdown, KHÔNG bọc trong ``` hoặc bất kỳ ký tự đặc biệt nào, chỉ trả về plain text thuần túy.
 
 Văn bản đầu vào:
 \"\"\"{raw_text}\"\"\"
@@ -107,18 +106,42 @@ Văn bản đầu vào:
 
     try:
         raw = await loop.run_in_executor(None, call)
+        def is_valid_normalized(text: str, raw: str) -> bool:
+            if not text:
+                return False
+            if len(text) < 50:
+                return False
+            if text.strip() in {".", "…"}:
+                return False
+            # không quá ngắn so với raw
+            if len(text) < 0.3 * len(raw):
+                return False
+            return True
 
         if raw:
             text = raw.strip()
 
-            # defensive cleanup (trường hợp model vẫn lỡ trả markdown)
+            # remove markdown
             text = re.sub(r"^```.*?\n", "", text, flags=re.DOTALL)
             text = re.sub(r"```$", "", text)
+
+            # remove meta-text Gemini
+            text = re.sub(
+                r"^the corrected text.*?is as follows:\s*",
+                "",
+                text,
+                flags=re.IGNORECASE | re.DOTALL,
+            )
+
             text = text.strip('"').strip("'").strip()
 
-            if text:
+            if is_valid_normalized(text, raw_text):
                 return text
 
+            logging.warning(
+                "[normalize_service] Gemini returned invalid normalized text, falling back"
+            )
+
     except GoogleAPIError as e:
         logging.error(f"[normalize_service] Gemini API error: {e}")
     except Exception as e:
@@ -129,7 +152,10 @@ Văn bản đầu vào:
         text = raw_text.strip()
         text = re.sub(r"\s+", " ", text)
 
-        if text and text[-1] not in ".!?":
+        if not text or len(text) < 50:
+            return raw_text.strip()
+
+        if text[-1] not in ".!?":
             text += "."
 
         def cap_sentences(s: str) -> str: