Upload ai_patch.py with huggingface_hub

ai_patch.py

@@ -22,7 +22,9 @@ except Exception:
 
 def _clean(s):
     s = html_lib.unescape(s or "")
-    s = re.sub(r"[ \t]+", " ", s)
+    # Remove HTML tags like <a href=...>, <img src=...>
+    s = re.sub(r'<[^>]+>', '', s)
+    s = re.sub(r"\s+", " ", s)
     s = re.sub(r"\n{3,}", "\n\n", s)
     return s.strip()
 
@@ -64,6 +66,11 @@ def _postprocess_ai_text(text, max_units=20):
     text = _clean(text)
     if not text:
         return text
+    # Remove any remaining HTML artifacts like <a href='...'>, <img src=...> even if partially corrupted
+    text = re.sub(r'<a\s+[^>]*>', '', text, flags=re.I)
+    text = re.sub(r'<img\s+[^>]*>', '', text, flags=re.I)
+    text = re.sub(r'</a>', '', text, flags=re.I)
+    text = re.sub(r'<[^>]+>', '', text)  # Any remaining HTML tags
     drop_prefixes = (
         "dưới đây", "sau đây", "bài viết", "tôi sẽ", "mình sẽ",
         "tóm tắt bài", "tiêu đề:", "sapo:", "nội dung:", "kết luận:"