bep40 commited on
Commit
6c3add6
·
verified ·
1 Parent(s): 30bf42a

FIX: Remove malformed HTML artifacts <a href=" src=" from auto scheduled posts

Browse files
Files changed (1) hide show
  1. auto_scheduler.py +7 -1
auto_scheduler.py CHANGED
@@ -42,7 +42,13 @@ def _save_state(state):
42
 
43
  _STOP = set('và của các những một được trong với cho tại sau trước khi không người việt nam hôm nay mới nhất nóng tin tức cập nhật theo từ đến là có thì này đã để'.split())
44
 
45
- def _clean(s): return re.sub(r"\s+", " ", str(s or "")).strip()
 
 
 
 
 
 
46
 
47
  def _get_hot_topics():
48
  freq = {}; display = {}
 
42
 
43
  _STOP = set('và của các những một được trong với cho tại sau trước khi không người việt nam hôm nay mới nhất nóng tin tức cập nhật theo từ đến là có thì này đã để'.split())
44
 
45
+ def _clean(s):
46
+ s = str(s or "")
47
+ # FIX: Remove malformed HTML artifacts (truncated tags without closing >)
48
+ s = s.replace('<a href=" src="', '').replace("<a href=' src='", '')
49
+ s = s.replace('<a href=" src=', '').replace("<a href=' src=", '')
50
+ s = re.sub(r'<[^>]+>', '', s) # Remove all HTML tags
51
+ return re.sub(r"\s+", " ", s).strip()
52
 
53
  def _get_hot_topics():
54
  freq = {}; display = {}