Spaces:
Running
Running
FIX: Remove malformed HTML artifacts <a href=" src=" from auto scheduled posts
Browse files- auto_scheduler.py +7 -1
auto_scheduler.py
CHANGED
|
@@ -42,7 +42,13 @@ def _save_state(state):
|
|
| 42 |
|
| 43 |
_STOP = set('và của các những một được trong với cho tại sau trước khi không người việt nam hôm nay mới nhất nóng tin tức cập nhật theo từ đến là có thì này đã để'.split())
|
| 44 |
|
| 45 |
-
def _clean(s):
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 46 |
|
| 47 |
def _get_hot_topics():
|
| 48 |
freq = {}; display = {}
|
|
|
|
| 42 |
|
| 43 |
_STOP = set('và của các những một được trong với cho tại sau trước khi không người việt nam hôm nay mới nhất nóng tin tức cập nhật theo từ đến là có thì này đã để'.split())
|
| 44 |
|
| 45 |
+
def _clean(s):
|
| 46 |
+
s = str(s or "")
|
| 47 |
+
# FIX: Remove malformed HTML artifacts (truncated tags without closing >)
|
| 48 |
+
s = s.replace('<a href=" src="', '').replace("<a href=' src='", '')
|
| 49 |
+
s = s.replace('<a href=" src=', '').replace("<a href=' src=", '')
|
| 50 |
+
s = re.sub(r'<[^>]+>', '', s) # Remove all HTML tags
|
| 51 |
+
return re.sub(r"\s+", " ", s).strip()
|
| 52 |
|
| 53 |
def _get_hot_topics():
|
| 54 |
freq = {}; display = {}
|