Upload auto_poster.py

auto_poster.py

@@ -0,0 +1,311 @@
+"""
+VNEWS Auto Poster — Tự động đăng bài rewrite và short lên Tường AI.
+
+Chạy nền trong runtime ai_patch:app. Mỗi ngày vào các khung giờ 7h, 13h, 19h:
+  1. Chọn một chủ đề nóng từ RSS báo Việt Nam.
+  2. Lấy bài nguồn, tóm tắt bằng AI (bài rewrite) và lưu lên Tường AI.
+  3. Tự động sinh video short (ffmpeg + edge-tts) cho bài vừa tạo.
+
+Tận dụng lại toàn bộ logic có sẵn trong ai_patch.py / ai_ext.py để đảm bảo
+định dạng bài và short giống hệt khi người dùng bấm thủ công.
+"""
+import os
+import re
+import time
+import json
+import html as html_lib
+import threading
+import asyncio
+import traceback
+
+import ai_ext as base
+import ai_patch
+
+from urllib.parse import quote_plus
+from bs4 import BeautifulSoup
+
+UA = {
+    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
+    "Accept-Language": "vi-VN,vi;q=0.9,en;q=0.8",
+}
+
+# Khung giờ đăng tự động (giờ địa phương của Space, múi UTC+0 trên HF Spaces).
+SCHEDULE_HOURS = [7, 13, 19]
+SCHEDULE_MINUTE = 5  # đăng lệch 5 phút để tránh chạm giờ làm tròn
+
+# RSS nóng từ các báo VN (dùng để chọn chủ đề).
+VN_HOT_RSS = [
+    ("VnExpress", "https://vnexpress.net/rss/tin-moi-nhat.rss"),
+    ("Dân trí", "https://dantri.com.vn/rss/home.rss"),
+    ("Vietnamnet", "https://vietnamnet.vn/rss/tin-moi-nhat.rss"),
+    ("Thanh Niên", "https://thanhnien.vn/rss/home.rss"),
+    ("Tuổi Trẻ", "https://tuoitre.vn/rss/tin-moi-nhat.rss"),
+    ("VnExpress Thời sự", "https://vnexpress.net/rss/thoi-su.rss"),
+    ("VnExpress Thế giới", "https://vnexpress.net/rss/the-gioi.rss"),
+    ("VnExpress Kinh doanh", "https://vnexpress.net/rss/kinh-doanh.rss"),
+    ("VnExpress Công nghệ", "https://vnexpress.net/rss/so-hoa.rss"),
+    ("VnExpress Thể thao", "https://vnexpress.net/rss/the-thao.rss"),
+]
+
+_STOP = set(
+    "và của các những một được trong với cho tại sau trước khi không người việt nam hôm nay mới nhất nóng tin tức cập nhật theo từ đến là có thì này đã để".split()
+)
+
+_lock = threading.Lock()
+_state = {
+    "running": False,
+    "thread": None,
+    "last_run": 0,          # epoch của lần chạy gần nhất
+    "last_slot": "",        # slot "YYYY-MM-DD-HH" đã chạy gần nhất
+    "runs": [],             # lịch sử 20 lần chạy gần nhất
+    "errors": [],           # lịch sử lỗi gần nhất
+}
+
+
+def _log(kind, msg, extra=None):
+    entry = {"ts": int(time.time()), "kind": kind, "msg": msg, "extra": extra}
+    with _lock:
+        if kind == "error":
+            _state["errors"].insert(0, entry)
+            _state["errors"] = _state["errors"][:20]
+        else:
+            _state["runs"].insert(0, entry)
+            _state["runs"] = _state["runs"][:20]
+    print(f"[auto_poster:{kind}] {msg}" + (f" :: {extra}" if extra else ""))
+
+
+# ============================================================
+# CHỌN CHỦ ĐỀ NÓNG
+# ============================================================
+def _clean(s):
+    return re.sub(r"\s+", " ", html_lib.unescape(str(s or ""))).strip()
+
+
+def _hot_candidates(limit=24):
+    """Trả về list chủ đề nóng dạng {'topic':..., 'label':...} từ RSS VN."""
+    freq = {}
+    display = {}
+    try:
+        for name, url in VN_HOT_RSS:
+            try:
+                r = base.requests.get(url, headers=UA, timeout=6)
+                r.encoding = "utf-8"
+                soup = BeautifulSoup(r.text, "xml")
+                for it in soup.find_all("item")[:12]:
+                    title = _clean(it.find("title").get_text(" ", strip=True) if it.find("title") else "")
+                    if not title:
+                        continue
+                    title = re.sub(r"\s*[-|].*$", "", title)
+                    words = [w for w in re.findall(r"[A-Za-zÀ-ỹ0-9]+", title)
+                             if len(w) > 2 and w.lower() not in _STOP]
+                    if len(words) < 2:
+                        continue
+                    for n in (3, 4, 2):
+                        for i in range(max(0, len(words) - n + 1)):
+                            phrase = " ".join(words[i:i + n])
+                            if 8 <= len(phrase) <= 50:
+                                key = phrase.lower()
+                                freq[key] = freq.get(key, 0) + 1
+                                display[key] = phrase
+            except Exception as e:
+                _log("warn", f"RSS {name} lỗi: {e}")
+    except Exception as e:
+        _log("error", "hot_candidates fail", str(e)[:200])
+    ranked = sorted(freq.items(), key=lambda x: x[1], reverse=True)
+    out = []
+    seen = set()
+    for key, _ in ranked:
+        if key in seen:
+            continue
+        seen.add(key)
+        out.append({"topic": display[key], "label": "#" + re.sub(r"\s+", "", display[key].title())})
+        if len(out) >= limit:
+            break
+    # Fallback chủ đề VN cố định nếu RSS trống.
+    for kw in ["World Cup 2026", "Kinh tế Việt Nam", "Bóng đá Việt Nam", "Công nghệ AI", "Giá vàng", "Thời tiết"]:
+        if len(out) >= 24:
+            break
+        if kw.lower() not in seen:
+            seen.add(kw.lower())
+            out.append({"topic": kw, "label": "#" + re.sub(r"\s+", "", kw.title())})
+    return out
+
+
+def pick_topic():
+    """Chọn một chủ đề chưa được tự động đăng gần đây."""
+    cands = _hot_candidates()
+    if not cands:
+        return "Tin tức Việt Nam hôm nay"
+    recent_titles = set()
+    with _lock:
+        for run in _state["runs"][:12]:
+            extra = run.get("extra") or {}
+            if extra.get("topic"):
+                recent_titles.add(extra["topic"].lower())
+    # Ưu tiên chủ đề chưa đăng gần đây.
+    for c in cands:
+        if c["topic"].lower() not in recent_titles:
+            return c["topic"]
+    return cands[0]["topic"]
+
+
+# ============================================================
+# TẠO BÀI REWRITE (tái sử dụng logic ai_patch)
+# ============================================================
+async def _create_rewrite_post(topic, limit=4):
+    """Tạo 1 bài rewrite từ chủ đề, trả về post dict (đã lưu wall)."""
+    articles = ai_patch._topic_source_articles(topic, limit=limit)
+    if not articles:
+        raise RuntimeError("Không lấy được bài nguồn cho chủ đề: " + topic)
+    art = articles[0]  # 1 bài/đợt để Tường AI không bị ngập
+    prompt = f"""Tóm tắt RIÊNG bài viết nguồn sau để đăng Tường AI.
+
+Chủ đề lọc: {topic}
+Tiêu đề bài nguồn: {art['title']}
+Nguồn: {art['via']}
+
+Yêu cầu bắt buộc:
+- Tóm tắt nội dung trong BÀI VIẾT này, không chỉ tiêu đề.
+- Không trộn với bài khác.
+- Không viết lại toàn bộ bài.
+- Không lặp ý.
+- 4-6 gạch đầu dòng, mỗi dòng 1 câu rõ ràng.
+- Giữ số liệu/nhân vật/thời điểm quan trọng nếu có.
+
+Nội dung bài:
+{art['raw'][:14000]}"""
+    text = await base.qwen_generate(prompt, image_url=art.get("image") or None, max_tokens=1500)
+    text = ai_patch._postprocess_ai_text(text, max_units=20)
+    src = [art["source"]]
+    if "Nguồn tham khảo:" not in text:
+        text += "\n\n" + ai_patch._source_line(src)
+    post = base.make_post(
+        art["title"],
+        text,
+        art.get("image") or base.pollinations_image_url(art["title"]),
+        art.get("url") or "",
+        "auto_rewrite",
+        sources=src,
+    )
+    # Slides để hiển thị sau reload.
+    try:
+        page_data = ai_patch._scrape_article_images(art.get("url", ""))
+        if page_data and page_data.get("paragraphs"):
+            key_points = ai_patch._extract_key_points_for_slides(page_data["paragraphs"], max_points=12)
+            if key_points:
+                relevant_imgs = page_data.get("images", []) or ([page_data["og_img"]] if page_data.get("og_img") else [])
+                slides = []
+                for i, point in enumerate(key_points):
+                    img = relevant_imgs[i] if i < len(relevant_imgs) else (relevant_imgs[-1] if relevant_imgs else "")
+                    slides.append({"text": point, "image": img, "index": i + 1})
+                post["slides"] = slides
+    except Exception:
+        pass
+    posts = base._load_ai_wall()
+    posts.insert(0, post)
+    base._save_ai_wall(posts)
+    return post
+
+
+# ============================================================
+# SINH SHORT (tái sử dụng logic video của ai_patch)
+# ============================================================
+def _make_short_for_post(post_id, voice="nu", emotion="neutral", speed=1.2):
+    """Sinh video short cho post (dùng lại hàm đã tách từ route /api/ai/short)."""
+    if hasattr(ai_patch, "_generate_short_for_post"):
+        return ai_patch._generate_short_for_post(post_id, voice=voice, emotion=emotion, speed=speed)
+    raise RuntimeError("thiếu ai_patch._generate_short_for_post")
+
+
+# ============================================================
+# MỘT CHU KỲ CHẠY
+# ============================================================
+def run_once(topic=None, with_short=True):
+    """Chạy 1 chu kỳ: tạo rewrite + (tùy chọn) sinh short. Trả về dict kết quả."""
+    started = time.time()
+    topic = topic or pick_topic()
+    try:
+        post = asyncio.run(_create_rewrite_post(topic, limit=4))
+        pid = str(post.get("id"))
+        out = {"topic": topic, "post_id": pid, "title": post.get("title"), "short": None}
+        if with_short and base.gTTS is not None:
+            try:
+                res = _make_short_for_post(pid, voice="nu", emotion="neutral", speed=1.2)
+                out["short"] = res.get("video") if isinstance(res, dict) else str(res)
+            except Exception as e:
+                _log("error", "short gen fail", f"{pid}: {e}")
+                out["short_error"] = str(e)[:200]
+        _log("run", f"Đã đăng tự động: {topic}", {"topic": topic, "post_id": pid, "short": bool(out.get("short"))})
+        with _lock:
+            _state["last_run"] = int(time.time())
+        return {"ok": True, **out}
+    except Exception as e:
+        _log("error", "run_once fail", f"{topic}: {e}\n{traceback.format_exc()[-600:]}")
+        with _lock:
+            _state["errors"].insert(0, {"ts": int(time.time()), "kind": "error", "msg": str(e)[:300]})
+            _state["errors"] = _state["errors"][:20]
+        return {"ok": False, "topic": topic, "error": str(e)[:300]}
+
+
+# ============================================================
+# SCHEDULER LOOP
+# ============================================================
+def _slot_key():
+    t = time.localtime()
+    return f"{t.tm_year:04d}-{t.tm_mon:02d}-{t.tm_mday:02d}-{t.tm_hour:02d}"
+
+
+def _should_fire():
+    t = time.localtime()
+    return t.tm_hour in SCHEDULE_HOURS and t.tm_min >= SCHEDULE_MINUTE
+
+
+def _loop():
+    _log("start", "Auto poster scheduler started", {"hours": SCHEDULE_HOURS})
+    last_slot = ""
+    while True:
+        try:
+            if _should_fire():
+                slot = _slot_key()
+                with _lock:
+                    fired = _state.get("last_slot") == slot
+                if not fired:
+                    try:
+                        run_once()
+                    except Exception as e:
+                        _log("error", "scheduler cycle failed", str(e)[:300])
+                    with _lock:
+                        _state["last_slot"] = slot
+            else:
+                # reset slot khi ra khỏi khung giờ để lần sau bắn lại
+                slot = _slot_key()
+                with _lock:
+                    if _state.get("last_slot") and _state["last_slot"] != slot:
+                        _state["last_slot"] = ""
+        except Exception as e:
+            _log("error", "loop error", str(e)[:200])
+        time.sleep(55)
+
+
+def start():
+    with _lock:
+        if _state["running"] and _state["thread"] and _state["thread"].is_alive():
+            return False
+        _state["running"] = True
+        _state["thread"] = threading.Thread(target=_loop, name="vnews-auto-poster", daemon=True)
+        _state["thread"].start()
+    _log("start", "Auto poster thread launched")
+    return True
+
+
+def status():
+    with _lock:
+        return {
+            "running": bool(_state["running"] and _state["thread"] and _state["thread"].is_alive()),
+            "schedule_hours": SCHEDULE_HOURS,
+            "schedule_minute": SCHEDULE_MINUTE,
+            "last_run": _state["last_run"],
+            "last_slot": _state["last_slot"],
+            "runs": _state["runs"][:10],
+            "errors": _state["errors"][:5],
+        }