Add AI wall topic/url Qwen2.5-VL extension

ai_ext.py

@@ -0,0 +1,258 @@
+import os, re, json, time, random, html as html_lib
+from urllib.parse import quote_plus
+from typing import Optional
+import requests
+from bs4 import BeautifulSoup
+from fastapi import Query, Request
+from fastapi.responses import HTMLResponse, JSONResponse
+
+from main import app
+
+try:
+    from huggingface_hub import AsyncInferenceClient
+except Exception:
+    AsyncInferenceClient = None
+
+HF_TOKEN = os.getenv("HF_TOKEN", "").strip()
+QWEN_VL_MODEL = os.getenv("QWEN_VL_MODEL", "Qwen/Qwen2.5-VL-7B-Instruct")
+WALL_FILE = "/data/ai_wall_posts.json" if os.path.isdir("/data") else "/app/ai_wall_posts.json"
+HEADERS = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36","Accept-Language":"vi-VN,vi;q=0.9,en;q=0.8"}
+
+def _load_ai_wall():
+    try:
+        if os.path.exists(WALL_FILE):
+            with open(WALL_FILE, "r", encoding="utf-8") as f:
+                return json.load(f)
+    except Exception:
+        pass
+    return []
+
+def _save_ai_wall(posts):
+    try:
+        os.makedirs(os.path.dirname(WALL_FILE), exist_ok=True)
+        tmp = WALL_FILE + ".tmp"
+        with open(tmp, "w", encoding="utf-8") as f:
+            json.dump(posts[:100], f, ensure_ascii=False)
+        os.replace(tmp, WALL_FILE)
+    except Exception:
+        pass
+
+def _clean_text(s: str) -> str:
+    s = html_lib.unescape(s or "")
+    return re.sub(r"\s+", " ", s).strip()
+
+def _best_content_block(soup):
+    best, best_score = None, 0
+    for el in soup.find_all(["article", "main", "section", "div"]):
+        ps = el.find_all("p")
+        txt = " ".join(p.get_text(" ", strip=True) for p in ps)
+        score = len(ps) * 100 + len(txt)
+        cls = " ".join(el.get("class", []))
+        if any(k in cls.lower() for k in ["content", "article", "detail", "body", "post", "entry"]):
+            score += 800
+        if score > best_score:
+            best, best_score = el, score
+    return best
+
+def scrape_any_url(url: str):
+    r = requests.get(url, headers=HEADERS, timeout=18)
+    r.encoding = "utf-8"
+    soup = BeautifulSoup(r.text, "lxml")
+    for tag in soup.find_all(["script", "style", "nav", "footer", "aside", "form", "noscript"]):
+        tag.decompose()
+    title = ""
+    if soup.find("h1"):
+        title = soup.find("h1").get_text(" ", strip=True)
+    if not title:
+        ogt = soup.find("meta", property="og:title") or soup.find("meta", attrs={"name":"title"})
+        title = ogt.get("content", "") if ogt else (soup.title.get_text(strip=True) if soup.title else "")
+    desc_tag = soup.find("meta", property="og:description") or soup.find("meta", attrs={"name":"description"})
+    summary = desc_tag.get("content", "") if desc_tag else ""
+    img_tag = soup.find("meta", property="og:image") or soup.find("meta", attrs={"name":"twitter:image"})
+    image = img_tag.get("content", "") if img_tag else ""
+    if image and image.startswith("//"):
+        image = "https:" + image
+    block = _best_content_block(soup) or soup
+    paras, images, seen_p, seen_i = [], [], set(), set()
+    for p in block.find_all("p"):
+        t = _clean_text(p.get_text(" ", strip=True))
+        if len(t) >= 40 and t not in seen_p:
+            seen_p.add(t); paras.append(t)
+        if len(paras) >= 35:
+            break
+    for im in block.find_all("img"):
+        src = im.get("data-src") or im.get("data-original") or im.get("src") or ""
+        if src.startswith("//"):
+            src = "https:" + src
+        if src and "base64" not in src and src not in seen_i:
+            seen_i.add(src); images.append(src)
+        if len(images) >= 8:
+            break
+    if not image and images:
+        image = images[0]
+    return {"url": url, "title": _clean_text(title), "summary": _clean_text(summary), "text": "\n".join(paras), "image": image, "images": images}
+
+def pollinations_image_url(topic: str, width=1024, height=576):
+    prompt = f"editorial illustration, topic: {topic}, modern clean cinematic news image, high quality, no text, no watermark"
+    return f"https://image.pollinations.ai/prompt/{quote_plus(prompt)}?width={width}&height={height}&seed={random.randint(1,999999)}&nologo=true&private=true"
+
+def web_context(topic: str, limit=6):
+    try:
+        url = "https://duckduckgo.com/html/?q=" + quote_plus(topic + " tin tức kiến thức bối cảnh")
+        r = requests.get(url, headers=HEADERS, timeout=10)
+        soup = BeautifulSoup(r.text, "lxml")
+        snippets = []
+        for res in soup.select(".result")[:limit]:
+            title = _clean_text(res.select_one(".result__title").get_text(" ", strip=True) if res.select_one(".result__title") else "")
+            body = _clean_text(res.select_one(".result__snippet").get_text(" ", strip=True) if res.select_one(".result__snippet") else "")
+            if title or body:
+                snippets.append(f"- {title}: {body}")
+        return "\n".join(snippets)
+    except Exception:
+        return ""
+
+async def qwen_generate(prompt: str, image_url: Optional[str] = None, max_tokens: int = 1700):
+    if not (HF_TOKEN and AsyncInferenceClient):
+        return None
+    try:
+        client = AsyncInferenceClient(provider="auto", api_key=HF_TOKEN, timeout=90)
+        content = []
+        if image_url:
+            content.append({"type":"image_url", "image_url":{"url": image_url}})
+        content.append({"type":"text", "text": prompt})
+        messages = [
+            {"role":"system", "content":"Bạn là biên tập viên AI tiếng Việt. Viết tự nhiên, mạch lạc, đầy đủ ý, không bịa chi tiết, không cắt cụt nội dung."},
+            {"role":"user", "content": content},
+        ]
+        resp = await client.chat_completion(model=QWEN_VL_MODEL, messages=messages, max_tokens=max_tokens, temperature=0.65, top_p=0.9)
+        return (resp.choices[0].message.content or "").strip()
+    except Exception as e:
+        print("[qwen fallback]", type(e).__name__, str(e)[:200])
+        return None
+
+def fallback_rewrite(title, raw_text):
+    text = _clean_text(raw_text)
+    chunks = []
+    while text and len(chunks) < 7:
+        part = text[:620]
+        cut = max(part.rfind(". "), part.rfind("! "), part.rfind("? "))
+        if cut > 220:
+            part = part[:cut+1]
+        chunks.append(part.strip())
+        text = text[len(part):].strip()
+    return f"{title}\n\n" + "\n\n".join(chunks)
+
+def make_post(title, text, image, source_url, kind):
+    return {"id": str(int(time.time()*1000)) + str(random.randint(100,999)), "title": title, "text": text, "img": image, "url": source_url, "kind": kind, "ts": int(time.time())}
+
+@app.get("/api/ai_wall")
+def api_ai_wall():
+    return JSONResponse({"posts": _load_ai_wall()[:80]})
+
+@app.post("/api/ai/topic")
+async def api_ai_topic(request: Request):
+    body = await request.json()
+    topic = _clean_text(body.get("topic", ""))
+    if not topic:
+        return JSONResponse({"error":"missing topic"}, status_code=400)
+    ctx = web_context(topic)
+    image = pollinations_image_url(topic)
+    prompt = f"""
+Hãy viết một dàn ý bài viết tiếng Việt tự nhiên cho chủ đề: {topic}
+
+Yêu cầu:
+- Dựa trên kiến thức thực tế và bối cảnh internet dưới đây nếu có.
+- Có tiêu đề hấp dẫn nhưng không giật tít.
+- 1 đoạn mở bài ngắn.
+- 5-7 luận điểm chính, mỗi luận điểm có 1-2 câu giải thích.
+- 1 đoạn kết luận gợi ý góc nhìn cho độc giả.
+- Văn phong tự nhiên, dễ đọc.
+
+Bối cảnh tìm được trên internet:
+{ctx or 'Không có snippet đáng tin cậy; hãy viết theo kiến thức nền phổ quát, tránh khẳng định số liệu cụ thể.'}
+"""
+    text = await qwen_generate(prompt, image_url=image, max_tokens=1400)
+    if not text:
+        text = f"{topic}\n\nMở bài: Chủ đề này đang nhận được sự quan tâm vì liên quan trực tiếp tới đời sống, công nghệ và cách con người ra quyết định.\n\nDàn ý:\n• Bối cảnh chung của chủ đề.\n• Vì sao chủ đề này đáng chú ý ở hiện tại.\n• Các tác động chính tới người dùng hoặc xã hội.\n• Những lợi ích tiềm năng nếu được triển khai đúng cách.\n• Các rủi ro hoặc hiểu lầm cần tránh.\n• Gợi ý hướng tiếp cận cân bằng.\n\nKết luận: Nên nhìn chủ đề này như một xu hướng cần theo dõi liên tục, thay vì một hiện tượng nhất thời."
+    post = make_post(topic, text, image, "", "topic")
+    posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
+    return JSONResponse({"post": post})
+
+@app.post("/api/ai/url")
+async def api_ai_url(request: Request):
+    body = await request.json()
+    url = _clean_text(body.get("url", ""))
+    if not url.startswith("http"):
+        return JSONResponse({"error":"missing url"}, status_code=400)
+    try:
+        data = scrape_any_url(url)
+    except Exception:
+        return JSONResponse({"error":"Không scrape được URL"}, status_code=422)
+    raw = (data.get("summary", "") + "\n" + data.get("text", "")).strip()
+    prompt = f"""
+Hãy đọc nội dung scrape dưới đây và viết lại thành một bài ngắn gọn đưa lên Tường AI VNEWS.
+
+Yêu cầu:
+- Không cắt khúc, không bỏ mất ý chính.
+- 3-6 đoạn ngắn, văn phong tự nhiên.
+- Giữ sự kiện, nhân vật, bối cảnh đúng theo nguồn.
+- Không thêm chi tiết không có trong nguồn.
+- Có thể dùng ảnh như bối cảnh thị giác nếu ảnh được cung cấp.
+
+Tiêu đề gốc: {data.get('title','')}
+Nội dung gốc:
+{raw[:15000]}
+"""
+    text = await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1700)
+    if not text:
+        text = fallback_rewrite(data.get("title", "Bài viết"), raw)
+    post = make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "url")
+    posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
+    return JSONResponse({"post": post})
+
+@app.post("/api/rewrite_share")
+async def api_rewrite_share(request: Request):
+    body = await request.json()
+    url = _clean_text(body.get("url", ""))
+    if not url.startswith("http"):
+        return JSONResponse({"error":"missing url"}, status_code=400)
+    try:
+        data = scrape_any_url(url)
+    except Exception:
+        return JSONResponse({"error":"Không đọc được bài viết"}, status_code=422)
+    raw = (data.get("summary", "") + "\n" + data.get("text", "")).strip()
+    prompt = f"Viết lại bài sau bằng tiếng Việt tự nhiên, đầy đủ ý, không cắt cụt, 4-7 đoạn:\n\nTiêu đề: {data.get('title','')}\n\nNội dung:\n{raw[:15000]}"
+    text = await qwen_generate(prompt, image_url=data.get("image") or None, max_tokens=1700)
+    if not text:
+        text = fallback_rewrite(data.get("title", "Bài viết"), raw)
+    post = make_post(data.get("title") or "Bài viết", text, data.get("image") or "", url, "rewrite")
+    posts = _load_ai_wall(); posts.insert(0, post); _save_ai_wall(posts)
+    return JSONResponse({"post": post})
+
+# Override index route to inject AI composer/wall without modifying large index.html.
+app.router.routes = [r for r in app.router.routes if not (getattr(r, 'path', None) == '/' and 'GET' in getattr(r, 'methods', set()))]
+
+AI_INJECT = r'''
+<style>
+.ai-compose{margin:6px 4px;background:#141414;border:1px solid #2b2b2b;border-radius:10px;padding:10px}.ai-compose-title{font-size:13px;color:#5cb87a;font-weight:800;margin-bottom:8px}.ai-row{display:flex;gap:6px;margin-bottom:6px}.ai-row input{flex:1;background:#222;border:1px solid #333;color:#eee;border-radius:8px;padding:8px;font-size:12px}.ai-row button{background:#2d8659;border:0;color:white;border-radius:8px;padding:8px 10px;font-size:12px;font-weight:700}.ai-row button.secondary{background:#333}.ai-wall-extra{margin:6px 4px;background:#1a1a1a;border:1px solid #2a2a2a;border-radius:8px;overflow:hidden}.ai-wall-card{flex:0 0 250px;background:#141414;border:1px solid #2b2b2b;border-radius:10px;padding:8px}.ai-wall-img{width:100%;aspect-ratio:16/9;background:#222;border-radius:8px;overflow:hidden;margin-bottom:6px}.ai-wall-img img{width:100%;height:100%;object-fit:cover}.ai-wall-title{font-size:12px;color:#5cb87a;font-weight:800;line-height:1.3;margin-bottom:4px}.ai-wall-text{font-size:11px;color:#bbb;line-height:1.45;white-space:pre-wrap;display:-webkit-box;-webkit-line-clamp:5;-webkit-box-orient:vertical;overflow:hidden}.ai-wall-card button{margin-top:8px;width:100%;border:1px solid #333;background:#222;color:#ddd;border-radius:14px;padding:6px 8px;font-size:10px}</style>
+<script>
+(function(){
+function esc(s){return String(s||'').replace(/[&<>"']/g,m=>({'&':'&amp;','<':'&lt;','>':'&gt;','"':'&quot;',"'":'&#39;'}[m]));}
+let aiWall=[];
+async function refreshAiWall(){try{const r=await fetch('/api/ai_wall');const j=await r.json();aiWall=j.posts||[];renderAiPanel();}catch(e){}}
+function renderAiPanel(){const home=document.getElementById('view-home');if(!home)return;let old=document.getElementById('ai-compose-block');if(old)old.remove();let oldw=document.getElementById('ai-wall-block');if(oldw)oldw.remove();let box=document.createElement('div');box.id='ai-compose-block';box.className='ai-compose';box.innerHTML='<div class="ai-compose-title">🤖 Tạo bài AI</div><div class="ai-row"><input id="ai-topic-input" placeholder="Nhập gợi ý chủ đề bài viết..."><button onclick="aiCreateTopic()">Tạo dàn ý</button></div><div class="ai-row"><input id="ai-url-input" placeholder="Dán URL để AI scrape và tóm tắt lên tường..."><button class="secondary" onclick="aiCreateUrl()">Chèn URL</button></div><div id="ai-compose-status" style="font-size:11px;color:#888"></div>';home.prepend(box);if(aiWall.length){let wrap=document.createElement('div');wrap.id='ai-wall-block';wrap.className='ai-wall-extra';let h='<div class="slider-header"><span class="slider-label">🧱 Tường AI</span></div><div class="slider-track">';aiWall.slice(0,20).forEach((p,i)=>{h+=`<div class="ai-wall-card"><div class="ai-wall-img">${p.img?`<img src="${p.img}">`:''}</div><div class="ai-wall-title">${esc(p.title)}</div><div class="ai-wall-text">${esc(p.text)}</div><button onclick="aiReadWall(${i})">Xem đầy đủ</button></div>`});h+='</div>';wrap.innerHTML=h;box.after(wrap);}}
+window.aiReadWall=function(i){const p=aiWall[i];if(!p)return;showView('view-article');let h=`<button class="back-btn" onclick="switchCat('home')">← Quay lại</button><div class="article-view"><span class="badge badge-ai">AI</span><h1 class="article-title">${esc(p.title)}</h1>${p.img?`<img class="article-img" src="${p.img}">`:''}<p class="article-p" style="white-space:pre-wrap">${esc(p.text)}</p><div class="article-actions">${p.url?`<button onclick="window.open('${p.url}','_blank')">🔗 Nguồn</button>`:''}</div></div>`;document.getElementById('view-article').innerHTML=h;window.scrollTo(0,0)};
+async function postJson(url,data){const st=document.getElementById('ai-compose-status');if(st)st.textContent='AI đang xử lý...';const r=await fetch(url,{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify(data)});const j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi');if(st)st.textContent='Đã đăng lên Tường AI';await refreshAiWall();return j;}
+window.aiCreateTopic=function(){const v=document.getElementById('ai-topic-input')?.value.trim();if(!v)return alert('Nhập chủ đề');postJson('/api/ai/topic',{topic:v}).catch(e=>alert(e.message));};
+window.aiCreateUrl=function(){const v=document.getElementById('ai-url-input')?.value.trim();if(!v)return alert('Dán URL');postJson('/api/ai/url',{url:v}).catch(e=>alert(e.message));};
+const oldLoad=window.loadHome;if(typeof oldLoad==='function'){window.loadHome=async function(){await oldLoad.apply(this,arguments);setTimeout(refreshAiWall,50);};}
+setTimeout(refreshAiWall,1200);
+})();
+</script>
+'''
+
+@app.get("/")
+async def index_ai():
+    with open("/app/static/index.html", "r", encoding="utf-8") as f:
+        html = f.read()
+    return HTMLResponse(html.replace("</body>", AI_INJECT + "\n</body>"))