Clean remaining topic instruction and add rich source cards with in-app viewing/rewrite

ai_runtime_final11.py

@@ -0,0 +1,149 @@
+"""Final11: remove remaining leaked sentence, rich source cards, in-app source reading + rewrite."""
+import re, requests
+from urllib.parse import quote
+import ai_runtime_final10 as f10
+from ai_runtime_final10 import app, base, rt, HTMLResponse, JSONResponse, Request, Query
+
+EXACT_LEAKS = [
+    r'Bài cần có tiêu đề,?\s*sapo ngắn,?\s*các đoạn phân tích/bối cảnh/tác động,?\s*và mục Nguồn tham khảo ngắn\.?',
+    r'Bài cần có tiêu đề,?\s*sapo.*?Nguồn tham khảo ngắn\.?' ,
+]
+
+def clean(s):
+    import html as html_lib
+    return re.sub(r"\s+", " ", html_lib.unescape(s or "")).strip()
+
+def _clean_more(text):
+    text=f10._clean_topic_text(text or '')
+    for p in EXACT_LEAKS:
+        text=re.sub(p,'',text,flags=re.I|re.S)
+    lines=[]
+    for ln in text.splitlines():
+        nb=re.sub(r'^[\s•\-\*\d\.\)]+','',ln.strip()).strip()
+        if any(re.search(p,nb,flags=re.I|re.S) for p in EXACT_LEAKS):continue
+        lines.append(ln.strip())
+    out='\n'.join(lines)
+    out=re.sub(r'\n{3,}','\n\n',out).strip()
+    if 'Nguồn tham khảo:' not in out:
+        out+='\n\nNguồn tham khảo: Qwen2.5-VL / kiến thức tổng hợp.'
+    return out
+
+def _source_meta(url, fallback=''):
+    meta={'img':'','desc':fallback or ''}
+    if not url:return meta
+    try:
+        from bs4 import BeautifulSoup
+        r=requests.get(url,headers=getattr(base,'HEADERS',{}),timeout=8);r.encoding='utf-8'
+        soup=BeautifulSoup(r.text,'lxml')
+        og=soup.find('meta',property='og:image') or soup.find('meta',attrs={'name':'twitter:image'})
+        if og:meta['img']=og.get('content','') or ''
+        desc=soup.find('meta',property='og:description') or soup.find('meta',attrs={'name':'description'})
+        if desc:meta['desc']=clean(desc.get('content',''))[:320]
+    except Exception:pass
+    if not meta['desc']:meta['desc']=clean(fallback)[:320]
+    return meta
+
+def _enrich_details(details):
+    out=[]
+    for d in (details or [])[:10]:
+        nd=dict(d)
+        meta=_source_meta(nd.get('url',''),nd.get('content',''))
+        nd['img']=nd.get('img') or meta.get('img','')
+        nd['desc']=nd.get('desc') or meta.get('desc','') or clean(nd.get('content',''))[:260]
+        out.append(nd)
+    return out
+
+# Remove routes to override.
+_PATCH={('/api/topic_post','POST'),('/api/topic_rewrite','POST'),('/api/source_article','GET'),('/','GET')}
+app.router.routes=[r for r in app.router.routes if not any(getattr(r,'path',None)==p and m in getattr(r,'methods',set()) for p,m in _PATCH)]
+
+@app.post('/api/topic_post')
+async def topic_post_links_rich(request:Request):
+    body=await request.json();topic=clean(body.get('topic',''))
+    if not topic:return JSONResponse({'error':'missing topic'},status_code=400)
+    try:img=f10.f9.f6._topic_image(topic)
+    except Exception:img=base.pollinations_image_url(topic)
+    context,sources,details=f10._topic_sources(topic)
+    details=_enrich_details(details)
+    source_brief='\n\n'.join([f"[{i+1}] {d.get('title','')} ({d.get('via','')})\n{d.get('content','')[:1400]}" for i,d in enumerate(details[:8])]) or 'Không có nguồn web đủ rõ; dùng kiến thức tổng hợp thận trọng.'
+    prompt=f"""Viết một bài báo tiếng Việt hoàn chỉnh về chủ đề: {topic}
+
+Dữ liệu tham khảo:
+{source_brief[:16000]}
+
+Chỉ viết phần bài báo cuối cùng cho độc giả. Không nhắc lại yêu cầu. Không liệt kê chỉ dẫn. Không mở đầu bằng 'Dưới đây là'.
+Bài gồm tiêu đề, sapo, phân tích/bối cảnh/tác động và nguồn tham khảo."""
+    text=await base.qwen_generate(prompt,image_url=img,max_tokens=1700)
+    if not text:text=f"{topic}: những điểm đáng chú ý\n\n{topic} là chủ đề cần được nhìn qua bối cảnh, tác động và các thông tin liên quan. Nội dung dưới đây tổng hợp các ý chính để người đọc nắm vấn đề nhanh hơn.\n\nNguồn tham khảo: Qwen2.5-VL / kiến thức tổng hợp."
+    text=_clean_more(text)
+    if details:
+        vias=', '.join([d.get('via') or '' for d in details[:5] if d.get('via')])
+        text=re.sub(r'Nguồn tham khảo:.*$', 'Nguồn tham khảo: '+(vias or 'Qwen2.5-VL / kiến thức tổng hợp.'), text, flags=re.I|re.S)
+    post=base.make_post(topic,text,img,'','topic_qwen_links',sources=[s for s in sources if s.get('url')])
+    post['images']=[img]
+    post['source_details']=details
+    posts=base._load_ai_wall();posts.insert(0,post);base._save_ai_wall(posts)
+    return JSONResponse({'post':post})
+
+@app.post('/api/topic_rewrite')
+async def topic_rewrite_clean(request:Request):
+    body=await request.json();pid=str(body.get('id',''));tone=clean(body.get('tone','mạch lạc, sắc gọn'))
+    posts=base._load_ai_wall();p=next((x for x in posts if str(x.get('id'))==pid),None)
+    if not p:return JSONResponse({'error':'post not found'},status_code=404)
+    details=_enrich_details(p.get('source_details') or [])
+    src='\n\n'.join([f"{i+1}. {d.get('title','')} ({d.get('via','')})\n{d.get('content','')[:1200]}" for i,d in enumerate(details[:8])])
+    prompt=f"""Viết lại bài chủ đề sau cho hay hơn, rõ hơn, bỏ câu thừa.
+
+Phong cách: {tone}
+
+Bài hiện tại:
+{(p.get('text') or '')[:12000]}
+
+Nguồn tham khảo:
+{src[:12000]}
+
+Chỉ trả về bài viết cuối cùng."""
+    text=await base.qwen_generate(prompt,image_url=(p.get('img') or None),max_tokens=1700)
+    if not text:text=p.get('text','')
+    p['text']=_clean_more(text)
+    p['source_details']=details
+    base._save_ai_wall(posts)
+    return JSONResponse({'post':p})
+
+@app.get('/api/source_article')
+def source_article(url:str=Query(...)):
+    if not url.startswith('http'):return JSONResponse({'error':'missing url'},status_code=400)
+    try:
+        data=base.scrape_any_url(url)
+    except Exception as e:
+        return JSONResponse({'error':'Không đọc được nguồn: '+str(e)[:160]},status_code=422)
+    text=data.get('text','') or data.get('summary','') or ''
+    body=[]
+    for para in [x.strip() for x in re.split(r'\n+',text) if len(x.strip())>30][:80]:
+        body.append({'type':'p','text':para})
+    return JSONResponse({'title':data.get('title') or url,'summary':data.get('summary',''),'og_image':data.get('image',''),'body':body,'url':url,'source':'generic'})
+
+FINAL11_INJECT=r'''
+<style>
+.source-card-grid{display:grid;grid-template-columns:1fr;gap:8px;margin-top:12px}.source-card{display:flex;gap:9px;background:#181818;border:1px solid #2b2b2b;border-radius:10px;padding:8px;cursor:pointer}.source-card img{width:110px;aspect-ratio:16/9;object-fit:cover;border-radius:7px;background:#222}.source-card-title{font-size:12px;font-weight:800;color:#eee;line-height:1.35}.source-card-desc{font-size:11px;color:#aaa;line-height:1.35;margin-top:3px;display:-webkit-box;-webkit-line-clamp:3;-webkit-box-orient:vertical;overflow:hidden}.source-card-via{font-size:10px;color:#5cb87a;margin-top:3px}.source-rewrite-actions{display:flex;gap:6px;flex-wrap:wrap;margin-top:10px}.source-rewrite-actions button,.source-rewrite-actions select{background:#222;border:1px solid #444;color:#eee;border-radius:10px;padding:8px}.source-rewrite-actions button{background:#2d8659;border:0;color:#fff}
+</style>
+<script>
+(function(){
+function esc(s){return String(s||'').replace(/[&<>"']/g,m=>({'&':'&amp;','<':'&lt;','>':'&gt;','"':'&quot;',"'":'&#39;'}[m]));}
+let lastTopicPost11=null;
+function sourceCardsHtml(p){let arr=p.source_details||p.sources||[];if(!arr.length)return '';let h='<div class="source-links-box"><h3>🔗 Nguồn tham khảo</h3><div class="source-card-grid">';arr.slice(0,10).forEach((s,i)=>{let url=s.url||'';h+=`<div class="source-card" onclick="${url?`readSourceOnVnews('${esc(url).replace(/'/g,"\\'")}')`:'void(0)'}">${s.img?`<img src="${esc(s.img)}">`:'<img>'}<div><div class="source-card-title">${i+1}. ${esc(s.title||url||'Nguồn')}</div><div class="source-card-desc">${esc(s.desc||s.content||'')}</div><div class="source-card-via">${esc(s.via||'')}</div></div></div>`});h+='</div></div>';return h;}
+function rewriteTopicBox(p){return `<div class="source-rewrite-actions"><select id="topic-rewrite-tone"><option value="mạch lạc, sắc gọn, báo điện tử">Mạch lạc</option><option value="phân tích sâu, chuyên gia">Phân tích sâu</option><option value="dễ hiểu, phổ thông">Dễ hiểu</option><option value="sôi nổi, thu hút">Thu hút</option></select><button onclick="rewriteTopicPost11('${p.id}')">✍️ Rewrite bài chủ đề</button></div>`}
+function renderTopic11(p){lastTopicPost11=p;showView('view-article');let imgs=(p.images||[]).filter(Boolean);let gal=imgs.length?'<div class="ai-wall-gallery">'+imgs.slice(0,12).map(u=>`<img src="${esc(u)}" loading="lazy">`).join('')+'</div>':(p.img?`<img class="article-img" src="${esc(p.img)}">`:'');document.getElementById('view-article').innerHTML=`<button class="back-btn" onclick="switchCat('home')">← Quay lại</button><div class="article-view"><span class="badge badge-ai">AI Chủ đề</span><h1 class="article-title">${esc(p.title)}</h1>${gal}<p class="article-p" style="white-space:pre-wrap">${esc(p.text)}</p>${sourceCardsHtml(p)}${rewriteTopicBox(p)}</div>`;window.scrollTo(0,0)}
+window.rewriteTopicPost11=window.rewriteTopicPost=async function(id){let tone=document.getElementById('topic-rewrite-tone')?.value||'mạch lạc';let btn=event?.target;if(btn){btn.disabled=true;btn.textContent='Đang rewrite...'}try{let r=await fetch('/api/topic_rewrite',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({id,tone})});let j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi rewrite');renderTopic11(j.post);alert('Đã rewrite bài chủ đề.');}catch(e){alert(e.message)}finally{if(btn){btn.disabled=false;btn.textContent='✍️ Rewrite bài chủ đề'}}}
+window.readSourceOnVnews=async function(url){showView('view-article');document.getElementById('view-article').innerHTML='<div class="loading">Đang tải nguồn...</div>';try{let d=await fetch('/api/source_article?url='+encodeURIComponent(url)).then(r=>r.json());if(d.error)throw new Error(d.error);let h=`<button class="back-btn" onclick="history.back();switchCat('home')">← Quay lại</button><div class="article-view"><h1 class="article-title">${esc(d.title)}</h1>${d.og_image?`<img class="article-img" src="${esc(d.og_image)}">`:''}${d.summary?`<div class="article-summary">${esc(d.summary)}</div>`:''}`;(d.body||[]).forEach(b=>{if(b.type==='p')h+=`<p class="article-p">${esc(b.text)}</p>`});h+=`<div class="article-actions"><button onclick="rewriteSourceOnWall('${esc(url).replace(/'/g,"\\'")}')">🤖 Rewrite nguồn này lên Tường AI</button><button onclick="window.open('${esc(url)}','_blank')">🔗 Mở gốc</button></div></div>`;document.getElementById('view-article').innerHTML=h;window.scrollTo(0,0)}catch(e){document.getElementById('view-article').innerHTML='<button class="back-btn" onclick="switchCat(\'home\')">← Quay lại</button><div class="loading">'+esc(e.message)+'</div>'}}
+window.rewriteSourceOnWall=async function(url){try{let r=await fetch('/api/rewrite_share',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({url})});let j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi');alert('Đã rewrite nguồn lên Tường AI');}catch(e){alert(e.message)}}
+window.createTopicPostFinal5=async function(){let inp=document.getElementById('ai-topic-input-final5');let topic=(inp&&inp.value||'').trim();if(!topic)return alert('Nhập chủ đề trước');let btn=document.getElementById('ai-topic-btn-final5');if(btn){btn.disabled=true;btn.textContent='Đang tạo bài...'}try{let r=await fetch('/api/topic_post',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({topic})});let j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi');if(inp)inp.value='';renderTopic11(j.post);alert('Đã tạo bài chủ đề kèm ảnh, mô tả và link nguồn.');}catch(e){alert(e.message)}finally{if(btn){btn.disabled=false;btn.textContent='✨ Tạo bài kiến thức bằng Qwen'}}}
+})();
+</script>
+'''
+
+@app.get('/')
+async def index_final11():
+    html=f10.f9.f6.f5.f4.f3.f2.f1._load_index_html()
+    body=getattr(rt.old,'PATCH_INJECT','')+f10.f9.f6.f5.f4.f3.f2.f1.FINAL_INJECT+f10.f9.f6.f5.f4.f3.FINAL3_INJECT+f10.f9.f6.f5.f4.FINAL4_INJECT+f10.f9.f6.f5.FINAL5_INJECT+f10.f9.f6.FINAL6_INJECT+f10.FINAL10_INJECT+FINAL11_INJECT
+    return HTMLResponse(html.replace('</body>',body+'\n</body>') if '</body>' in html else html+body)