Restore b9b6ba4 and patch topic rewrite/shorts

restore_b9b6ba4_patch.py

@@ -0,0 +1,147 @@
+import os, sys, re, json, time, requests
+from urllib.parse import quote_plus, urlparse
+from huggingface_hub import snapshot_download
+from fastapi import Request, Query
+from fastapi.responses import JSONResponse, HTMLResponse
+
+REVISION=os.environ.get('VNEWS_RESTORE_REVISION','b9b6ba4')
+REPO_ID=os.environ.get('VNEWS_REPO_ID','bep40/vnews')
+snapshot_dir=snapshot_download(repo_id=REPO_ID,repo_type='space',revision=REVISION,local_dir='/tmp/vnews_restore_b9b6ba4',local_dir_use_symlinks=False)
+os.chdir(snapshot_dir);sys.path.insert(0,snapshot_dir)
+
+try:
+    import ai_runtime_final6 as runtime
+except Exception:
+    try:import ai_runtime_final5 as runtime
+    except Exception:import ai_patch as runtime
+app=runtime.app
+try:import ai_ext as base
+except Exception:base=None
+try:import main as main_mod
+except Exception:main_mod=None
+
+SPACE_URL='https://bep40-vnews.hf.space'
+
+def clean(s):
+    import html as html_lib
+    return re.sub(r'\s+',' ',html_lib.unescape(s or '')).strip()
+
+def _domain(u):
+    try:return urlparse(u or '').netloc.replace('www.','')
+    except Exception:return ''
+
+def _image(topic):
+    if base and hasattr(base,'pollinations_image_url'):
+        try:return base.pollinations_image_url(topic)
+        except Exception:pass
+    return 'https://image.pollinations.ai/prompt/'+quote_plus('Vietnamese editorial article '+topic)+'?width=1024&height=576&nologo=true'
+
+async def _llm_article(topic, context=''):
+    img=_image(topic)
+    # Important: use messages role separation and post-filter; never allow instruction echo.
+    prompt=f'''Viết một bài báo tiếng Việt hoàn chỉnh về chủ đề: {topic}
+
+Hãy tổng hợp thành bài đọc tự nhiên, giàu thông tin, có bối cảnh, phân tích và ví dụ. Không nhắc lại nhiệm vụ, không liệt kê chỉ dẫn, không bắt đầu bằng "Nhiệm vụ" hay "Chủ đề".
+
+Nếu có nguồn/bối cảnh bên dưới thì dùng để tham khảo và diễn đạt lại, không sao chép nguyên văn:
+{context[:9000]}'''
+    out=''
+    if base and hasattr(base,'qwen_generate'):
+        try:out=await base.qwen_generate(prompt,image_url=img,max_tokens=1600) or ''
+        except Exception:out=''
+    token=os.environ.get('HF_TOKEN') or os.environ.get('HUGGINGFACEHUB_API_TOKEN')
+    if (not out or _looks_like_instruction_echo(out)) and token:
+        for model in ['Qwen/Qwen2.5-72B-Instruct','Qwen/Qwen2.5-32B-Instruct','Qwen/Qwen2.5-14B-Instruct','Qwen/Qwen2.5-7B-Instruct']:
+            try:
+                r=requests.post('https://router.huggingface.co/v1/chat/completions',headers={'Authorization':'Bearer '+token,'Content-Type':'application/json'},json={'model':model,'messages':[{'role':'system','content':'Bạn là nhà báo tiếng Việt. Chỉ trả về bài viết cuối cùng, không lặp lại prompt hay chỉ dẫn.'},{'role':'user','content':prompt}],'temperature':0.55,'top_p':0.9,'max_tokens':1800},timeout=90)
+                if r.status_code<300:
+                    out=r.json().get('choices',[{}])[0].get('message',{}).get('content','').strip()
+                    if out and not _looks_like_instruction_echo(out):break
+            except Exception:pass
+    if _looks_like_instruction_echo(out):
+        out=_strip_instruction_echo(out)
+    if not out:
+        out=f'''{topic}: những điều đáng chú ý\n\n{topic} là một chủ đề cần được nhìn từ bối cảnh rộng hơn thay vì chỉ qua một định nghĩa ngắn. Khi phân tích, cần chú ý đến bản chất vấn đề, các yếu tố thúc đẩy, tác động thực tế và những giới hạn cần hiểu đúng.\n\nĐiểm quan trọng là chủ đề này không đứng riêng lẻ: nó thường liên quan đến các xu hướng xã hội, công nghệ, thể thao hoặc đời sống tùy từng ngữ cảnh. Người đọc vì vậy cần một cách tiếp cận cân bằng, vừa nhìn thấy cơ hội, vừa nhận diện rủi ro và các hiểu lầm phổ biến.\n\nTừ góc độ thực tế, {topic} có thể tạo ra thay đổi trong cách con người suy nghĩ, làm việc hoặc đánh giá một sự kiện. Điều cần tránh là nhìn nhận vấn đề bằng khẩu hiệu hoặc thông tin rời rạc; thay vào đó, cần đặt nó trong mối liên hệ với con người, dữ liệu, bối cảnh và hệ quả lâu dài.\n\nNguồn tham khảo: Qwen / kiến thức tổng hợp.'''
+    if 'Nguồn tham khảo' not in out:out+='\n\nNguồn tham khảo: Qwen / kiến thức tổng hợp.'
+    return out,img
+
+def _looks_like_instruction_echo(text):
+    low=(text or '').lower()
+    bad=['nhiệm vụ:','viết một bài báo','chỉ xuất bản bài viết','không nhắc lại yêu cầu','không liệt kê chỉ dẫn','bạn là biên tập viên','cấu trúc:']
+    return sum(1 for b in bad if b in low)>=2
+
+def _strip_instruction_echo(text):
+    lines=[]
+    for ln in (text or '').splitlines():
+        low=ln.lower().strip()
+        if any(x in low for x in ['nhiệm vụ:','chỉ xuất bản','không nhắc lại','không liệt kê','bạn là biên tập viên','cấu trúc:','• không sao chép']):
+            continue
+        if low.startswith('•') and ('chủ đề:' in low or 'bài có' in low):continue
+        lines.append(ln)
+    return '\n'.join(lines).strip()
+
+# topic endpoint
+app.router.routes=[r for r in app.router.routes if not (getattr(r,'path',None)=='/api/topic_post' and 'POST' in getattr(r,'methods',set()))]
+@app.post('/api/topic_post')
+async def topic_post(request:Request):
+    body=await request.json();topic=clean(body.get('topic',''))
+    if not topic:return JSONResponse({'error':'missing topic'},status_code=400)
+    text,img=await _llm_article(topic)
+    post={'id':str(int(time.time()*1000)),'title':topic,'text':text,'img':img,'url':'','kind':'topic_qwen','images':[img],'sources':[{'title':'Qwen / kiến thức tổng hợp','url':'','via':'Qwen'}],'ts':int(time.time())}
+    if base and hasattr(base,'_load_ai_wall'):
+        posts=base._load_ai_wall();posts.insert(0,post);base._save_ai_wall(posts)
+    return JSONResponse({'post':post})
+
+@app.post('/api/topic_rewrite')
+async def topic_rewrite(request:Request):
+    body=await request.json();post_id=str(body.get('id',''));topic=clean(body.get('topic',''));old=clean(body.get('text',''))
+    if not topic and not old:return JSONResponse({'error':'missing topic'},status_code=400)
+    text,img=await _llm_article(topic or 'Bài viết',old)
+    return JSONResponse({'text':text,'img':img})
+
+# shorts endpoint restore
+app.router.routes=[r for r in app.router.routes if not (getattr(r,'path',None)=='/api/shorts' and 'GET' in getattr(r,'methods',set()))]
+def _fallback_shorts():
+    out=[];seen=set();c=[]
+    try:c+=(getattr(main_mod,'SHORTS_FALLBACK',[]) or [])
+    except Exception:pass
+    hard=[('Lu_iCQ5YwNM','Công an lập hồ sơ xử lý người phụ nữ chửi bới, tát tài xế ô tô | Dân trí','baodantri7941'),('CwWvijF8BOA','Chú rể bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước | Dân trí','baodantri7941'),('tvPewsc2ph4','Tính năng ẩn trên iPhone giúp giảm mỏi mắt | Dân trí','baodantri7941'),('7Pd6vZ2Lz1M','Hành động ấm lòng trong tìm kiếm học sinh tử vong ở sông Lô | SKĐS','baosuckhoedoisongboyte'),('SlHLt_ZyPiE','Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc - Nam | SKĐS','baosuckhoedoisongboyte'),('IUOprcJyYr4','Phụ nữ táo bón có phải do lười ăn rau? | SKĐS','baosuckhoedoisongboyte')]
+    for vid,title,ch in hard:c.append({'id':vid,'title':title,'channel':ch})
+    for v in c:
+        vid=v.get('id')
+        if vid and vid not in seen:
+            seen.add(vid);out.append({'id':vid,'title':v.get('title','YouTube Short'),'channel':v.get('channel',''),'link':'https://www.youtube.com/watch?v='+vid,'img':'https://i.ytimg.com/vi/'+vid+'/hqdefault.jpg','source':'yt'})
+    return out
+@app.get('/api/shorts')
+def api_shorts(refresh:int=Query(default=0)):
+    # Prefer existing scraper from restored app if it works, then hard fallback.
+    try:
+        if hasattr(main_mod,'scrape_shorts'):
+            data=main_mod.scrape_shorts()
+            if data:return JSONResponse(data)
+    except Exception:pass
+    return JSONResponse(_fallback_shorts())
+
+PATCH_JS=r'''
+<script>
+(function(){
+function esc(s){return String(s||'').replace(/[&<>"']/g,m=>({'&':'&amp;','<':'&lt;','>':'&gt;','"':'&quot;',"'":'&#39;'}[m]));}
+function dedupeShorts(){const blocks=[...document.querySelectorAll('.slider-wrap')].filter(w=>((w.querySelector('.slider-label')||{}).textContent||'').toLowerCase().includes('short'));let kept=false;blocks.forEach(b=>{if(!kept){kept=true;b.id='shorts-single-home'}else b.remove()});}
+async function ensureShorts(){let home=document.getElementById('view-home');if(!home)return;dedupeShorts();if(document.getElementById('shorts-single-home'))return;let sh=await fetch('/api/shorts?refresh=1').then(r=>r.json()).catch(()=>[]);if(!sh.length)return;let wrap=document.createElement('div');wrap.id='shorts-single-home';wrap.className='slider-wrap';let h='<div class="slider-header"><span class="slider-label">📱 Shorts Dân trí & SKĐS</span></div><div class="slider-track">';sh.forEach((a,i)=>{h+=`<div class="slider-item shorts-item" onclick="openTikTok('shorts',${i})"><div class="slider-thumb shorts-thumb"><img src="${a.img}"><div class="card-play">▶</div></div><div class="slider-title">${esc(a.title)}</div></div>`});h+='</div>';wrap.innerHTML=h;(document.querySelector('.ai-compose')||home.firstChild).after(wrap);}
+window.rewriteTopicPost=async function(id,title,text){let r=await fetch('/api/topic_rewrite',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({id,topic:title,text})});let j=await r.json();if(j.text){alert('Đã rewrite bài chủ đề');location.reload();}else alert(j.error||'Lỗi rewrite')};
+function addRewriteButtons(){document.querySelectorAll('.wall-item').forEach(item=>{if(item.querySelector('.topic-rewrite-btn'))return;let title=item.querySelector('.wall-title')?.textContent||'';let txt=item.querySelector('.wall-text')?.textContent||'';let actions=item.querySelector('.wall-actions');if(actions){let b=document.createElement('button');b.className='topic-rewrite-btn';b.textContent='Rewrite';b.onclick=function(e){e.stopPropagation();rewriteTopicPost('',title,txt)};actions.appendChild(b);}})}
+setInterval(()=>{dedupeShorts();ensureShorts();addRewriteButtons();},1500);setTimeout(()=>{dedupeShorts();ensureShorts();addRewriteButtons();},800);
+})();
+</script>
+'''
+
+old_root=None
+for r in list(app.router.routes):
+    if getattr(r,'path',None)=='/' and 'GET' in getattr(r,'methods',set()):old_root=r.endpoint;app.router.routes.remove(r);break
+@app.get('/')
+async def root():
+    if old_root:
+        resp=await old_root();body=getattr(resp,'body',b'').decode('utf-8','ignore') if hasattr(resp,'body') else str(resp)
+    else:
+        with open('/tmp/vnews_restore_b9b6ba4/static/index.html','r',encoding='utf-8') as f:body=f.read()
+    return HTMLResponse(body.replace('</body>',PATCH_JS+'\n</body>') if '</body>' in body else body+PATCH_JS)