Speed up homepage shorts: instant fallback + background YouTube refresh

ai_runtime_final6.py

@@ -1,14 +1,17 @@
-"""Final6: single topic input, web-grounded topic articles, and guaranteed DanTri/SKDS Shorts on home."""
-import re, time, json, html as html_lib
+"""Final6: fast homepage shorts, web-grounded topic articles, and single topic input."""
+import re, time, json, html as html_lib, threading
 from urllib.parse import quote
 import ai_runtime_final5 as f5
-from ai_runtime_final5 import app, rt, HTMLResponse, JSONResponse, Request
+from ai_runtime_final5 import app, rt, HTMLResponse, JSONResponse, Request, Query
 
-# Remove root and topic endpoint to override final5 behavior.
-_PATCH={('/','GET'),('/api/topic_post','POST')}
+# Remove root, topic endpoint, and slow shorts endpoint to override final5/final4 behavior.
+_PATCH={('/','GET'),('/api/topic_post','POST'),('/api/shorts','GET')}
 app.router.routes=[r for r in app.router.routes if not any(getattr(r,'path',None)==p and m in getattr(r,'methods',set()) for p,m in _PATCH)]
 
 base=f5.base
+_FAST_SHORTS={"t":0,"d":[],"refreshing":False}
+_FAST_LOCK=threading.Lock()
+
 
 def clean(s):
     return re.sub(r"\s+"," ",html_lib.unescape(s or "")).strip()
@@ -23,34 +26,83 @@ def _host(url):
         return urlparse(url or '').netloc.replace('www.','')
     except Exception:return ''
 
+# ===== FAST SHORTS =====
+def _fallback_shorts_fast():
+    """Immediate fallback from final4/main fallback lists; never blocks on YouTube."""
+    try:
+        data=f5.f4._fallback_shorts()
+        if data:return data[:60]
+    except Exception:pass
+    # Last hard fallback in case imports change.
+    hard=[
+        ('Lu_iCQ5YwNM','Công an lập hồ sơ xử lý người phụ nữ chửi bới, tát tài xế ô tô | Dân trí','baodantri7941'),
+        ('CwWvijF8BOA','Chú rể bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước | Dân trí','baodantri7941'),
+        ('7Pd6vZ2Lz1M','Hành động ấm lòng trong tìm kiếm học sinh tử vong ở sông Lô | SKĐS','baosuckhoedoisongboyte'),
+        ('SlHLt_ZyPiE','Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc - Nam | SKĐS','baosuckhoedoisongboyte')]
+    return [{'id':vid,'title':title,'channel':ch,'link':'https://www.youtube.com/watch?v='+vid,'img':'https://i.ytimg.com/vi/'+vid+'/hqdefault.jpg','source':'yt'} for vid,title,ch in hard]
+
+def _refresh_shorts_bg(force=False):
+    with _FAST_LOCK:
+        if _FAST_SHORTS.get('refreshing'):return
+        if not force and _FAST_SHORTS.get('d') and time.time()-_FAST_SHORTS.get('t',0)<900:return
+        _FAST_SHORTS['refreshing']=True
+    def run():
+        try:
+            data=[]
+            # f4._fresh_shorts uses yt-dlp/html scrape and may take seconds; do it off request path.
+            try:data=f5.f4._fresh_shorts()
+            except Exception:data=[]
+            if data:
+                with _FAST_LOCK:
+                    _FAST_SHORTS['d']=data[:60]
+                    _FAST_SHORTS['t']=time.time()
+            elif not _FAST_SHORTS.get('d'):
+                with _FAST_LOCK:
+                    _FAST_SHORTS['d']=_fallback_shorts_fast()
+                    _FAST_SHORTS['t']=time.time()
+        finally:
+            with _FAST_LOCK:_FAST_SHORTS['refreshing']=False
+    threading.Thread(target=run,daemon=True).start()
+
+@app.get('/api/shorts')
+def api_shorts_fast(refresh:int=Query(default=0)):
+    """Return shorts immediately. Latest YouTube shorts refresh in background, not blocking homepage."""
+    with _FAST_LOCK:
+        data=list(_FAST_SHORTS.get('d') or [])
+        age=time.time()-_FAST_SHORTS.get('t',0)
+    if not data:
+        data=_fallback_shorts_fast()
+        with _FAST_LOCK:
+            _FAST_SHORTS['d']=data
+            _FAST_SHORTS['t']=time.time()
+        _refresh_shorts_bg(force=True)
+    elif refresh or age>900:
+        _refresh_shorts_bg(force=bool(refresh))
+    return JSONResponse(data[:60])
+
+# Start background update shortly after import, without delaying app startup.
+threading.Timer(2.0, lambda:_refresh_shorts_bg(force=True)).start()
+
+# ===== WEB-GROUNDED TOPIC POST =====
 def _collect_source_articles(topic, limit=5):
-    """Collect readable source articles/snippets from the open web for topic."""
     sources=[];ctx_parts=[];seen=set()
-    # 1) Use existing ai_ext web_context search (Jina/DuckDuckGo) if available.
-    try:
-        ctx, items = base.web_context(topic, limit=limit+3)
-    except Exception:
-        ctx, items = '', []
+    try:ctx, items = base.web_context(topic, limit=limit+3)
+    except Exception:ctx, items = '', []
     for it in (items or []):
-        url=it.get('url') or ''
-        title=clean(it.get('title') or '')
+        url=it.get('url') or ''; title=clean(it.get('title') or '')
         if not url.startswith('http') or url in seen:continue
         seen.add(url)
         excerpt=clean(it.get('excerpt') or it.get('content') or it.get('description') or '')
-        # Try full article extraction for better grounding.
         try:
             data=base.scrape_any_url(url)
             raw=clean((data.get('summary','')+' '+data.get('text','')).strip())
             if len(raw)>180:
-                title=clean(data.get('title') or title)
-                excerpt=raw[:1800]
-        except Exception:
-            pass
+                title=clean(data.get('title') or title); excerpt=raw[:1800]
+        except Exception:pass
         if title or excerpt:
             sources.append({'title':title or url,'url':url,'excerpt':excerpt[:700],'via':_host(url)})
             ctx_parts.append(f"Nguồn: {title or url} ({_host(url)})\n{excerpt[:1800]}")
         if len(sources)>=limit:break
-    # 2) Fallback: Google News RSS text snippets if full search failed.
     if not ctx_parts:
         try:
             import requests
@@ -72,12 +124,9 @@ def _fallback_article(topic, ctx, sources):
     lines=[]
     for block in (ctx or '').split('\n\n'):
         block=clean(block)
-        if block and len(block)>40:
-            # Remove leading Nguồn label for article body readability.
-            block=re.sub(r'^Nguồn:\s*','',block)
-            lines.append(block)
-    intro=f"{topic} đang là chủ đề được quan tâm vì liên quan trực tiếp tới những thay đổi, tranh luận hoặc xu hướng mới trong đời sống. Dưới đây là phần tổng hợp ngắn gọn từ các nguồn công khai để người đọc nắm bối cảnh chính."
-    body='\n\n'.join(lines[:5]) if lines else f"Hiện chưa thu thập được nhiều dữ liệu đủ tin cậy về {topic}. Bài viết này chỉ nên được xem là phần giới thiệu khái quát và cần tiếp tục đối chiếu với các nguồn cập nhật."
+        if block and len(block)>40:lines.append(re.sub(r'^Nguồn:\s*','',block))
+    intro=f"{topic} đang là chủ đề được quan tâm vì liên quan tới những thay đổi, tranh luận hoặc xu hướng mới trong đời sống. Bài viết này tổng hợp các thông tin công khai để người đọc nắm bối cảnh chính."
+    body='\n\n'.join(lines[:5]) if lines else f"Hiện chưa thu thập được nhiều dữ liệu đủ tin cậy về {topic}. Nội dung này nên được xem là phần giới thiệu khái quát và cần đối chiếu thêm với nguồn cập nhật."
     src_line=', '.join([(s.get('via') or _host(s.get('url','')) or s.get('title','Nguồn')) for s in sources[:4]]) or 'nguồn công khai trên internet'
     return f"{topic}: những điểm chính cần biết\n\n{intro}\n\n{body}\n\nĐiểm cần lưu ý: thông tin trên internet có thể thay đổi theo thời gian, vì vậy người đọc nên đối chiếu thêm với nguồn gốc khi cần quyết định quan trọng.\n\nNguồn tham khảo: {src_line}."
 
@@ -101,19 +150,14 @@ YÊU CẦU BẮT BUỘC:
 - Dựa trên nguồn đã thu thập; nếu thông tin chưa chắc chắn thì dùng cách nói thận trọng.
 - Không bịa số liệu, tên người, thời điểm hoặc sự kiện mới nếu nguồn không nêu.
 - Cuối bài ghi dòng "Nguồn tham khảo:" kèm tên website/nguồn chính.
-- Độ dài khoảng 700-1100 chữ nếu đủ dữ liệu, ngắn hơn nếu nguồn ít.
 """
     text=await base.qwen_generate(prompt,image_url=img,max_tokens=2200)
-    if not text or len(clean(text))<250:
-        text=_fallback_article(topic,ctx,sources)
-    # Clean common chatty prefixes if model returns them.
+    if not text or len(clean(text))<250:text=_fallback_article(topic,ctx,sources)
     text=re.sub(r'^(Dưới đây là|Tôi có thể viết|Sau đây là)\s*[:：-]?\s*','',text.strip(),flags=re.I)
-    # Ensure source line exists.
     if 'Nguồn tham khảo' not in text:
         src_line=', '.join([(s.get('via') or _host(s.get('url','')) or s.get('title','Nguồn')) for s in sources[:5]]) or 'kiến thức tổng hợp từ internet'
         text += '\n\nNguồn tham khảo: '+src_line+'.'
     title=topic
-    # Use first non-empty line as title if model wrote one.
     first=[x.strip('#: -') for x in text.splitlines() if x.strip()]
     if first and len(first[0])<120:title=first[0]
     post=base.make_post(title,text,img,'','topic_web',sources=sources or [{'title':'Tổng hợp internet','url':'','via':'Internet'}])
@@ -128,13 +172,16 @@ FINAL6_INJECT=r'''
 <script>
 (function(){
 function esc(s){return String(s||'').replace(/[&<>"']/g,m=>({'&':'&amp;','<':'&lt;','>':'&gt;','"':'&quot;',"'":'&#39;'}[m]));}
-let liveTopicWall=[];let restoredShorts=[];
+let liveTopicWall=[];
 function renderLiveTopicWall(){let home=document.getElementById('view-home');if(!home||!liveTopicWall.length)return;document.getElementById('ai-wall-topic-live')?.remove();let wrap=document.createElement('div');wrap.id='ai-wall-topic-live';wrap.className='ai-wall-topic-live';let h='<div class="slider-header"><span class="slider-label">🧱 Tường AI mới</span><span class="slider-note">Tổng hợp internet</span></div><div class="slider-track">';liveTopicWall.slice(0,20).forEach((p,i)=>{h+=`<div class="wall-item"><div class="wall-thumb">${p.img?`<img src="${esc(p.img)}">`:''}</div><div class="wall-title">${esc(p.title)}</div><div class="wall-text">${esc(p.text)}</div><div class="wall-actions"><button class="primary" onclick="readLiveTopicWall(${i})">Xem</button></div></div>`});h+='</div>';wrap.innerHTML=h;let comp=document.querySelector('.ai-compose');if(comp)comp.after(wrap);else home.prepend(wrap);}
 window.readLiveTopicWall=function(i){let p=liveTopicWall[i];if(!p)return;showView('view-article');let imgs=(p.images||[]).filter(Boolean);let gal=imgs.length?'<div class="ai-wall-gallery">'+imgs.slice(0,12).map(u=>`<img src="${esc(u)}" loading="lazy">`).join('')+'</div>':(p.img?`<img class="article-img" src="${esc(p.img)}">`:'');document.getElementById('view-article').innerHTML=`<button class="back-btn" onclick="switchCat('home')">← Quay lại</button><div class="article-view"><span class="badge badge-ai">AI</span><h1 class="article-title">${esc(p.title)}</h1>${gal}<p class="article-p" style="white-space:pre-wrap">${esc(p.text)}</p><div class="article-actions"><button onclick="shareAI?shareAI(${JSON.stringify(p).replace(/"/g,'&quot;')},false):navigator.clipboard.writeText(location.href)">📤 Chia sẻ</button></div></div>`;window.scrollTo(0,0)};
 window.createTopicPostFinal5=async function(){let inp=document.getElementById('ai-topic-input-final5');let topic=(inp&&inp.value||'').trim();if(!topic)return alert('Nhập chủ đề trước');let btn=document.getElementById('ai-topic-btn-final5');if(btn){btn.disabled=true;btn.textContent='Đang tổng hợp internet...'}try{let r=await fetch('/api/topic_post',{method:'POST',headers:{'Content-Type':'application/json'},body:JSON.stringify({topic})});let j=await r.json();if(!r.ok||j.error)throw new Error(j.error||'Lỗi');liveTopicWall.unshift(j.post);if(window.finalWall)window.finalWall.unshift(j.post);if(window.finalWall3)window.finalWall3.unshift(j.post);if(inp)inp.value='';renderLiveTopicWall();if(window.renderWall)window.renderWall();readLiveTopicWall(0);alert('Đã tạo bài dựa trên chủ đề và nguồn internet.');}catch(e){alert(e.message)}finally{if(btn){btn.disabled=false;btn.textContent='✨ Tạo bài từ chủ đề + Internet'}}};
-async function ensureDantriSkdsShorts(){let home=document.getElementById('view-home');if(!home)return;if(document.getElementById('shorts-restored-final6'))return;let sh=await fetch('/api/shorts?refresh=1').then(r=>r.json()).catch(()=>[]);if(!sh||!sh.length)return;restoredShorts=sh;let wrap=document.createElement('div');wrap.id='shorts-restored-final6';wrap.className='slider-wrap';let h='<div class="slider-header"><span class="slider-label">📱 Shorts Dân trí & SKĐS</span><span class="shorts-restore-note">Đã khôi phục</span></div><div class="slider-track">';sh.slice(0,30).forEach((a,i)=>{h+=`<div class="slider-item shorts-item" onclick="openShortsFinal5?openShortsFinal5(${i}):openTikTok('shorts',${i})"><div class="slider-thumb shorts-thumb">${a.img?`<img src="${esc(a.img)}">`:''}<div class="card-play">▶</div></div><div class="slider-title">${esc(a.title)}</div></div>`});h+='</div>';wrap.innerHTML=h;let comp=document.querySelector('.ai-compose');if(comp)comp.after(wrap);else home.prepend(wrap);}
-setInterval(()=>{document.querySelectorAll('#ai-topic-input-final3,.topic-final3,#ai-topic-input-final4,.topic-final4').forEach(e=>(e.closest('.topic-final3,.topic-final4,.ai-compose-row')||e).remove());let b=document.getElementById('ai-topic-btn-final5');if(b){b.style.display='block';b.textContent='✨ Tạo bài từ chủ đề + Internet';}if(document.getElementById('view-home')?.classList.contains('active'))ensureDantriSkdsShorts();},1000);
-setTimeout(ensureDantriSkdsShorts,1200);
+async function fetchShortsFast(force){return fetch('/api/shorts'+(force?'?refresh=1':''),{cache:'no-store'}).then(r=>r.json()).catch(()=>[])}
+function renderShorts(sh){let home=document.getElementById('view-home');if(!home||!sh||!sh.length)return;let old=document.getElementById('shorts-restored-final6');let wrap=old||document.createElement('div');wrap.id='shorts-restored-final6';wrap.className='slider-wrap';let h='<div class="slider-header"><span class="slider-label">📱 Shorts Dân trí & SKĐS</span><span class="shorts-restore-note">Nhanh + tự cập nhật</span></div><div class="slider-track">';sh.slice(0,30).forEach((a,i)=>{h+=`<div class="slider-item shorts-item" onclick="openShortsFinal5?openShortsFinal5(${i}):openTikTok('shorts',${i})"><div class="slider-thumb shorts-thumb">${a.img?`<img src="${esc(a.img)}" loading="lazy">`:''}<div class="card-play">▶</div></div><div class="slider-title">${esc(a.title)}</div></div>`});h+='</div>';wrap.innerHTML=h;if(!old){let comp=document.querySelector('.ai-compose');if(comp)comp.after(wrap);else home.prepend(wrap);}}
+async function ensureDantriSkdsShorts(){let home=document.getElementById('view-home');if(!home)return;if(!document.getElementById('shorts-restored-final6')){let sh=await fetchShortsFast(false);renderShorts(sh);} }
+async function refreshDantriSkdsShorts(){let sh=await fetchShortsFast(true);if(sh&&sh.length)renderShorts(sh);}
+setInterval(()=>{document.querySelectorAll('#ai-topic-input-final3,.topic-final3,#ai-topic-input-final4,.topic-final4').forEach(e=>(e.closest('.topic-final3,.topic-final4,.ai-compose-row')||e).remove());let b=document.getElementById('ai-topic-btn-final5');if(b){b.style.display='block';b.textContent='✨ Tạo bài từ chủ đề + Internet';}if(document.getElementById('view-home')?.classList.contains('active'))ensureDantriSkdsShorts();},2000);
+setTimeout(ensureDantriSkdsShorts,200);setTimeout(refreshDantriSkdsShorts,4500);setInterval(()=>{if(document.getElementById('view-home')?.classList.contains('active'))refreshDantriSkdsShorts();},15*60*1000);
 })();
 </script>
 '''