Add /api/shorts/update + /api/shorts/status endpoints, prioritize runtime cache in scrape_shorts

main.py

@@ -63,9 +63,9 @@ _cache_ttl_yt = 1800
 SHORTS_FALLBACK = [
     {"id":"nqlLH6chLRo","title":"Tin nóng VTV Nam Bộ | #shorts","channel":"vtvnambo"},
     {"id":"E7Kq0v3hG6w","title":"VTV Nam Bộ - Tin tức miền Nam | #shorts","channel":"vtvnambo"},
-    {"id":"Lu_iCQ5YwNM","title":"Công an lập h� sơ xử lý người phụ nữ chửi bới tát nam tài xế ô tô � Hà Nội","channel":"baodantri7941"},
+    {"id":"Lu_iCQ5YwNM","title":"Công an lập hồ sơ xử lý người phụ nữ chửi bới tát nam tài xế ô tô ở Hà Nội","channel":"baodantri7941"},
     {"id":"CwWvijF8BOA","title":"Chú rể Ninh Bình bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước","channel":"baodantri7941"},
-    {"id":"tvPewsc2ph4","title":"Tính năng �n trên iPhone giúp giảm m�i m�t","channel":"baodantri7941"},
+    {"id":"tvPewsc2ph4","title":"Tính năng ẩn trên iPhone giúp giảm mỏi mắt","channel":"baodantri7941"},
     {"id":"b1Nxzv9ixlU","title":"Y án 3 năm tù với nữ tài xế uống 8 lon bia lái xe tông chủ tịch xã tử vong","channel":"baodantri7941"},
     {"id":"Xp5eTwAZAis","title":"Người đánh hàng xóm tại chung cư ở Hà Nội bị tuyên hơn 4 tháng tù","channel":"baodantri7941"},
     {"id":"Htzvwg6iOBM","title":"Xe điện Audi S6 Sportback e-tron có gì đặc biệt?","channel":"baodantri7941"},
@@ -75,24 +75,24 @@ SHORTS_FALLBACK = [
     {"id":"VAfgNNgZDRs","title":"Khởi tố 4 đối tượng ném bom xăng vào nhà dân ở Đồng Nai","channel":"baodantri7941"},
     {"id":"sBH_-zGh0Xw","title":"Vì sao Times New Roman vẫn nổi tiếng sau hàng chục năm?","channel":"baodantri7941"},
     {"id":"woKn5f2bLHM","title":"Quảng Ninh ngập sâu diện rộng sau đợt mưa lớn","channel":"baodantri7941"},
-    {"id":"bcpgRoxbLPw","title":"Giông lốc quật bay mái tôn � TP.HCM","channel":"baodantri7941"},
+    {"id":"bcpgRoxbLPw","title":"Giông lốc quật bay mái tôn ở TP.HCM","channel":"baodantri7941"},
     {"id":"ZIIC5osy544","title":"Bé trai Trung Quốc rơi từ tầng 11 vẫn sống sót kỳ diệu","channel":"baodantri7941"},
-    {"id":"uTMJ49NQpyc","title":"Sau lớp mascot 40kg Câu chuyện mưu sinh của người tr� ở TPHCM","channel":"baodantri7941"},
-    {"id":"7Pd6vZ2Lz1M","title":"Hành động ấm lòng của người đàn ông tìm kiếm 5 học sinh tử vong � sông Lô","channel":"baosuckhoedoisongboyte"},
+    {"id":"uTMJ49NQpyc","title":"Sau lớp mascot 40kg Câu chuyện mưu sinh của người trẻ ở TPHCM","channel":"baodantri7941"},
+    {"id":"7Pd6vZ2Lz1M","title":"Hành động ấm lòng của người đàn ông tìm kiếm 5 học sinh tử vong ở sông Lô","channel":"baosuckhoedoisongboyte"},
     {"id":"SlHLt_ZyPiE","title":"Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc Nam","channel":"baosuckhoedoisongboyte"},
-    {"id":"IUOprcJyYr4","title":"Phụ nữ táo bón có phải do lười �n rau?","channel":"baosuckhoedoisongboyte"},
-    {"id":"YY8ojFNE-AU","title":"Quái xế tự quay clip n�t pô đánh võng đăng TikTok bị xử lý","channel":"baosuckhoedoisongboyte"},
+    {"id":"IUOprcJyYr4","title":"Phụ nữ táo bón có phải do lười ăn rau?","channel":"baosuckhoedoisongboyte"},
+    {"id":"YY8ojFNE-AU","title":"Quái xế tự quay clip nẹt pô đánh võng đăng TikTok bị xử lý","channel":"baosuckhoedoisongboyte"},
     {"id":"OV7_oGdQGII","title":"Bố cô dâu khóc sụt sùi rồi quẩy cực sung gây bão mạng","channel":"baosuckhoedoisongboyte"},
-    {"id":"FoxhFyz2skY","title":"Người đàn ông nước ngoài đập phá ô tô bẻ cần gạt nước ở Đà N�ng","channel":"baosuckhoedoisongboyte"},
-    {"id":"R1oC_I8dFPU","title":"Thanh niên buông tay lái đứng trên xe máy khi đổ đèo ở Đ�k L�k","channel":"baosuckhoedoisongboyte"},
-    {"id":"U0Ft6ChWAIo","title":"Cô giáo kể phút tháo chạy kh�i xe khách trước khi bị l� vò nát ở Cao Bằng","channel":"baosuckhoedoisongboyte"},
+    {"id":"FoxhFyz2skY","title":"Người đàn ông nước ngoài đập phá ô tô bẻ cần gạt nước ở Đà Nẵng","channel":"baosuckhoedoisongboyte"},
+    {"id":"R1oC_I8dFPU","title":"Thanh niên buông tay lái đứng trên xe máy khi đổ đèo ở Đắk Lắk","channel":"baosuckhoedoisongboyte"},
+    {"id":"U0Ft6ChWAIo","title":"Cô giáo kể phút tháo chạy khỏi xe khách trước khi bị lũ vò nát ở Cao Bằng","channel":"baosuckhoedoisongboyte"},
     {"id":"hH0ANeze_4E","title":"Liên tiếp hàng chục con bò bị sét đánh chết trong ngày mưa dông","channel":"baosuckhoedoisongboyte"},
     {"id":"pXWt0QbAzRQ","title":"Va chạm giao thông người phụ nữ lăng mạ tài xế ô tô","channel":"baosuckhoedoisongboyte"},
-    {"id":"UWWLPY1OYt4","title":"CSGT ch�n xe khách khống chế đối tượng cướp dây chuyền tại Gia Lai","channel":"baosuckhoedoisongboyte"},
+    {"id":"UWWLPY1OYt4","title":"CSGT chặn xe khách khống chế đối tượng cướp dây chuyền tại Gia Lai","channel":"baosuckhoedoisongboyte"},
     {"id":"AxhVTQutsuo","title":"Xuất tinh sớm và những hiểu lầm thường gặp","channel":"baosuckhoedoisongboyte"},
     {"id":"cNy6FgaNxYM","title":"Cô dâu khóc sưng mắt vì 6 chỉ vàng không cánh mày bay trong ngày cưới","channel":"baosuckhoedoisongboyte"},
     {"id":"IDt_S6q59Ro","title":"Chở bạn gái không đội mũ bảo hiểm thanh niên đấm CSGT","channel":"baosuckhoedoisongboyte"},
-    {"id":"LFxJ9Ik6W0A","title":"Mệnh lệnh từ trái tim CSGT Hà Nội m� đường đưa bé 5 tháng tuổi đi cấp c�u","channel":"baosuckhoedoisongboyte"},
+    {"id":"LFxJ9Ik6W0A","title":"Mệnh lệnh từ trái tim CSGT Hà Nội mở đường đưa bé 5 tháng tuổi đi cấp cứu","channel":"baosuckhoedoisongboyte"},
 ]
 for _v in SHORTS_FALLBACK:
     _v.setdefault("link", "https://www.youtube.com/watch?v="+_v["id"])
@@ -119,10 +119,10 @@ def _short_default(): return {"views":0,"likes":0,"shares":0,"comments":[]}
 PRIORITY_LEAGUES = ["Ngoại Hạng Anh","FA Cup","Champions League","LaLiga","Copa del Rey","Serie A","Bundesliga","Ligue 1","V-League"]
 LEAGUE_IDS = {"nha":27110,"laliga":27233,"seriea":27044,"bundesliga":26891,"ligue1":27212}
 HL_LEAGUES = {
-    "premier-league":{"path":"anh/premier-league","name":"Premier League","emoji":"�������"},
-    "fa-cup":{"path":"anh/fa-cup","name":"FA Cup","emoji":"�"},
+    "premier-league":{"path":"anh/premier-league","name":"Premier League","emoji":"🏴󠁧󠁢󠁥󠁮󠁧󠁿"},
+    "fa-cup":{"path":"anh/fa-cup","name":"FA Cup","emoji":"🏆"},
     "bundesliga":{"path":"duc/bundesliga","name":"Bundesliga","emoji":"🇩🇪"},
-    "serie-a":{"path":"italy/serie-a","name":"Serie A","emoji":"🇮�"},
+    "serie-a":{"path":"italy/serie-a","name":"Serie A","emoji":"🇮🇹"},
     "la-liga":{"path":"tay-ban-nha/la-liga","name":"La Liga","emoji":"🇪🇸"},
     "champions-league":{"path":"cup-chau-au/uefa-champions-league","name":"Champions League","emoji":"⭐"},
     "europa-league":{"path":"cup-chau-au/uefa-europa-league","name":"Europa League","emoji":"🟠"},
@@ -222,7 +222,7 @@ def proxy_img(url: str = Query(...)):
 def _scrape_xemlaibongda_page(page_path, limit=20):
     """
     Scrape video từ xemlaibongda.top - Simple & Reliable
-    Dùng logic cũ đã test, không fetch t�ng trang (tránh timeout)
+    Dùng logic cũ đã test, không fetch từng trang (tránh timeout)
     """
     try:
         url = f"https://xemlaibongda.top/{page_path}" if page_path else "https://xemlaibongda.top/"
@@ -242,7 +242,7 @@ def _scrape_xemlaibongda_page(page_path, limit=20):
             if not href.startswith("http"):
                 href = "https://xemlaibongda.top" + href
             
-            # B� query params
+            # Bỏ query params
             clean_href = href.split("?")[0].split("#")[0]
             if clean_href in seen:
                 continue
@@ -312,7 +312,7 @@ def _scrape_xemlaibongda_page(page_path, limit=20):
                 if text and len(text) >= 5:
                     title = text[:100]
             
-            # Fallback: tạo title t� slug
+            # Fallback: tạo title từ slug
             if not title or len(title) < 3:
                 slug = clean_href.split("/video/")[-1].rstrip("/").split("/xem-lai/")[-1].rstrip("/")
                 title = slug.replace("-", " ").replace("_", " ").title()
@@ -342,7 +342,7 @@ def _scrape_xemlaibongda_page(page_path, limit=20):
         return []
 
 def _extract_img_src(a_tag):
-    """Extract image URL từ th� <a> và parent elements"""
+    """Extract image URL từ thẻ <a> và parent elements"""
     img = a_tag.find("img")
     if not img and a_tag.parent: 
         img = a_tag.parent.find("img")
@@ -418,7 +418,7 @@ def _extract_title(a_tag, href):
         if alt and len(alt) >= 3:
             return alt
     
-    # 4. Thử text content của <a> (loại b� quá dài)
+    # 4. Thử text content của <a> (loại bỏ quá dài)
     text = a_tag.get_text(" ", strip=True)
     if text and len(text) >= 3:
         # Lấy dòng đầu tiên nếu có nhiều dòng
@@ -504,14 +504,27 @@ def _yt_channel_shorts_requests(channel, count=15):
     except: return []
 
 def scrape_shorts():
+    """Priority 1: runtime cache from GitHub Actions updater"""
+    cached = get_runtime_cache()
+    if cached and len(cached) >= 10:
+        return cached[:60]
+
+    # Priority 2: try live YouTube scrape (fast-fail on HF Spaces)
     vids=[]
-    with ThreadPoolExecutor(3) as ex:
-        futs=[ex.submit(_yt_channel_shorts_requests,ch,24) for ch in ["baodantri7941","baosuckhoedoisongboyte","vtvnambo"]]
-        for f in as_completed(futs):
-            try:
-                r=f.result()
-                if r: vids.extend(r)
-            except: pass
+    try:
+        with ThreadPoolExecutor(3) as ex:
+            futs=[ex.submit(_yt_channel_shorts_requests,ch,24) for ch in ["baodantri7941","baosuckhoedoisongboyte","vtvnambo"]]
+            for f in as_completed(futs, timeout=8):  # 8s cap
+                try:
+                    r=f.result()
+                    if r: vids.extend(r)
+                except: pass
+    except: pass
+
+    # Priority 3: hardcoded fallback
+    if not vids:
+        vids = list(SHORTS_FALLBACK)
+
     merged=[]; seen=set()
     for v in vids:
         vid=v.get("id")
@@ -569,6 +582,10 @@ def api_match_stats(event_id:int):return JSONResponse({"html":fetch_bongda_api(f
 
 from match_detail_v2 import fetch_match_detail, fetch_match_detail_by_url
 
+# ===== SHORTS RUNTIME CACHE (GitHub Actions updater) =====
+from shorts_cache import get_runtime_cache, set_runtime_cache, get_cache_status, SHORTS_UPDATE_SECRET
+import hmac, hashlib as _hashlib
+
 @app.get("/api/match/{event_id}/detail")
 def api_match_detail(event_id: int, url: str = Query(default="")):
     try:
@@ -725,7 +742,7 @@ def api_bdp_videos():
     return JSONResponse(_cached("bdp_videos",_f))
 
 # ===== NEWS =====
-VNE_CATS={"thoi-su":("https://vnexpress.net/thoi-su","Thời Sự"),"the-gioi":("https://vnexpress.net/the-gioi","Thế Giới"),"kinh-doanh":("https://vnexpress.net/kinh-doanh","Kinh Doanh"),"the-thao":("https://vnexpress.net/the-thao","Thể Thao"),"giai-tri":("https://vnexpress.net/giai-tri","Giải Trí"),"suc-khoe":("https://vnexpress.net/suc-khoe","S�c Kh�e"),"phap-luat":("https://vnexpress.net/phap-luat","Pháp Luật"),"giao-duc":("https://vnexpress.net/giao-duc","Giáo Dục"),"du-lich":("https://vnexpress.net/du-lich","Du Lịch"),"doi-song":("https://vnexpress.net/doi-song","Đời Sống")}
+VNE_CATS={"thoi-su":("https://vnexpress.net/thoi-su","Thời Sự"),"the-gioi":("https://vnexpress.net/the-gioi","Thế Giới"),"kinh-doanh":("https://vnexpress.net/kinh-doanh","Kinh Doanh"),"the-thao":("https://vnexpress.net/the-thao","Thể Thao"),"giai-tri":("https://vnexpress.net/giai-tri","Giải Trí"),"suc-khoe":("https://vnexpress.net/suc-khoe","Sức Khỏe"),"phap-luat":("https://vnexpress.net/phap-luat","Pháp Luật"),"giao-duc":("https://vnexpress.net/giao-duc","Giáo Dục"),"du-lich":("https://vnexpress.net/du-lich","Du Lịch"),"doi-song":("https://vnexpress.net/doi-song","Đời Sống")}
 
 def scrape_vne(cat_url):
     try:
@@ -871,7 +888,59 @@ def api_storage_status():
 def api_hot_topics():
     return JSONResponse({"topics":[]})
 
+# ===== SHORTS EXTERNAL UPDATER ENDPOINTS =====
+@app.get("/api/shorts/status")
+def api_shorts_updater_status():
+    """Check shorts cache status"""
+    return JSONResponse(get_cache_status())
+
+@app.post("/api/shorts/update")
+async def api_shorts_updater(request: Request):
+    """Receive fresh shorts from GitHub Actions updater
+    
+    Headers:
+        X-Signature: HMAC-SHA256(body, SHORTS_UPDATE_SECRET)
+    Body:
+        {"items": [...], "source": "yt-dlp", "fetched_at": timestamp}
+    """
+    body = await request.body()
+    sig = request.headers.get("X-Signature", "")
+
+    # Verify HMAC signature
+    expected = _hashlib.new('sha256', body, usedforsecurity=False)
+    # Use hmac properly
+    import hmac as hmac_mod
+    expected_sig = hmac_mod.new(
+        SHORTS_UPDATE_SECRET.encode(),
+        body,
+        _hashlib.sha256
+    ).hexdigest()
+
+    if not hmac_mod.compare_digest(sig, expected_sig):
+        from fastapi import HTTPException
+        raise HTTPException(status_code=401, detail="invalid signature")
+
+    try:
+        data = json.loads(body)
+    except:
+        from fastapi import HTTPException
+        raise HTTPException(status_code=400, detail="invalid JSON")
+
+    items = data.get("items", [])
+    if not items:
+        from fastapi import HTTPException
+        raise HTTPException(status_code=400, detail="no items")
+
+    count = set_runtime_cache(items)
+    return JSONResponse({
+        "ok": True,
+        "saved": count,
+        "source": data.get("source", "unknown"),
+        "fetched_at": data.get("fetched_at", time.time()),
+    })
+
 @app.get("/", response_class=HTMLResponse)
 async def root():
-    return HTMLResponse("<h1>VNEWS</h1><p>Running</p>")
-# v14 rebuild 2026-06-18T12:21:41.503230
+    return HTMLResponse("<h1>VNEWS v15</h1><p>Shorts external updater active</p>")
+# v15 2026-06-29 - shorts external updater
+