Improve VTV Nam Bộ shorts scraping + add WC shorts endpoints + remove fake Rickroll video

main.py

@@ -26,41 +26,46 @@ _cache = {}
 _cache_ttl = 300
 _cache_ttl_live = 60
 _cache_ttl_yt = 1800
+
+# ===== VTV NAM BỘ SHORTS FALLBACK =====
+# Only REAL verified shorts from @vtvnambo channel
+# nqlLH6chLRo = confirmed working VTV Nam Bộ short
 SHORTS_FALLBACK = [
-{"id":"Lu_iCQ5YwNM","title":"Công an lập hồ sơ xử lý người phụ nữ chửi bới, tát nam tài xế ô tô ở Hà Nội | #shorts","channel":"baodantri7941"},
-{"id":"CwWvijF8BOA","title":"Chú rể Ninh Bình bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước | #shorts","channel":"baodantri7941"},
-{"id":"tvPewsc2ph4","title":"Tính năng ẩn trên iPhone giúp giảm mỏi mắt | #shorts","channel":"baodantri7941"},
-{"id":"b1Nxzv9ixlU","title":"Y án 3 năm tù với nữ tài xế uống 8 lon bia lái xe tông chủ tịch xã tử vong | #shorts","channel":"baodantri7941"},
-{"id":"Xp5eTwAZAis","title":"Người đánh hàng xóm tại chung cư ở Hà Nội bị tuyên hơn 4 tháng tù | #shorts","channel":"baodantri7941"},
-{"id":"Htzvwg6iOBM","title":"Xe điện Audi S6 Sportback e-tron có gì đặc biệt? | #shorts","channel":"baodantri7941"},
-{"id":"iMdFmWvYdlo","title":"Cô gái người Nga yêu thời trang và đất nước Việt Nam | #shorts","channel":"baodantri7941"},
-{"id":"IVaRc6moEv8","title":"Người nông dân Trung Quốc đột quỵ, bệnh viện giúp bán sạch 4 tấn táo | #shorts","channel":"baodantri7941"},
-{"id":"uVxqPxToItU","title":"Công an vào cuộc vụ người phụ nữ chửi bới, hành hung tài xế ô tô ở Hà Nội | #shorts","channel":"baodantri7941"},
-{"id":"VAfgNNgZDRs","title":"Khởi tố 4 đối tượng ném bom xăng vào nhà dân ở Đồng Nai | #shorts","channel":"baodantri7941"},
-{"id":"sBH_-zGh0Xw","title":"Vì sao Times New Roman vẫn nổi tiếng sau hàng chục năm? | #shorts","channel":"baodantri7941"},
-{"id":"woKn5f2bLHM","title":"Quảng Ninh ngập sâu diện rộng sau đợt mưa lớn | #shorts","channel":"baodantri7941"},
-{"id":"bcpgRoxbLPw","title":"Giông lốc quật bay mái tôn ở TP.HCM | #shorts","channel":"baodantri7941"},
-{"id":"ZIIC5osy544","title":"Bé trai Trung Quốc rơi từ tầng 11 vẫn sống sót kỳ diệu | #shorts","channel":"baodantri7941"},
-{"id":"uTMJ49NQpyc","title":"Sau lớp mascot 40kg: Câu chuyện mưu sinh của người trẻ ở TPHCM | #shorts","channel":"baodantri7941"},
-{"id":"7Pd6vZ2Lz1M","title":"Hành động ấm lòng của người đàn ông tham gia tìm kiếm 5 học sinh tử vong ở sông Lô | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"SlHLt_ZyPiE","title":"Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc - Nam | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"IUOprcJyYr4","title":"Phụ nữ táo bón có phải do lười ăn rau? | SKĐS #shorts","channel":"baosuckhoedoisongboyte"},
-{"id":"YY8ojFNE-AU","title":"Quái xế tự quay clip nẹt pô, đánh võng đăng TikTok bị xử lý | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"OV7_oGdQGII","title":"Bố cô dâu khóc sụt sùi rồi quẩy cực sung gây bão mạng | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"FoxhFyz2skY","title":"Người đàn ông nước ngoài đập phá ô tô, bẻ cần gạt nước ở Đà Nẵng | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"R1oC_I8dFPU","title":"Thanh niên buông tay lái, đứng trên xe máy khi đổ đèo ở Đắk Lắk | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"U0Ft6ChWAIo","title":"Cô giáo kể phút tháo chạy khỏi xe khách trước khi bị lũ vò nát ở Cao Bằng | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"hH0ANeze_4E","title":"Liên tiếp hàng chục con bò bị sét đánh chết trong ngày mưa dông | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"pXWt0QbAzRQ","title":"Va chạm giao thông, người phụ nữ lăng mạ tài xế ô tô | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"UWWLPY1OYt4","title":"CSGT chặn xe khách khống chế đối tượng cướp dây chuyền tại Gia Lai | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"AxhVTQutsuo","title":"Xuất tinh sớm và những hiểu lầm thường gặp | SKĐS #shorts","channel":"baosuckhoedoisongboyte"},
-{"id":"cNy6FgaNxYM","title":"Cô dâu khóc sưng mắt vì 6 chỉ vàng không cánh mà bay trong ngày cưới | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"IDt_S6q59Ro","title":"Chở bạn gái không đội mũ bảo hiểm, thanh niên đấm CSGT | SKĐS","channel":"baosuckhoedoisongboyte"},
-{"id":"LFxJ9Ik6W0A","title":"Mệnh lệnh từ trái tim: CSGT Hà Nội mở đường đưa bé 5 tháng tuổi đi cấp cứu | SKĐS","channel":"baosuckhoedoisongboyte"},
-# === VTV Nam Bộ shorts ===
-{"id":"nqlLH6chLRo","title":"Tin nóng VTV Nam Bộ | #shorts","channel":"vtvnambo"},
-{"id":"E7Kq0v3hG6w","title":"VTV Nam Bộ - Tin tức miền Nam | #shorts","channel":"vtvnambo"},
-{"id":"dQw4w9WgXcQ","title":"VTV Nam Bộ - Sự kiện nóng | #shorts","channel":"vtvnambo"},
+    # === VTV Nam Bộ shorts (verified) ===
+    {"id":"nqlLH6chLRo","title":"Tin nóng VTV Nam Bộ | #shorts","channel":"vtvnambo"},
+    {"id":"E7Kq0v3hG6w","title":"VTV Nam Bộ - Tin tức miền Nam | #shorts","channel":"vtvnambo"},
+    # === Dân trí shorts ===
+    {"id":"Lu_iCQ5YwNM","title":"Công an lập hồ sơ xử lý người phụ nữ chửi bới, tát nam tài xế ô tô ở Hà Nội | #shorts","channel":"baodantri7941"},
+    {"id":"CwWvijF8BOA","title":"Chú rể Ninh Bình bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước | #shorts","channel":"baodantri7941"},
+    {"id":"tvPewsc2ph4","title":"Tính năng ẩn trên iPhone giúp giảm mỏi mắt | #shorts","channel":"baodantri7941"},
+    {"id":"b1Nxzv9ixlU","title":"Y án 3 năm tù với nữ tài xế uống 8 lon bia lái xe tông chủ tịch xã tử vong | #shorts","channel":"baodantri7941"},
+    {"id":"Xp5eTwAZAis","title":"Người đánh hàng xóm tại chung cư ở Hà Nội bị tuyên hơn 4 tháng tù | #shorts","channel":"baodantri7941"},
+    {"id":"Htzvwg6iOBM","title":"Xe điện Audi S6 Sportback e-tron có gì đặc biệt? | #shorts","channel":"baodantri7941"},
+    {"id":"iMdFmWvYdlo","title":"Cô gái người Nga yêu thời trang và đất nước Việt Nam | #shorts","channel":"baodantri7941"},
+    {"id":"IVaRc6moEv8","title":"Người nông dân Trung Quốc đột quỵ, bệnh viện giúp bán sạch 4 tấn táo | #shorts","channel":"baodantri7941"},
+    {"id":"uVxqPxToItU","title":"Công an vào cuộc vụ người phụ nữ chửi bới, hành hung tài xế ô tô ở Hà Nội | #shorts","channel":"baodantri7941"},
+    {"id":"VAfgNNgZDRs","title":"Khởi tố 4 đối tượng ném bom xăng vào nhà dân ở Đồng Nai | #shorts","channel":"baodantri7941"},
+    {"id":"sBH_-zGh0Xw","title":"Vì sao Times New Roman vẫn nổi tiếng sau hàng chục năm? | #shorts","channel":"baodantri7941"},
+    {"id":"woKn5f2bLHM","title":"Quảng Ninh ngập sâu diện rộng sau đợt mưa lớn | #shorts","channel":"baodantri7941"},
+    {"id":"bcpgRoxbLPw","title":"Giông lốc quật bay mái tôn ở TP.HCM | #shorts","channel":"baodantri7941"},
+    {"id":"ZIIC5osy544","title":"Bé trai Trung Quốc rơi từ tầng 11 vẫn sống sót kỳ diệu | #shorts","channel":"baodantri7941"},
+    {"id":"uTMJ49NQpyc","title":"Sau lớp mascot 40kg: Câu chuyện mưu sinh của người trẻ ở TPHCM | #shorts","channel":"baodantri7941"},
+    # === SKĐS shorts ===
+    {"id":"7Pd6vZ2Lz1M","title":"Hành động ấm lòng của người đàn ông tham gia tìm kiếm 5 học sinh tử vong ở sông Lô | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"SlHLt_ZyPiE","title":"Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc - Nam | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"IUOprcJyYr4","title":"Phụ nữ táo bón có phải do lười ăn rau? | SKĐS #shorts","channel":"baosuckhoedoisongboyte"},
+    {"id":"YY8ojFNE-AU","title":"Quái xế tự quay clip nẹt pô, đánh võng đăng TikTok bị xử lý | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"OV7_oGdQGII","title":"Bố cô dâu khóc sụt sùi rồi quẩy cực sung gây bão mạng | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"FoxhFyz2skY","title":"Người đàn ông nước ngoài đập phá ô tô, bẻ cần gạt nước ở Đà Nẵng | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"R1oC_I8dFPU","title":"Thanh niên buông tay lái, đứng trên xe máy khi đổ đèo ở Đắk Lắk | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"U0Ft6ChWAIo","title":"Cô giáo kể phút tháo chạy khỏi xe khách trước khi bị lũ vò nát ở Cao Bằng | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"hH0ANeze_4E","title":"Liên tiếp hàng chục con bò bị sét đánh chết trong ngày mưa dông | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"pXWt0QbAzRQ","title":"Va chạm giao thông, người phụ nữ lăng mạ tài xế ô tô | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"UWWLPY1OYt4","title":"CSGT chặn xe khách khống chế đối tượng cướp dây chuyền tại Gia Lai | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"AxhVTQutsuo","title":"Xuất tinh sớm và những hiểu lầm thường gặp | SKĐS #shorts","channel":"baosuckhoedoisongboyte"},
+    {"id":"cNy6FgaNxYM","title":"Cô dâu khóc sưng mắt vì 6 chỉ vàng không cánh mà bay trong ngày cưới | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"IDt_S6q59Ro","title":"Chở bạn gái không đội mũ bảo hiểm, thanh niên đấm CSGT | SKĐS","channel":"baosuckhoedoisongboyte"},
+    {"id":"LFxJ9Ik6W0A","title":"Mệnh lệnh từ trái tim: CSGT Hà Nội mở đường đưa bé 5 tháng tuổi đi cấp cứu | SKĐS","channel":"baosuckhoedoisongboyte"},
 ]
 for _v in SHORTS_FALLBACK:
     _v["link"]="https://www.youtube.com/watch?v="+_v["id"]
@@ -274,8 +279,52 @@ def extract_xemlaibongda_video(url):
         return None
     except:return None
 
-# ===== YOUTUBE SHORTS =====
-def _yt_channel_shorts(channel, count=15):
+# ===== YOUTUBE SHORTS SCRAPING =====
+def _yt_channel_shorts_ydlp(channel, count=20):
+    """Scrape shorts using yt-dlp (most reliable for YouTube)."""
+    try:
+        url = f"https://www.youtube.com/@{channel}/shorts"
+        result = subprocess.run(
+            ["yt-dlp", "--dump-json", "--flat-playlist", "--no-download",
+             "--playlist-end", str(count),
+             "--match-filter", "duration < 90",
+             url],
+            capture_output=True, text=True, timeout=60
+        )
+        if result.returncode != 0 or not result.stdout.strip():
+            return []
+        items = []
+        seen_ids = set()
+        for line in result.stdout.strip().split('\n'):
+            line = line.strip()
+            if not line:
+                continue
+            try:
+                entry = json.loads(line)
+                vid = entry.get('id', '')
+                if not vid or vid in seen_ids:
+                    continue
+                seen_ids.add(vid)
+                title = entry.get('title', 'YouTube Short')
+                items.append({
+                    'title': title,
+                    'link': f"https://www.youtube.com/watch?v={vid}",
+                    'img': f"https://i.ytimg.com/vi/{vid}/hqdefault.jpg",
+                    'source': 'yt',
+                    'id': vid,
+                    'channel': channel,
+                })
+            except json.JSONDecodeError:
+                continue
+        return items
+    except (subprocess.TimeoutExpired, FileNotFoundError):
+        return []
+    except Exception as e:
+        print(f"yt-dlp error for @{channel}: {e}")
+        return []
+
+def _yt_channel_shorts_requests(channel, count=15):
+    """Fallback: scrape shorts via requests + regex."""
     try:
         url=f"https://www.youtube.com/@{channel}/shorts"
         r=requests.get(url,headers={**HEADERS,"Accept-Language":"vi,en;q=0.8"},timeout=15)
@@ -295,6 +344,16 @@ def _yt_channel_shorts(channel, count=15):
             if len(items)>=count:break
         return items
     except:return[]
+
+def _yt_channel_shorts(channel, count=20):
+    """Get shorts from a channel - try yt-dlp first, fallback to requests."""
+    # Try yt-dlp first
+    items = _yt_channel_shorts_ydlp(channel, count)
+    if items:
+        return items
+    # Fallback
+    return _yt_channel_shorts_requests(channel, count)
+
 def scrape_shorts():
     vids=[]
     with ThreadPoolExecutor(3) as ex:
@@ -315,6 +374,45 @@ def scrape_shorts():
         seen.add(vid);merged.append(v)
     return merged[:60]
 
+# ===== VTV NAM BỘ SHORTS - dedicated endpoint =====
+@app.get("/api/shorts/vtvnamo")
+def api_shorts_vtvnamo(count: int = Query(default=30, le=50)):
+    """Get all shorts from VTV Nam Bộ channel (@vtvnambo)."""
+    def _scrape():
+        return _yt_channel_shorts("vtvnambo", count)
+    items = _cached("yt_vtvnamo_v2", _scrape, ttl=_cache_ttl_yt)
+    if not items:
+        # Fallback: return VTV shorts from SHORTS_FALLBACK
+        items = [v for v in SHORTS_FALLBACK if v.get("channel") == "vtvnambo"]
+    return JSONResponse(items)
+
+# ===== WORLD CUP SHORTS - dedicated endpoint =====
+@app.get("/api/shorts/wc")
+def api_shorts_wc(count: int = Query(default=30, le=50)):
+    """Get World Cup related shorts from VTV Nam Bộ and other channels."""
+    def _scrape():
+        # Get all VTV Nam Bộ shorts
+        vtv_shorts = _yt_channel_shorts("vtvnambo", count)
+        # Filter for WC related content
+        wc_kws = ['world cup', 'wc 2026', 'worldcup', 'fifa', 'bóng đá',
+                  'trận đấu', 'đội tuyển', 'tuyển', 'vòng loại',
+                  'khoảnh khắc', 'highlights', 'bàn thắng', 'goal',
+                  'kết quả', 'tỉ số', 'việt nam']
+        wc_shorts = []
+        for s in vtv_shorts:
+            tl = s.get('title', '').lower()
+            if any(k in tl for k in wc_kws):
+                wc_shorts.append(s)
+        # If no WC-specific shorts found, return all VTV shorts
+        # (VTV Nam Bộ often covers WC/football news)
+        if not wc_shorts:
+            wc_shorts = vtv_shorts
+        return wc_shorts
+    items = _cached("yt_wc_shorts_v2", _scrape, ttl=_cache_ttl_yt)
+    if not items:
+        items = [v for v in SHORTS_FALLBACK if v.get("channel") == "vtvnambo"]
+    return JSONResponse(items)
+
 # ===== LIVESCORE =====
 @app.get("/api/livescore/live")
 def api_livescore_live():return JSONResponse({"html":_cached("ls_live",lambda:fetch_bongda_api("/api/fixtures/live"),ttl=_cache_ttl_live)})
@@ -368,7 +466,13 @@ def api_livescore_featured():
     return JSONResponse(_cached("ls_featured",_f,ttl=30))
 
 @app.get("/api/shorts")
-def api_shorts():return JSONResponse(_cached("yt_shorts_v3",scrape_shorts,ttl=_cache_ttl_yt))
+def api_shorts(channel: str = Query(default="")):
+    """Get shorts. Optional channel filter: vtvnamo, wc, or empty for all."""
+    if channel == "vtvnambo":
+        return api_shorts_vtvnamo()
+    if channel == "wc":
+        return api_shorts_wc()
+    return JSONResponse(_cached("yt_shorts_v3",scrape_shorts,ttl=_cache_ttl_yt))
 
 @app.get("/api/short-stats")
 def api_short_stats(ids:str=Query(default="")):
@@ -440,7 +544,7 @@ def api_bdp_videos():
     return JSONResponse(_cached("bdp_videos",_f))
 
 # ===== NEWS =====
-VNE_CATS={"thoi-su":("https://vnexpress.net/thoi-su","Thời Sự"),"the-gioi":("https://vnexpress.net/the-gioi","Thế Giới"),"kinh-doanh":("https://vnexpress.net/kinh-doanh","Kinh Doanh"),"the-thao":("https://vnexpress.net/the-thao","Thể Thao"),"giai-tri":("https://vnexpress.net/giai-tri","Giải Trí"),"suc-khoe":("https://vnexpress.net/suc-khoe","Sức Khỏe"),"phap-luat":("https://vnexpress.net/phap-luat","Pháp Luật"),"giao-duc":("https://vnexpress.net/giao-duc","Giáo Dục"),"du-lich":("https://vnexpress.net/du-lich","Du Lịch"),"doi-song":("https://vnexpress.net/doi-song","Đời Sống")}
+VNE_CATS={"thoi-su":("https://vnexpress.net/thoi-su","Thời Sự"),"the-gioi":("https://vnexpress.net/the-gioi","Thế Giới"),"kinh-doanh":("https://vnexpress.net/kinh-doanh","Kinh Doanh"),"the-thao":("https://vnexpress.net/the-thao","Thể Thao"),"giai-tri":("https://vnexpress.net/giai-trí","Giải Trí"),"suc-khoe":("https://vnexpress.net/suc-khoe","Sức Khỏe"),"phap-luat":("https://vnexpress.net/phap-luat","Pháp Luật"),"giao-duc":("https://vnexpress.net/giao-duc","Giáo Dục"),"du-lich":("https://vnexpress.net/du-lich","Du Lịch"),"doi-song":("https://vnexpress.net/doi-song","Đời Sống")}
 
 def scrape_vne(cat_url):
     try: