Upload main.py

main.py

@@ -1,5 +1,5 @@
 """VNEWS - FastAPI backend with livescore + xemlaibongda highlights + YouTube VTV shorts"""
-import hashlib, re, time, subprocess, json, os, threading
+import re, time, subprocess, json, os, threading
 import html as html_lib
 from datetime import datetime, timezone, timedelta
 
@@ -7,7 +7,7 @@ VN_TZ = timezone(timedelta(hours=7))
 from concurrent.futures import ThreadPoolExecutor, as_completed
 from fastapi import FastAPI, Query, Request
 from fastapi.responses import HTMLResponse, JSONResponse, StreamingResponse, Response
-from urllib.parse import unquote, quote, urlencode
+from urllib.parse import quote
 import requests
 from bs4 import BeautifulSoup
 
@@ -20,46 +20,45 @@ app.include_router(vtv_router)
 HEADERS = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36","Accept-Language":"vi-VN,vi;q=0.9,en;q=0.8"}
 BONGDA_HEADERS = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36","Accept-Language":"vi-VN,vi;q=0.9","Referer":"https://bongda.com.vn/lich-thi-dau","X-Requested-With":"XMLHttpRequest"}
 BASE_BDP = "https://bongdaplus.vn"
-SPACE_URL = "https://bep40-vnews.hf.space"
 _cache = {}
 _cache_ttl = 300
 _cache_ttl_live = 60
 _cache_ttl_yt = 1800
 
-# ===== VTV NAM BỘ SHORTS FALLBACK =====
+# ===== VTV NAM BO SHORTS FALLBACK =====
 SHORTS_FALLBACK = [
     {"id":"nqlLH6chLRo","title":"Tin nóng VTV Nam Bộ | #shorts","channel":"vtvnambo"},
     {"id":"E7Kq0v3hG6w","title":"VTV Nam Bộ - Tin tức miền Nam | #shorts","channel":"vtvnambo"},
-    {"id":"Lu_iCQ5YwNM","title":"Công an lập hồ sơ xử lý người phụ nữ chửi bới, tát nam tài xế ô tô ở Hà Nội","channel":"baodantri7941"},
+    {"id":"Lu_iCQ5YwNM","title":"Công an lập hồ sơ xử lý người phụ nữ chửi bới tát nam tài xế ô tô ở Hà Nội","channel":"baodantri7941"},
     {"id":"CwWvijF8BOA","title":"Chú rể Ninh Bình bật khóc nhận món quà bí mật người cha quá cố gửi 26 năm trước","channel":"baodantri7941"},
     {"id":"tvPewsc2ph4","title":"Tính năng ẩn trên iPhone giúp giảm mỏi mắt","channel":"baodantri7941"},
     {"id":"b1Nxzv9ixlU","title":"Y án 3 năm tù với nữ tài xế uống 8 lon bia lái xe tông chủ tịch xã tử vong","channel":"baodantri7941"},
     {"id":"Xp5eTwAZAis","title":"Người đánh hàng xóm tại chung cư ở Hà Nội bị tuyên hơn 4 tháng tù","channel":"baodantri7941"},
     {"id":"Htzvwg6iOBM","title":"Xe điện Audi S6 Sportback e-tron có gì đặc biệt?","channel":"baodantri7941"},
     {"id":"iMdFmWvYdlo","title":"Cô gái người Nga yêu thời trang và đất nước Việt Nam","channel":"baodantri7941"},
-    {"id":"IVaRc6moEv8","title":"Người nông dân Trung Quốc đột quỵ, bệnh viện giúp bán sạch 4 tấn táo","channel":"baodantri7941"},
-    {"id":"uVxqPxToItU","title":"Công an vào cuộc vụ người phụ nữ chửi bới, hành hung tài xế ô tô ở Hà Nội","channel":"baodantri7941"},
+    {"id":"IVaRc6moEv8","title":"Người nông dân Trung Quốc đột quỵ bệnh viện giúp bán sạch 4 tấn táo","channel":"baodantri7941"},
+    {"id":"uVxqPxToItU","title":"Công an vào cuộc vụ người phụ nữ chửi bới hành hung tài xế ô tô ở Hà Nội","channel":"baodantri7941"},
     {"id":"VAfgNNgZDRs","title":"Khởi tố 4 đối tượng ném bom xăng vào nhà dân ở Đồng Nai","channel":"baodantri7941"},
     {"id":"sBH_-zGh0Xw","title":"Vì sao Times New Roman vẫn nổi tiếng sau hàng chục năm?","channel":"baodantri7941"},
     {"id":"woKn5f2bLHM","title":"Quảng Ninh ngập sâu diện rộng sau đợt mưa lớn","channel":"baodantri7941"},
     {"id":"bcpgRoxbLPw","title":"Giông lốc quật bay mái tôn ở TP.HCM","channel":"baodantri7941"},
     {"id":"ZIIC5osy544","title":"Bé trai Trung Quốc rơi từ tầng 11 vẫn sống sót kỳ diệu","channel":"baodantri7941"},
-    {"id":"uTMJ49NQpyc","title":"Sau lớp mascot 40kg: Câu chuyện mưu sinh của người trẻ ở TPHCM","channel":"baodantri7941"},
+    {"id":"uTMJ49NQpyc","title":"Sau lớp mascot 40kg Câu chuyện mưu sinh của người trẻ ở TPHCM","channel":"baodantri7941"},
     {"id":"7Pd6vZ2Lz1M","title":"Hành động ấm lòng của người đàn ông tìm kiếm 5 học sinh tử vong ở sông Lô","channel":"baosuckhoedoisongboyte"},
-    {"id":"SlHLt_ZyPiE","title":"Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc - Nam","channel":"baosuckhoedoisongboyte"},
+    {"id":"SlHLt_ZyPiE","title":"Xử phạt người đàn ông xóa số điện thoại cứu hộ trên cao tốc Bắc Nam","channel":"baosuckhoedoisongboyte"},
     {"id":"IUOprcJyYr4","title":"Phụ nữ táo bón có phải do lười ăn rau?","channel":"baosuckhoedoisongboyte"},
-    {"id":"YY8ojFNE-AU","title":"Quái xế tự quay clip nẹt pô, đánh võng đăng TikTok bị xử lý","channel":"baosuckhoedoisongboyte"},
+    {"id":"YY8ojFNE-AU","title":"Quái xế tự quay clip nẹt pô đánh võng đăng TikTok bị xử lý","channel":"baosuckhoedoisongboyte"},
     {"id":"OV7_oGdQGII","title":"Bố cô dâu khóc sụt sùi rồi quẩy cực sung gây bão mạng","channel":"baosuckhoedoisongboyte"},
-    {"id":"FoxhFyz2skY","title":"Người đàn ông nước ngoài đập phá ô tô, bẻ cần gạt nước ở Đà Nẵng","channel":"baosuckhoedoisongboyte"},
-    {"id":"R1oC_I8dFPU","title":"Thanh niên buông tay lái, đứng trên xe máy khi đổ đèo ở Đắk Lắk","channel":"baosuckhoedoisongboyte"},
+    {"id":"FoxhFyz2skY","title":"Người đàn ông nước ngoài đập phá ô tô bẻ cần gạt nước ở Đà Nẵng","channel":"baosuckhoedoisongboyte"},
+    {"id":"R1oC_I8dFPU","title":"Thanh niên buông tay lái đứng trên xe máy khi đổ đèo ở Đắk Lắk","channel":"baosuckhoedoisongboyte"},
     {"id":"U0Ft6ChWAIo","title":"Cô giáo kể phút tháo chạy khỏi xe khách trước khi bị lũ vò nát ở Cao Bằng","channel":"baosuckhoedoisongboyte"},
     {"id":"hH0ANeze_4E","title":"Liên tiếp hàng chục con bò bị sét đánh chết trong ngày mưa dông","channel":"baosuckhoedoisongboyte"},
-    {"id":"pXWt0QbAzRQ","title":"Va chạm giao thông, người phụ nữ lăng mạ tài xế ô tô","channel":"baosuckhoedoisongboyte"},
+    {"id":"pXWt0QbAzRQ","title":"Va chạm giao thông người phụ nữ lăng mạ tài xế ô tô","channel":"baosuckhoedoisongboyte"},
     {"id":"UWWLPY1OYt4","title":"CSGT chặn xe khách khống chế đối tượng cướp dây chuyền tại Gia Lai","channel":"baosuckhoedoisongboyte"},
     {"id":"AxhVTQutsuo","title":"Xuất tinh sớm và những hiểu lầm thường gặp","channel":"baosuckhoedoisongboyte"},
     {"id":"cNy6FgaNxYM","title":"Cô dâu khóc sưng mắt vì 6 chỉ vàng không cánh mà bay trong ngày cưới","channel":"baosuckhoedoisongboyte"},
-    {"id":"IDt_S6q59Ro","title":"Chở bạn gái không đội mũ bảo hiểm, thanh niên đấm CSGT","channel":"baosuckhoedoisongboyte"},
-    {"id":"LFxJ9Ik6W0A","title":"Mệnh lệnh từ trái tim: CSGT Hà Nội mở đường đưa bé 5 tháng tuổi đi cấp cứu","channel":"baosuckhoedoisongboyte"},
+    {"id":"IDt_S6q59Ro","title":"Chở bạn gái không đội mũ bảo hiểm thanh niên đấm CSGT","channel":"baosuckhoedoisongboyte"},
+    {"id":"LFxJ9Ik6W0A","title":"Mệnh lệnh từ trái tim CSGT Hà Nội mở đường đưa bé 5 tháng tuổi đi cấp cứu","channel":"baosuckhoedoisongboyte"},
 ]
 for _v in SHORTS_FALLBACK:
     _v.setdefault("link", "https://www.youtube.com/watch?v="+_v["id"])
@@ -82,20 +81,7 @@ def _save_short_db(db):
         os.replace(tmp, SHORT_STATS_FILE)
     except: pass
 def _short_default(): return {"views":0,"likes":0,"shares":0,"comments":[]}
-WALL_FILE = "/data/wall_posts.json" if os.path.isdir("/data") else "/app/wall_posts.json"
-def _load_wall():
-    try:
-        if os.path.exists(WALL_FILE):
-            with open(WALL_FILE,"r",encoding="utf-8") as f: return json.load(f)
-    except: pass
-    return []
-def _save_wall(posts):
-    try:
-        os.makedirs(os.path.dirname(WALL_FILE), exist_ok=True)
-        tmp = WALL_FILE + ".tmp"
-        with open(tmp,"w",encoding="utf-8") as f: json.dump(posts[:100], f, ensure_ascii=False)
-        os.replace(tmp, WALL_FILE)
-    except: pass
+
 PRIORITY_LEAGUES = ["Ngoại Hạng Anh","FA Cup","Champions League","LaLiga","Copa del Rey","Serie A","Bundesliga","Ligue 1","V-League"]
 LEAGUE_IDS = {"nha":27110,"laliga":27233,"seriea":27044,"bundesliga":26891,"ligue1":27212}
 HL_LEAGUES = {
@@ -236,15 +222,6 @@ def _scrape_xemlaibongda_page(page_path, limit=20):
             if not title or len(title) < 3: continue
             videos.append({"title":title,"link":href,"img":img_src,"source":"xemlaibongda"})
             if len(videos) >= limit: break
-        if not videos:
-            for vid_el in soup.find_all("video"):
-                src = vid_el.get("src",""); poster = vid_el.get("poster","")
-                source_el = vid_el.find("source")
-                if not src and source_el: src = source_el.get("src","")
-                if src:
-                    title = poster.rsplit("/",1)[-1].rsplit(".",1)[0].replace("-"," ").title() if poster else "Video"
-                    videos.append({"title":title,"link":src,"img":poster,"source":"xemlaibongda"})
-                    if len(videos) >= limit: break
         return videos
     except: return []
 
@@ -282,7 +259,7 @@ def extract_xemlaibongda_video(url):
         return None
     except: return None
 
-# ===== YOUTUBE SHORTS SCRAPING (legacy requests fallback) =====
+# ===== YOUTUBE SHORTS SCRAPING =====
 def _yt_channel_shorts_requests(channel, count=15):
     try:
         url=f"https://www.youtube.com/@{channel}/shorts"
@@ -324,16 +301,14 @@ def scrape_shorts():
         seen.add(vid); merged.append(v)
     return merged[:60]
 
-# ===== VTV NAM BỘ & WC SHORTS - using yt-dlp =====
+# ===== VTV NAM BO & WC SHORTS - using yt-dlp =====
 from yt_scraper import get_vtvnambo_shorts, get_wc_related_shorts
 
 @app.get("/api/shorts/vtvnamo")
 def api_shorts_vtvnamo(count: int = Query(default=50, le=100)):
-    """Get all shorts from VTV Nam Bộ channel (@vtvnambo) using yt-dlp."""
     items = get_vtvnambo_shorts(count)
     if not items:
         items = [v for v in SHORTS_FALLBACK if v.get("channel") == "vtvnambo"]
-    # Ensure nqlLH6chLRo is always first
     nql = [v for v in items if v.get("id") == "nqlLH6chLRo"]
     rest = [v for v in items if v.get("id") != "nqlLH6chLRo"]
     items = nql + rest
@@ -341,7 +316,6 @@ def api_shorts_vtvnamo(count: int = Query(default=50, le=100)):
 
 @app.get("/api/shorts/wc")
 def api_shorts_wc(count: int = Query(default=50, le=100)):
-    """Get World Cup / football related shorts using yt-dlp."""
     items = get_wc_related_shorts(count)
     if not items:
         items = [v for v in SHORTS_FALLBACK if v.get("channel") == "vtvnambo"]
@@ -530,7 +504,7 @@ def scrape_genk_ai():
 
 @app.get("/api/homepage")
 def api_homepage():
-    def _f()
+    def _f():
         articles=[]
         with ThreadPoolExecutor(12) as ex:
             futs={ex.submit(scrape_vne,VNE_CATS[k][0]):VNE_CATS[k][1] for k in["thoi-su","the-gioi","kinh-doanh","the-thao","giai-tri","phap-luat","giao-duc","du-lich","doi-song"]}