every 30 times upload once

logger_service.py

@@ -1,29 +1,19 @@
 import os
 import pandas as pd
-from huggingface_hub import hf_hub_download, upload_file, login
+from huggingface_hub import upload_file, login
 
 # --- 配置區 ---
 DATASET_REPO_ID = "My-Project-Team/Digital-Bodyguard-Dataset" 
 CSV_FILENAME = "baseline_logs.csv"
 HF_TOKEN = os.getenv("HF_TOKEN")
 
+# 🌟 新增：批次上傳門檻 (每累積幾筆資料才備份到雲端一次)
+BATCH_SIZE = 30  
+unsynced_count = 0  # 計算目前累積了幾筆未上傳的操作
+
 if HF_TOKEN:
     login(token=HF_TOKEN)
 
-def sync_from_hf():
-    """從雲端下載最新的 CSV 並回傳 DataFrame"""
-    try:
-        path = hf_hub_download(
-            repo_id=DATASET_REPO_ID,
-            filename=CSV_FILENAME,
-            repo_type="dataset",
-            token=HF_TOKEN
-        )
-        return pd.read_csv(path)
-    except Exception as e:
-        print(f"⚠️ 無法下載資料，建立新表: {e}")
-        return pd.DataFrame(columns=["timestamp", "ip_address", "cookie_id", "account", "role", "action", "status"])
-
 def upload_to_hf():
     """將本地的 CSV 檔案同步回雲端"""
     try:
@@ -33,7 +23,7 @@ def upload_to_hf():
             repo_id=DATASET_REPO_ID,
             repo_type="dataset",
             token=HF_TOKEN,
-            commit_message="System auto-log update"
+            commit_message=f"System auto-log batch update ({BATCH_SIZE} logs)"
         )
         return True
     except Exception as e:
@@ -42,18 +32,24 @@ def upload_to_hf():
 
 def push_new_log(new_log_dict):
     """
-    接收一個字典格式的紀錄，執行：
-    1. 抓取最新雲端資料 2. 合併新紀錄 3. 儲存本地 4. 上傳雲端
+    接收新紀錄並計數。達到 BATCH_SIZE 門檻時才執行雲端上傳。
+    有效避免 429 Rate Limit 並大幅提升網頁操作流暢度。
     """
-    # 1. 取得最新資料
-    current_df = sync_from_hf()
-    
-    # 2. 加入新紀錄
-    new_entry = pd.DataFrame([new_log_dict])
-    updated_df = pd.concat([current_df, new_entry], ignore_index=True)
+    global unsynced_count
     
-    # 3. 儲存至本地 (暫存)
-    updated_df.to_csv(CSV_FILENAME, index=False)
+    # 每收到一筆日誌，計數器 +1
+    unsynced_count += 1
     
-    # 4. 同步回 Dataset
-    return upload_to_hf()
+    # 檢查是否達到批次上傳的門檻
+    if unsynced_count >= BATCH_SIZE:
+        print(f"📦 已累積 {BATCH_SIZE} 筆操作，正在打包同步至 Hugging Face...")
+        success = upload_to_hf()
+        
+        # 如果上傳成功，就把計數器歸零，重新開始算；如果失敗就保留計數，下次再試
+        if success:
+            print("✅ 批次同步成功！")
+            unsynced_count = 0  
+        return success
+        
+    # 還沒滿 30 筆，就不做任何雲端連線，讓網頁瞬間跑完！
+    return True