Update sync_data.sh

sync_data.sh

@@ -1,272 +1,114 @@
-#!/bin/bash
 
-# 建议添加，使脚本在命令失败时退出，并确保管道错误能被捕获
-# set -e
-# set -o pipefail
 
-# 检查环境变量
-if [[ -z "$WEBDAV_URL" ]] || [[ -z "$WEBDAV_USERNAME" ]] || [[ -z "$WEBDAV_PASSWORD" ]]; then
-  echo "缺少 WEBDAV_URL、WEBDAV_USERNAME 或 WEBDAV_PASSWORD，启动时将不包含备份功能"
-  exit 0
+# 检查必要的环境变量
+if [ -z "$G_NAME" ] || [ -z "$G_TOKEN" ]; then
+    echo "缺少必要的环境变量 G_NAME 或 G_TOKEN"
+    exit 1
 fi
 
-# 设置备份路径
-WEBDAV_BACKUP_PATH=${WEBDAV_BACKUP_PATH:-""}
-FULL_WEBDAV_URL="${WEBDAV_URL}"
-if [ -n "$WEBDAV_BACKUP_PATH" ]; then
-  # 确保URL拼接正确，避免双斜杠或无斜杠的问题
-  # 移除WEBDAV_URL可能存在的尾部斜杠
-  WEBDAV_URL_CLEAN=$(echo "$WEBDAV_URL" | sed 's:/*$::')
-  # 移除WEBDAV_BACKUP_PATH可能存在的首部斜杠
-  WEBDAV_BACKUP_PATH_CLEAN=$(echo "$WEBDAV_BACKUP_PATH" | sed 's:^/*::')
-  FULL_WEBDAV_URL="${WEBDAV_URL_CLEAN}/${WEBDAV_BACKUP_PATH_CLEAN}"
-else
-  FULL_WEBDAV_URL=$(echo "$FULL_WEBDAV_URL" | sed 's:/*$::') # 清理末尾斜杠
-fi
-
-
-# 下载最新备份并恢复
-restore_backup() {
-  echo "开始从 WebDAV 下载最新备份..."
-  # 将环境变量导出，以便Python脚本能通过os.environ获取，而不是直接注入字符串，稍微安全些
-  export FULL_WEBDAV_URL_FOR_PYTHON="$FULL_WEBDAV_URL"
-  export WEBDAV_USERNAME_FOR_PYTHON="$WEBDAV_USERNAME"
-  export WEBDAV_PASSWORD_FOR_PYTHON="$WEBDAV_PASSWORD"
-
-  python3 -c "
-import sys
-import os
-import tarfile
-import requests
-from webdav3.client import Client
-import shutil
-
-full_url = os.environ.get('FULL_WEBDAV_URL_FOR_PYTHON')
-username = os.environ.get('WEBDAV_USERNAME_FOR_PYTHON')
-password = os.environ.get('WEBDAV_PASSWORD_FOR_PYTHON')
-
-if not all([full_url, username, password]):
-    print('Python: 缺失必要的环境变量')
-    sys.exit(1)
-
-options = {
-  'webdav_hostname': full_url,
-  'webdav_login': username,
-  'webdav_password': password
+# 解析仓库名和用户名
+IFS='/' read -r GITHUB_USER GITHUB_REPO <<< "$G_NAME"
+
+# 构建 GitHub 仓库的克隆 URL，包含令牌
+REPO_URL="https://${G_TOKEN}@github.com/${G_NAME}.git"
+mkdir -p  ./data/github_data
+# 克隆仓库
+echo "正在克隆仓库……"
+git clone "$REPO_URL" ./data/github_data || {
+    echo "克隆失败，请检查 G_NAME 和 G_TOKEN 是否正确。"
+    exit 1
 }
-client = Client(options)
-try:
-    backups = [file for file in client.list() if file.endswith('.tar.gz') and file.startswith('webui_backup_')]
-except Exception as e:
-    print(f'Python: 列出WebDAV文件失败: {e}')
-    sys.exit(1)
-
-if not backups:
-  print('Python: 没有找到备份文件')
-  sys.exit(0) # 没有备份不是致命错误，可能是首次运行
-
-latest_backup = sorted(backups)[-1]
-print(f'Python: 最新备份文件：{latest_backup}')
-
-download_url = f'{full_url}/{latest_backup}'
-local_tmp_backup_file = f'/tmp/{latest_backup}'
-
-try:
-    with requests.get(download_url, auth=(username, password), stream=True, timeout=60) as r:
-      r.raise_for_status() # 会对4xx/5xx状态码抛出HTTPError
-      with open(local_tmp_backup_file, 'wb') as f:
-        for chunk in r.iter_content(chunk_size=8192):
-          f.write(chunk)
-      print(f'Python: 成功下载备份文件到 {local_tmp_backup_file}')
-except requests.exceptions.RequestException as e:
-    print(f'Python: 下载备份失败: {e}')
-    sys.exit(1)
-
-if os.path.exists(local_tmp_backup_file):
-  temp_dir = '/tmp/restore_webui_db'
-  if os.path.exists(temp_dir): # 先清理旧的临时解压目录
-      shutil.rmtree(temp_dir)
-  os.makedirs(temp_dir, exist_ok=True)
-  
-  try:
-      with tarfile.open(local_tmp_backup_file, 'r:gz') as tar:
-        tar.extractall(temp_dir)
-      print(f'Python: 文件已解压到 {temp_dir}')
-  except tarfile.TarError as e:
-      print(f'Python: 解压备份文件失败: {e}')
-      shutil.rmtree(temp_dir, ignore_errors=True)
-      os.remove(local_tmp_backup_file)
-      sys.exit(1)
-  
-  db_found = False
-  for root, dirs, files in os.walk(temp_dir):
-    if 'webui.db' in files:
-      db_path = os.path.join(root, 'webui.db')
-      target_data_dir = './data' # 脚本工作目录下的data文件夹
-      os.makedirs(target_data_dir, exist_ok=True)
-      target_db_path = os.path.join(target_data_dir, 'webui.db')
-      os.replace(db_path, target_db_path) # 原子替换
-      print(f'Python: 成功从 {latest_backup} 恢复备份到 {target_db_path}')
-      db_found = True
-      break
-  
-  if not db_found:
-    print('Python: 备份文件中未找到 webui.db')
-  
-  try:
-    shutil.rmtree(temp_dir)
-  except Exception as e:
-    print(f'Python: 删除临时目录 {temp_dir} 时出错：{e}')
-  os.remove(local_tmp_backup_file)
-else:
-  print('Python: 下载的备份文件不存在 (这不应该发生)') # 逻辑上不应到此
-"
-  # 检查Python脚本的退出状态
-  if [ $? -ne 0 ]; then
-    echo "Bash: restore_backup中的Python脚本执行失败。"
-    # 可以选择在这里exit 1，如果恢复失败是关键的
-  fi
-  # 清理导出的环境变量
-  unset FULL_WEBDAV_URL_FOR_PYTHON WEBDAV_USERNAME_FOR_PYTHON WEBDAV_PASSWORD_FOR_PYTHON
-}
-
-# 首次启动时下载最新备份
-echo "正在检查是否需要从 WebDAV 恢复备份..."
-# 你可以添加一个逻辑，比如检查 ./data/webui.db 是否已存在，如果存在则不恢复
-# if [ ! -f "./data/webui.db" ]; then
-  restore_backup
-# else
-#   echo "./data/webui.db 已存在，跳过首次恢复。"
-# fi
 
+if [ -f ./data/github_data/webui.db ]; then
+    cp ./data/github_data/webui.db ./data/webui.db
+    echo "从 GitHub 仓库中拉取成功"
+else
+    echo "GitHub 仓库中未找到 webui.db，将在同步时推送"
+fi
 
-# 同步函数
+# 定义同步函数
 sync_data() {
-  local db_file="./data/webui.db"
-  local checksum_file="./data/.webui.db.checksum" # 存储在数据目录中，随数据一起考虑
-
-  while true; do
-    echo "-----------------------------------------------------"
-    echo "在 $(date '+%Y-%m-%d %H:%M:%S') 开始同步进程"
-
-    if [ -f "$db_file" ]; then
-      current_checksum=$(sha256sum "$db_file" | awk '{print $1}')
-      previous_checksum=""
-      if [ -f "$checksum_file" ]; then
-        previous_checksum=$(cat "$checksum_file")
-      fi
-
-      echo "当前 webui.db 校验和: $current_checksum"
-      echo "上次 webui.db 校验和: $previous_checksum" # 如果checksum文件不存在，这里会是空
-
-      if [ "$current_checksum" != "$previous_checksum" ]; then
-        echo "webui.db 文件已更改或首次备份，执行备份上传操作。"
-        timestamp=$(date +%Y%m%d_%H%M%S)
-        backup_file="webui_backup_${timestamp}.tar.gz"
-        local_tmp_tar_file="/tmp/${backup_file}"
-
-        # 打包数据库文件，-C 改变目录，使得压缩包内不含data/前缀
-        echo "正在打包 ${db_file} 为 ${local_tmp_tar_file}..."
-        tar -czf "${local_tmp_tar_file}" -C "$(dirname "$db_file")" "$(basename "$db_file")"
+    while true; do
+        # 1. 同步到 GitHub
+        echo "正在开始同步"
+        # 进入仓库目录
+        cd ./data/github_data
+        # 配置 Git 用户信息
+        git config user.name "AutoSync Bot"
+        git config user.email "autosync@bot.com"
+
+        # 确保在正确的分支
+        git checkout main || git checkout master
+
+        # 复制最新的数据库文件
+        # cp ../webui.db ./webui.db
         
-        if [ $? -eq 0 ]; then
-          echo "打包成功。"
-          # 上传新备份到WebDAV
-          upload_url="${FULL_WEBDAV_URL}/${backup_file}"
-          echo "正在上传 ${local_tmp_tar_file} 至 ${upload_url} ..."
-          curl --fail -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" -T "${local_tmp_tar_file}" "${upload_url}"
-          
-          if [ $? -eq 0 ]; then
-            echo "成功将 ${backup_file} 上传至 WebDAV"
-            echo "$current_checksum" > "$checksum_file" # 只有成功上传后才更新校验和
-            echo "已更新校验和文件: $checksum_file"
-
-            # 清理旧备份文件 (仅在成功上传新备份后执行)
-            echo "开始清理 WebDAV 上的旧备份..."
-            export FULL_WEBDAV_URL_FOR_PYTHON="$FULL_WEBDAV_URL" # 导出给Python
-            export WEBDAV_USERNAME_FOR_PYTHON="$WEBDAV_USERNAME"
-            export WEBDAV_PASSWORD_FOR_PYTHON="$WEBDAV_PASSWORD"
-            python3 -c "
-import sys
-import os
-from webdav3.client import Client
-
-full_url = os.environ.get('FULL_WEBDAV_URL_FOR_PYTHON')
-username = os.environ.get('WEBDAV_USERNAME_FOR_PYTHON')
-password = os.environ.get('WEBDAV_PASSWORD_FOR_PYTHON')
-keep_backups = int(os.environ.get('WEBDAV_KEEP_BACKUPS', 5)) # 可配置保留数量
-
-if not all([full_url, username, password]):
-    print('Python: 清理脚本缺少必要的环境变量')
-    sys.exit(1)
+        if [ -f "../webui.db" ]; then  
+            cp ../webui.db ./webui.db  
+        else  
+            echo "数据库尚未初始化"  
+        fi 
+        
+        # 检查是否有变化
+        if [[ -n $(git status -s) ]]; then
+            # 添加所有变更
+            git add webui.db
+
+            # 提交变更
+            git commit -m "Auto sync webui.db $(date '+%Y-%m-%d %H:%M:%S')"
+
+            # 推送到远程仓库
+            git push origin HEAD && {
+                echo "GitHub推送成功"
+            }|| {
+                echo "推送失败，等待重试..."
+                sleep 10
+                git push origin HEAD || {
+                    echo "重试失败，放弃推送到Github。"
+                }
+            }
+            # 返回上级目录
+            cd ..
+            cd ..
+
+            # 2. 同步到 WebDAV
+            if [ -z "$WEBDAV_URL" ] || [ -z "$WEBDAV_USERNAME" ] || [ -z "$WEBDAV_PASSWORD" ]; then
+                echo "WebDAV 环境变量缺失，跳过 WebDAV 同步。"
+            else
+                echo "同步到 WebDAV..."
+                FILENAME="webui_$(date +'%m_%d').db"
+                # 检查是否存在要上传的文件
+                if [ -f ./data/webui.db ]; then
+                    # 使用 curl 进行文件上传
+                    curl -T ./data/webui.db --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME" && {
+                        echo "WebDAV 上传成功"
+                    } || {
+                        echo "WebDAV 上传失败，等待重试..."
+                        sleep 10
+                        curl -T ./data/webui.db --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME" || {
+                            echo "重试失败，放弃webdav上传。"
+                        }
+                    }
+                else
+                    echo "未找到 webui.db 文件，跳过 WebDAV 同步"
+                fi
+            fi
 
-options = {
-  'webdav_hostname': full_url,
-  'webdav_login': username,
-  'webdav_password': password
-}
-client = Client(options)
-try:
-    backups = [file for file in client.list() if file.endswith('.tar.gz') and file.startswith('webui_backup_')]
-except Exception as e:
-    print(f'Python: 列出WebDAV文件失败 (清理时): {e}')
-    sys.exit(1) # 失败则不继续
 
-backups.sort() # 按名称排序，旧的在前
-if len(backups) > keep_backups:
-  to_delete_count = len(backups) - keep_backups
-  print(f'Python: 找到 {len(backups)} 个备份, 将删除最旧的 {to_delete_count} 个以保留 {keep_backups} 个。')
-  for i in range(to_delete_count):
-    file_to_delete = backups[i]
-    try:
-        client.clean(file_to_delete) # webdav3 的 clean 方法用于删除
-        print(f'Python: 成功删除旧备份 {file_to_delete}')
-    except Exception as e:
-        print(f'Python: 删除旧备份 {file_to_delete} 失败: {e}')
-else:
-  print(f'Python: 找到 {len(backups)} 个备份，少于或等于配置的 {keep_backups} 个，无需清理。')
-" 2>&1 # 将Python的stderr重定向到stdout
-            if [ $? -ne 0 ]; then
-                echo "Bash: 清理旧备份的Python脚本执行失败。"
-            fi
-            unset FULL_WEBDAV_URL_FOR_PYTHON WEBDAV_USERNAME_FOR_PYTHON WEBDAV_PASSWORD_FOR_PYTHON # 清理环境变量
-          else
-            echo "上传 ${backup_file} 至 WebDAV 失败。校验和文件未更新。"
-          fi
         else
-            echo "打包 ${db_file} 失败。"
+            # 返回上级目录
+            cd ..
+            cd ..
+            echo "GitHub: 没有检测到数据库变化"
         fi
-        rm -f "${local_tmp_tar_file}" # 清理本地临时打包文件
-      else
-        echo "webui.db 文件未更改，跳过备份上传。"
-      fi
-    else
-      echo "数据库文件 ${db_file} 尚不存在，等待下次同步..."
-      # 如果数据库文件不存在，考虑是否要删除checksum文件，以便下次文件出现时强制备份
-      # if [ -f "$checksum_file" ]; then
-      #   echo "删除旧的校验和文件 $checksum_file 因为数据库文件不存在。"
-      #   rm -f "$checksum_file"
-      # fi
-    fi
-
-    SYNC_INTERVAL=${SYNC_INTERVAL:-600} # 默认10分钟
-    WEBDAV_KEEP_BACKUPS=${WEBDAV_KEEP_BACKUPS:-5} # 默认保留5个备份
-    export WEBDAV_KEEP_BACKUPS # 导出给Python清理脚本用
+        # 3. 等待统一的时间间隔
+        SYNC_INTERVAL=${SYNC_INTERVAL:-7200}  # 默认间隔时间为 7200 秒
+        echo "当前时间 $(date '+%Y-%m-%d %H:%M:%S')"
+        echo "等待 ${SYNC_INTERVAL} 秒后进行下一次同步..."
+        sleep $SYNC_INTERVAL
 
-    echo "下次同步将在 ${SYNC_INTERVAL} 秒后进行..."
-    sleep $SYNC_INTERVAL
-  done
+    done
 }
 
 # 后台启动同步进程
-sync_data &
-
-# 保持脚本运行，如果这是Docker等环境的入口点且没有其他前台进程
-# 例如: wait $! 或 tail -f /dev/null
-# 如果 `sync_data &` 是脚本的最后一行，并且脚本需要持续运行，
-# 那么sync_data的父shell（即此脚本）会退出，但sync_data子进程会继续。
-# 在某些情况下（如简单的docker entrypoint），这可能是期望的行为。
-# 如果你需要这个主脚本保持存活，而不是仅仅启动一个后台进程然后退出，
-# 你可能需要一个前台阻塞命令，或者将 sync_data 直接运行而不加 `&` （但这会阻塞恢复之后的任何操作）。
-# 对于备份脚本，后台运行通常是合适的。
-echo "同步进程已在后台启动。PID: $!"  
+sync_data &