Update sync_data.sh

sync_data.sh

@@ -1,21 +1,56 @@
 #!/bin/bash
 
-# 检查环境变量
+# 检查环境变量，没变，还是老样子，没钱（凭证）寸步难行
 if [[ -z "$WEBDAV_URL" ]] || [[ -z "$WEBDAV_USERNAME" ]] || [[ -z "$WEBDAV_PASSWORD" ]]; then
-    echo "缺少 WEBDAV_URL、WEBDAV_USERNAME 或 WEBDAV_PASSWORD，启动时将不包含备份功能"
-    exit 0
-fi
-
-# 设置备份路径
-WEBDAV_BACKUP_PATH=${WEBDAV_BACKUP_PATH:-""}
-FULL_WEBDAV_URL="${WEBDAV_URL}"
-if [ -n "$WEBDAV_BACKUP_PATH" ]; then
-    FULL_WEBDAV_URL="${WEBDAV_URL}/${WEBDAV_BACKUP_PATH}"
+    echo "缺少 WEBDAV_URL、WEBDAV_USERNAME 或 WEBDAV_PASSWORD 环境变量，启动时将禁用 WebDAV 备份与恢复功能。"
+    # 如果没有凭证，后续的备份恢复逻辑就没意义了，可以选择退出或标记禁用
+    WEBDAV_ENABLED=false
+else
+    WEBDAV_ENABLED=true
+    # 设置备份路径，逻辑不变
+    WEBDAV_BACKUP_PATH=${WEBDAV_BACKUP_PATH:-"files_backups"} # 给个默认子目录名，更清晰
+    FULL_WEBDAV_URL="${WEBDAV_URL%/}" # 确保基础 URL 末尾没有斜杠
+    if [ -n "$WEBDAV_BACKUP_PATH" ]; then
+        # 使用 python 来安全地拼接 URL 路径，避免双斜杠等问题
+        FULL_WEBDAV_URL=$(python3 -c "from urllib.parse import urljoin; print(urljoin('$FULL_WEBDAV_URL/', '$WEBDAV_BACKUP_PATH/'))")
+        # 确保 WebDAV 上的备份目录存在
+        echo "检查并创建 WebDAV 备份目录: $FULL_WEBDAV_URL"
+        python3 -c "
+import os
+from webdav3.client import Client
+options = {
+    'webdav_hostname': '$WEBDAV_URL', # 注意这里用基础 URL
+    'webdav_login': '$WEBDAV_USERNAME',
+    'webdav_password': '$WEBDAV_PASSWORD'
+}
+client = Client(options)
+# WEBDAV_BACKUP_PATH 可能包含多级，需要逐级检查创建
+path_parts = filter(None, '$WEBDAV_BACKUP_PATH'.split('/'))
+current_path = ''
+for part in path_parts:
+    current_path = os.path.join(current_path, part)
+    if not client.is_dir(current_path):
+        print(f'WebDAV 目录 {current_path} 不存在，尝试创建...')
+        try:
+            client.mkdir(current_path)
+            print(f'成功创建 WebDAV 目录: {current_path}')
+        except Exception as e:
+            print(f'创建 WebDAV 目录 {current_path} 失败: {e}')
+            # 如果目录创建失败，后续可能无法上传，可以考虑退出或标记错误
+"
+    fi
+    echo "WebDAV 备份将存储在: $FULL_WEBDAV_URL"
 fi
 
-# 下载最新备份并恢复
+# 下载最新备份并恢复 `./files` 文件夹
 restore_backup() {
-    echo "开始从 WebDAV 下载最新备份..."
+    if [ "$WEBDAV_ENABLED" = false ]; then
+        echo "WebDAV 未配置，跳过恢复。"
+        return
+    fi
+
+    echo "开始从 WebDAV 下载最新 `./files` 备份..."
+    # 这坨 Python 代码是核心，得大改特改
     python3 -c "
 import sys
 import os
@@ -23,109 +58,265 @@ import tarfile
 import requests
 from webdav3.client import Client
 import shutil
+import logging
+
+logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+
 options = {
-    'webdav_hostname': '$FULL_WEBDAV_URL',
+    'webdav_hostname': '$WEBDAV_URL', # 基础 URL
     'webdav_login': '$WEBDAV_USERNAME',
     'webdav_password': '$WEBDAV_PASSWORD'
 }
-client = Client(options)
-backups = [file for file in client.list() if file.endswith('.tar.gz') and file.startswith('webui_backup_')]
-if not backups:
-    print('没有找到备份文件')
-    sys.exit()
-latest_backup = sorted(backups)[-1]
-print(f'最新备份文件：{latest_backup}')
-with requests.get(f'$FULL_WEBDAV_URL/{latest_backup}', auth=('$WEBDAV_USERNAME', '$WEBDAV_PASSWORD'), stream=True) as r:
-    if r.status_code == 200:
-        with open(f'/tmp/{latest_backup}', 'wb') as f:
+backup_dir_path = '$WEBDAV_BACKUP_PATH' # WebDAV 上的备份子目录
+target_restore_dir = './' # 恢复的目标父目录
+local_target_name = 'files' # 要恢复的文件夹名称
+
+try:
+    client = Client(options)
+    # 列出备份目录下的文件，注意路径
+    logging.info(f'正在列出 WebDAV 目录: {backup_dir_path}')
+    files_in_backup_dir = client.list(backup_dir_path)
+    # 过滤出咱们的备份文件
+    backups = [f for f in files_in_backup_dir if f.endswith('.tar.gz') and os.path.basename(f).startswith('files_backup_')]
+    
+    if not backups:
+        logging.warning('在 WebDAV 上没有找到任何有效的 `./files` 备份文件。')
+        sys.exit(0) # 没有备份就正常退出，不报错
+
+    # 对完整路径进行排序找出最新的，注意 client.list 可能返回带路径的文件名
+    # 我们需要按文件名（包含时间戳）排序
+    backups.sort(key=lambda x: os.path.basename(x), reverse=True)
+    latest_backup_rel_path = backups[0] # 这是相对于 WebDAV 根目录的路径
+    latest_backup_filename = os.path.basename(latest_backup_rel_path)
+    latest_backup_full_url = '${FULL_WEBDAV_URL%/}/' + latest_backup_filename # 构造完整的下载 URL
+
+    logging.info(f'找到最新备份文件：{latest_backup_filename} (���径: {latest_backup_rel_path})')
+    local_tmp_backup_path = f'/tmp/{latest_backup_filename}'
+
+    # 下载备份文件
+    logging.info(f'开始下载备份文件从: {latest_backup_full_url}')
+    with requests.get(latest_backup_full_url, auth=('$WEBDAV_USERNAME', '$WEBDAV_PASSWORD'), stream=True) as r:
+        r.raise_for_status() # 检查 HTTP 错误
+        with open(local_tmp_backup_path, 'wb') as f:
             for chunk in r.iter_content(chunk_size=8192):
                 f.write(chunk)
-        print(f'成功下载备份文件到 /tmp/{latest_backup}')
-        if os.path.exists(f'/tmp/{latest_backup}'):
-            # 解压备份文件到临时目录
-            temp_dir = '/tmp/restore'
-            os.makedirs(temp_dir, exist_ok=True)
-            tar = tarfile.open(f'/tmp/{latest_backup}', 'r:gz')
-            tar.extractall(temp_dir)
-            tar.close()
-            # 查找并移动 webui.db 文件
-            for root, dirs, files in os.walk(temp_dir):
-                if 'webui.db' in files:
-                    db_path = os.path.join(root, 'webui.db')
-                    os.makedirs('./data', exist_ok=True)
-                    os.replace(db_path, './data/webui.db')
-                    print(f'成功从 {latest_backup} 恢复备份')
-                    break
-            else:
-                print('备份文件中未找到 webui.db')
-            # 删除临时目录
+        logging.info(f'成功下载备份文件到: {local_tmp_backup_path}')
+
+    # 解压备份文件到临时目录
+    temp_extract_dir = '/tmp/restore_files_temp'
+    if os.path.exists(temp_extract_dir):
+        shutil.rmtree(temp_extract_dir) # 清理旧的临时解压目录
+    os.makedirs(temp_extract_dir, exist_ok=True)
+
+    logging.info(f'开始解压备份文件到: {temp_extract_dir}')
+    try:
+        with tarfile.open(local_tmp_backup_path, 'r:gz') as tar:
+            # 安全解压，防止路径遍历漏洞
+            def is_within_directory(directory, target):
+                abs_directory = os.path.abspath(directory)
+                abs_target = os.path.abspath(target)
+                prefix = os.path.commonprefix([abs_directory, abs_target])
+                return prefix == abs_directory
+            
+            for member in tar.getmembers():
+                member_path = os.path.join(temp_extract_dir, member.name)
+                if not is_within_directory(temp_extract_dir, member_path):
+                    raise Exception(f'试图解压到危险路径: {member.name}')
+            tar.extractall(path=temp_extract_dir)
+        logging.info(f'成功解压备份文件。')
+    except Exception as e:
+        logging.error(f'解压备份文件失败: {e}')
+        sys.exit(1)
+
+    # 检查解压后的临时目录中是否存在 'files' 文件夹
+    extracted_files_path = os.path.join(temp_extract_dir, local_target_name)
+    local_target_path = os.path.join(target_restore_dir, local_target_name)
+
+    if os.path.isdir(extracted_files_path):
+        logging.info(f'在备份中找到 \'{local_target_name}\' 目录。准备恢复...')
+        # 安全地替换本地的 ./files 目录
+        # 1. 删除现有的 ./files 目录（如果存在）
+        if os.path.exists(local_target_path):
+            logging.warning(f'本地已存在 \'{local_target_path}\' 目录，将删除并替换为备份内容。')
             try:
-                shutil.rmtree(temp_dir)
+                shutil.rmtree(local_target_path)
+                logging.info(f'成功删除旧的 \'{local_target_path}\' 目录。')
             except Exception as e:
-                print(f'删除临时目录时出错：{e}')
-            os.remove(f'/tmp/{latest_backup}')
-        else:
-            print('下载的备份文件不存在')
+                logging.error(f'删除旧的 \'{local_target_path}\' 目录失败: {e}')
+                sys.exit(1)
+        
+        # 2. 将解压出来的 files 目录移动到目标位置
+        try:
+            shutil.move(extracted_files_path, local_target_path)
+            logging.info(f'成功将备份恢复到 \'{local_target_path}\'。')
+        except Exception as e:
+            logging.error(f'移动解压后的 \'{local_target_name}\' 目录到 \'{local_target_path}\' 失败: {e}')
+            sys.exit(1)
     else:
-        print(f'下载备份失败：{r.status_code}')
+        logging.warning(f'解压后的备份文件中未找到 \'{local_target_name}\' 目录。无法执行恢复。')
+
+    # 清理临时文件和目录
+    logging.info('开始清理临时文件...')
+    try:
+        os.remove(local_tmp_backup_path)
+        logging.info(f'已删除临时备份文件: {local_tmp_backup_path}')
+    except OSError as e:
+        logging.warning(f'删除临时备份文件 {local_tmp_backup_path} 时出错: {e}')
+    
+    try:
+        shutil.rmtree(temp_extract_dir)
+        logging.info(f'已删除临时解压目录: {temp_extract_dir}')
+    except OSError as e:
+        logging.warning(f'删除临时解压目录 {temp_extract_dir} ��出错: {e}')
+
+except Exception as e:
+    logging.error(f'恢复过程中发生意外错误: {e}')
+    # 这里可以决定是否因为恢复失败而退出整个脚本
+    # sys.exit(1) 
 "
+    # 检查 Python 脚本的退出码
+    if [ $? -ne 0 ]; then
+        echo "恢复备份过程中发生错误，请检查日志。"
+        # 这里可以根据需要决定是否中止后续操作
+    else
+        echo "恢复过程完成。"
+    fi
 }
 
-# 首次启动时下载最新备份
-echo "正在从 WebDAV 下载最新备份..."
+# 首次启动时尝试恢复最新备份
+echo "首次启动，尝试从 WebDAV 恢复最新 `./files` 备份..."
 restore_backup
 
-# 同步函数
+# 定时同步函数，现在备份 `./files` 文件夹
 sync_data() {
+    if [ "$WEBDAV_ENABLED" = false ]; then
+        echo "WebDAV 未配置，跳过后台同步任务。"
+        return
+    fi
+
     while true; do
-        echo "在 $(date) 开始同步进程"
+        # 获取同步间隔，默认 10 分钟 (600 秒)
+        SYNC_INTERVAL=${SYNC_INTERVAL:-600}
+        echo "下一次 `./files` 备份将在 ${SYNC_INTERVAL} 秒后进行..."
+        sleep $SYNC_INTERVAL
+
+        echo "[$(date)] 开始执行 `./files` 备份和同步..."
 
-        if [ -f "./data/webui.db" ]; then
+        # 检查 `./files` 目录是否存在，存在才备份
+        if [ -d "./files" ]; then
             timestamp=$(date +%Y%m%d_%H%M%S)
-            backup_file="webui_backup_${timestamp}.tar.gz"
+            # 新的文件名格式
+            backup_file="files_backup_${timestamp}.tar.gz"
+            local_tmp_backup_path="/tmp/${backup_file}"
 
-            # 打包数据库文件
-            tar -czf "/tmp/${backup_file}" ./data/webui.db
+            echo "找到 `./files` 目录，开始创建备份文件: ${backup_file}"
+            # 打包 `./files` 目录，注意 -C 参数可以避免包含 ./ 路径，或者直接打包相对路径
+            # 使用 tar -czf archive.tar.gz -C ./ files  会打包 files 目录本身
+            # 使用 tar -czf archive.tar.gz ./files 会打包 ./files 目录
+            # 我们希望解压后直接得到 files 目录，所以打包 ./files 比较合适
+            tar -czf "${local_tmp_backup_path}" ./files
+            if [ $? -ne 0 ]; then
+                echo "创建 tar 备份文件 ${backup_file} 失败！跳过此次同步。"
+                continue # 跳到下一次循环
+            fi
+            echo "成功创建本地备份文件: ${local_tmp_backup_path}"
 
             # 上传新备份到WebDAV
-            curl -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" -T "/tmp/${backup_file}" "$FULL_WEBDAV_URL/${backup_file}"
+            webdav_upload_url="${FULL_WEBDAV_URL%/}/${backup_file}" # 确保 URL 正确
+            echo "开始上传 ${backup_file} 到 ${webdav_upload_url}"
+            # 使用 curl 上传，增加 --fail 参数让非 2xx 响应码导致失败退出
+            curl --fail -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" -T "${local_tmp_backup_path}" "${webdav_upload_url}"
+            
             if [ $? -eq 0 ]; then
                 echo "成功将 ${backup_file} 上传至 WebDAV"
-            else
-                echo "上传 ${backup_file} 至 WebDAV 失败"
-            fi
+                
+                # 上传成功后，清理本地临时文件
+                rm -f "${local_tmp_backup_path}"
+                echo "已清理本地临时备份文件: ${local_tmp_backup_path}"
 
-            # 清理旧备份文件
-            python3 -c "
+                # 清理 WebDAV 上的旧备份文件（保留最新的5个）
+                echo "开始清理 WebDAV 上的旧备份..."
+                python3 -c "
 import sys
+import os
 from webdav3.client import Client
+import logging
+
+logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+
 options = {
-    'webdav_hostname': '$FULL_WEBDAV_URL',
+    'webdav_hostname': '$WEBDAV_URL', # 基础 URL
     'webdav_login': '$WEBDAV_USERNAME',
     'webdav_password': '$WEBDAV_PASSWORD'
 }
-client = Client(options)
-backups = [file for file in client.list() if file.endswith('.tar.gz') and file.startswith('webui_backup_')]
-backups.sort()
-if len(backups) > 5:
-    to_delete = len(backups) - 5
-    for file in backups[:to_delete]:
-        client.clean(file)
-        print(f'成功删除 {file}。')
-else:
-    print('仅找到 {} 个备份，无需清理。'.format(len(backups)))
-" 2>&1
-
-            rm -f "/tmp/${backup_file}"
+backup_dir_path = '$WEBDAV_BACKUP_PATH' # WebDAV 上的备份子目录
+keep_latest = 5 # 保留最新的备份数量
+
+try:
+    client = Client(options)
+    logging.info(f'正在列出 WebDAV 目录: {backup_dir_path} 以进行清理')
+    files_in_backup_dir = client.list(backup_dir_path)
+    # 过滤出咱们的备份文件
+    backups = [f for f in files_in_backup_dir if f.endswith('.tar.gz') and os.path.basename(f).startswith('files_backup_')]
+    
+    # 按文件名（包含时间戳）排序，旧的在前
+    backups.sort(key=lambda x: os.path.basename(x))
+    
+    if len(backups) > keep_latest:
+        to_delete_count = len(backups) - keep_latest
+        logging.info(f'找到 {len(backups)} 个备份，超过限制 {keep_latest} 个，将删除最旧的 {to_delete_count} 个。')
+        # 删除最旧的几个备份，注意 client.clean 需要的是相对于 WebDAV 根的路径
+        for backup_to_delete_rel_path in backups[:to_delete_count]:
+            try:
+                # 使用 clean 方法删除，它需要的是相对路径
+                client.clean(backup_to_delete_rel_path) 
+                logging.info(f'成功删除旧备份: {backup_to_delete_rel_path}')
+            except Exception as e:
+                logging.error(f'删除旧备份 {backup_to_delete_rel_path} 失败: {e}')
+    else:
+        logging.info(f'找到 {len(backups)} 个备份，未超过限制 {keep_latest} 个，无需清理。')
+
+except Exception as e:
+    logging.error(f'清理旧备份时发生错误: {e}')
+"
+                if [ $? -ne 0 ]; then
+                    echo "清理 WebDAV 旧备份时发生错误，请检查日志。"
+                else
+                    echo "WebDAV 旧备份清理完成。"
+                fi
+
+            else
+                echo "上传 ${backup_file} 至 WebDAV 失败！请检查网络或 WebDAV 服务器状态。"
+                # 上传失败，也清理本地临时文件避免堆积
+                rm -f "${local_tmp_backup_path}"
+                echo "已清理上传失败的本地临时备份文件: ${local_tmp_backup_path}"
+            fi
         else
-            echo "数据库文件尚不存在，等待下次同步..."
+            echo "目标目录 `./files` 不存在或不是一个目录，跳过此次备份。"
         fi
-
-        SYNC_INTERVAL=${SYNC_INTERVAL:-600}
-        echo "下次同步将在 ${SYNC_INTERVAL} 秒后进行..."
-        sleep $SYNC_INTERVAL
+        
+        echo "[$(date)] 同步进程结束。"
     done
 }
 
-# 后台启动同步进程
-sync_data &
+# 只有在 WebDAV 配置有效时才启动后台同步进程
+if [ "$WEBDAV_ENABLED" = true ]; then
+    echo "启动后台 `./files` 备份同步进程..."
+    sync_data &
+else
+    echo "WebDAV 未配置，后台备份同步任务已禁用。"
+fi
+
+# 你可以在这里添加启动你的主应用程序的命令
+# 例如： exec python main.py
+# 或者让脚本执行完毕，如果它只是一个 entrypoint 的一部分
+
+echo "脚本主要逻辑执行完毕。后台同步任务（如果启用）正在运行。"
+
+# 如果这是一个需要在前台保持运行的脚本（例如 Docker entrypoint），
+# 你可能需要一个 `wait` 命令或者让 `sync_data` 在前台运行（去掉 &）
+# 或者用其他方式保持容器运行。如果 sync_data 是后台任务，
+# 这个脚本会执行完然后退出，可能导致容器停止。
+# 如果需要保持运行，可以考虑将 sync_data() & 移到脚本最后，
+# 或者添加一个 tail -f /dev/null 之类的命令保持前台。
+# 但通常更好的做法是让主应用在前台运行，备份脚本作为后台进程。