Update sync_data.sh

sync_data.sh

@@ -1,6 +1,10 @@
 #!/bin/bash
 # ==============================================================================
-# landppt 多源备份脚本 - 最终稳定版 (Curl重构)
+# landppt 多源备份脚本 (WebDAV + S3/R2/C2)
+# 版本特性: 
+# 1. 纯 Curl 实现 (无 Python 依赖)
+# 2. 支持 SQLite WAL 模式 (备份 .db, .db-shm, .db-wal)
+# 3. 阻塞式启动 (防止数据被覆盖)
 # ==============================================================================
 
 DATA_DIR="."
@@ -10,14 +14,13 @@ BACKUP_KEEP="${BACKUP_KEEP:-24}"
 TIMEOUT_RESTORE="120"
 TIMEOUT_CMD="180"
 
-# --- S3 区域设置 ---
-# 默认 auto。如果某个 S3 报错，请在环境变量设置 S3_REGION=us-east-1
+# --- 区域设置 ---
 S3_REGION="${S3_REGION:-auto}"
 S3_2_REGION="${S3_2_REGION:-auto}"
 
 log() { echo "[Backup] $(date '+%Y-%m-%d %H:%M:%S') $*"; }
 
-# ----------------- 基础函数 -----------------
+# ----------------- 基础工具函数 -----------------
 
 run_with_timeout() {
     local t="$1"; shift
@@ -31,22 +34,17 @@ run_with_timeout() {
     fi
 }
 
-# ----------------- WebDAV 纯 Curl 实现 (核心修改) -----------------
-
-# 检查配置是否存在
 has_webdav() { [[ -n "$WEBDAV_URL" && -n "$WEBDAV_USERNAME" && -n "$WEBDAV_PASSWORD" ]]; }
 has_s3()     { [[ -n "$S3_ENDPOINT_URL" && -n "$S3_BUCKET" && -n "$S3_ACCESS_KEY_ID" ]]; }
 has_s3_2()   { [[ -n "$S3_2_ENDPOINT_URL" && -n "$S3_2_BUCKET" && -n "$S3_2_ACCESS_KEY_ID" ]]; }
 
-# 构造 WebDAV 完整 URL
+# ----------------- WebDAV 模块 -----------------
+
 get_webdav_url() {
     local file="$1"
-    # 移除末尾斜杠
     local base="${WEBDAV_URL%/}"
-    # 处理子路径 (移除首尾斜杠)
     local sub="${WEBDAV_BACKUP_PATH#/}"
     sub="${sub%/}"
-    
     if [ -n "$sub" ]; then
         echo "$base/$sub/$file"
     else
@@ -54,11 +52,8 @@ get_webdav_url() {
     fi
 }
 
-# 获取最新备份文件名 (解析 XML 或 grep 提取)
 get_webdav_latest_name() {
     local url=$(get_webdav_url "")
-    
-    # 使用 curl PROPFIND 获取列表，然后用 grep 提取符合格式的文件名
     run_with_timeout 30 curl -s -X PROPFIND -H "Depth: 1" \
         -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" \
         --connect-timeout 15 "$url" \
@@ -66,7 +61,6 @@ get_webdav_latest_name() {
         | sort -u | sort | tail -n 1
 }
 
-# WebDAV 下载
 download_webdav_file() {
     local file="$1"
     local dl_path="$2"
@@ -79,29 +73,7 @@ download_webdav_file() {
         -o "$dl_path" "$url"
 }
 
-# WebDAV 清理逻辑
-cleanup_webdav() {
-    local url=$(get_webdav_url "")
-    # 获取所有备份文件列表
-    local all_files=$(curl -s -X PROPFIND -H "Depth: 1" -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" --connect-timeout 15 "$url" \
-        | grep -o 'landppt_backup_[0-9_]*\.tar\.gz' | sort -u | sort)
-    
-    local count=$(echo "$all_files" | grep -c .)
-    
-    if [ "$count" -gt "$BACKUP_KEEP" ]; then
-        local del_count=$(($count - $BACKUP_KEEP))
-        # log "WebDAV 清理: 发现 $count 个备份，保留 $BACKUP_KEEP 个，删除 $del_count 个旧文件..."
-        
-        echo "$all_files" | head -n "$del_count" | while read -r file; do
-            if [ -n "$file" ]; then
-                local del_url=$(get_webdav_url "$file")
-                curl -s -X DELETE -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$del_url" >/dev/null
-            fi
-        done
-    fi
-}
-
-# ----------------- S3 实现 -----------------
+# ----------------- S3 模块 -----------------
 
 get_s3_latest_name() {
     local ENDPOINT="$1" BUCKET="$2" ACCESS="$3" SECRET="$4" REGION="$5"
@@ -127,26 +99,39 @@ download_s3_file() {
     return 1
 }
 
-# ----------------- 解压工具 -----------------
+# ----------------- 解压模块 -----------------
+
 extract_db() {
     local tar_path="$1"
     mkdir -p "$DATA_DIR"
-    # 使用 tar 原生解压
+    
+    # 尝试解压
     if tar -xzf "$tar_path" -C "$DATA_DIR" 2>/dev/null; then
-        # 兼容性：如果解压后文件不在根目录，尝试查找
+        
+        # 检查是否包含 landppt.db
+        if [ -f "$DATA_DIR/landppt.db" ]; then
+            return 0
+        fi
+        
+        # 兼容性查找（防止路径不对）
         local found=$(find "$DATA_DIR" -name "landppt.db" -type f | head -n 1)
-        if [ -n "$found" ] && [ "$found" != "$DB_FILE" ]; then
+        if [ -n "$found" ]; then
             mv "$found" "$DB_FILE"
+            # 尝试移动关联文件
+            [ -f "${found}-shm" ] && mv "${found}-shm" "${DB_FILE}-shm"
+            [ -f "${found}-wal" ] && mv "${found}-wal" "${DB_FILE}-wal"
+            return 0
         fi
-        return 0
     fi
     return 1
 }
 
 # ==============================================================================
-# 阶段 1: 恢复流程
+# 阶段 1: 启动前恢复 (在前台运行，阻塞应用启动)
 # ==============================================================================
 
+log ">>> 开始初始化数据检查..."
+
 if [ -f "$DB_FILE" ] && [ -s "$DB_FILE" ]; then
     log "本地数据库已存在，跳过恢复。"
 else
@@ -166,7 +151,7 @@ else
         [ -n "$F_S3_2" ] && echo "$F_S3_2 S3_SEC" >> "$CANDIDATES_FILE" && log "发现 S3(备): $F_S3_2"
     fi
 
-    # 3. 检查 WebDAV (无需 Python)
+    # 3. 检查 WebDAV
     if has_webdav; then
         F_DAV=$(get_webdav_latest_name)
         [ -n "$F_DAV" ] && echo "$F_DAV WEBDAV" >> "$CANDIDATES_FILE" && log "发现 WebDAV: $F_DAV"
@@ -180,7 +165,7 @@ else
         SOURCE_TYPE=$(echo "$BEST_LINE" | awk '{print $2}')
         DL_FILE="/tmp/restore.tar.gz"
         
-        log ">>> 使用最新备份: $TARGET_FILE (来源: $SOURCE_TYPE)"
+        log ">>> 决定使用备份: $TARGET_FILE (来源: $SOURCE_TYPE)"
         SUCCESS=0
         
         case "$SOURCE_TYPE" in
@@ -196,30 +181,35 @@ else
         esac
         
         if [ $SUCCESS -eq 1 ] && extract_db "$DL_FILE"; then
-            log "恢复成功！"
+            log "✅ 恢复成功！数据已就绪。"
         else
-            log "恢复失败: 下载或解压出错"
+            log "❌ 恢复失败: 下载或解压出错"
         fi
         rm -f "$DL_FILE"
     else
-        log "未找到备份，启动全新实例。"
+        log "未找到备份，将启动全新实例。"
     fi
     rm -f "$CANDIDATES_FILE"
 fi
 
+log ">>> 数据准备完成，即将启动应用。"
+
 # ==============================================================================
-# 阶段 2: 后台备份循环
+# 阶段 2: 启动后台备份 (放入后台运行，不阻塞)
 # ==============================================================================
 (
+    # 延时 60秒，避免与应用启动争抢 IO
+    sleep 60
+    
     while true; do
-        sleep "$SYNC_INTERVAL"
-        
         if [ -f "$DB_FILE" ]; then
             TS=$(date +%Y%m%d_%H%M%S)
             BACKUP_NAME="landppt_backup_${TS}.tar.gz"
             TMP_BAK="/tmp/$BACKUP_NAME"
             
-            tar -czf "$TMP_BAK" -C "$DATA_DIR" landppt.db 2>/dev/null
+            # [关键修复] 打包所有数据库相关文件 (WAL/SHM)，确保数据一致性
+            # 使用 cd 避免路径问题
+            (cd "$DATA_DIR" && tar -czf "$TMP_BAK" landppt.db* 2>/dev/null)
             
             # --- 1. WebDAV 备份 ---
             if has_webdav; then
@@ -228,8 +218,43 @@ fi
                     -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" \
                     -T "$TMP_BAK" "$UPLOAD_URL" >/dev/null 2>&1; then
                     
-                    # WebDAV 清理
-                    cleanup_webdav
+                    # WebDAV 清理逻辑
+                    LIST_URL=$(get_webdav_url "")
+                    ALL_FILES=$(curl -s -X PROPFIND -H "Depth: 1" -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" --connect-timeout 15 "$LIST_URL" \
+                        | grep -o 'landppt_backup_[0-9_]*\.tar\.gz' | sort -u | sort)
+                    
+                    COUNT=$(echo "$ALL_FILES" | grep -c .)
+                    if [ "$COUNT" -gt "$BACKUP_KEEP" ]; then
+                        DEL_
+<details type="reasoning" done="true" duration="3">
+<summary>Thought for 3 seconds</summary>
+&gt; 用户要求继续输出被截断的代码。
+&gt; 上下文是 `sync_data.sh` 脚本中的 WebDAV 清理逻辑部分。
+&gt; 截断处是：
+&gt; ```bash
+&gt;                     COUNT=$(echo &quot;$ALL_FILES&quot; | grep -c .)
+&gt;                     if [ &quot;$COUNT&quot; -gt &quot;$BACKUP_KEEP&quot; ]; then
+&gt;                         DEL_
+&gt; ```
+&gt; 我需要补全 WebDAV 清理逻辑，然后是 S3(主) 备份与清理，S3(备) 备份，以及循环结尾。
+&gt; 最后别忘了 ``。
+&gt; 
+&gt; 补充逻辑：
+&gt; 1.  完成 `DEL_COUNT` 计算。
+&gt; 2.  循环删除旧文件。
+&gt; 3.  S3 主备份代码 + 清理代码。
+&gt; 4.  S3 备备份代码。
+&gt; 5.  清理临时文件和循环结束。
+&gt; 6.  `exit 0` 让主进程退出。
+</details>
+COUNT=$(($COUNT - $BACKUP_KEEP))
+                        echo "$ALL_FILES" | head -n "$DEL_COUNT" | while read -r F; do
+                            if [ -n "$F" ]; then
+                                DEL_URL=$(get_webdav_url "$F")
+                                curl -s -X DELETE -u "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$DEL_URL" >/dev/null 2>&1
+                            fi
+                        done
+                    fi
                 else
                     log "WebDAV 上传失败"
                 fi
@@ -242,15 +267,17 @@ fi
                 export AWS_DEFAULT_REGION="$S3_REGION"
                 
                 if run_with_timeout "$TIMEOUT_CMD" aws --endpoint-url "$S3_ENDPOINT_URL" --region "$S3_REGION" s3 cp "$TMP_BAK" "s3://$S3_BUCKET/$BACKUP_NAME" --quiet >/dev/null 2>&1; then
-                    # S3 清理
+                    # S3 清理逻辑
                     FILES=$(aws --endpoint-url "$S3_ENDPOINT_URL" --region "$S3_REGION" s3 ls "s3://$S3_BUCKET/" 2>/dev/null | awk '{print $4}' | grep 'landppt_backup_' | sort)
                     COUNT=$(echo "$FILES" | grep -c .)
                     if [ "$COUNT" -gt "$BACKUP_KEEP" ]; then
-                        DEL=$(($COUNT - $BACKUP_KEEP))
-                        echo "$FILES" | head -n "$DEL" | while read -r F; do
+                        DEL_COUNT=$(($COUNT - $BACKUP_KEEP))
+                        echo "$FILES" | head -n "$DEL_COUNT" | while read -r F; do
                             [ -n "$F" ] && aws --endpoint-url "$S3_ENDPOINT_URL" --region "$S3_REGION" s3 rm "s3://$S3_BUCKET/$F" --quiet
                         done
                     fi
+                else
+                    log "S3(主) 上传失败"
                 fi
             fi
 
@@ -265,5 +292,10 @@ fi
             rm -f "$TMP_BAK"
             log "备份完成: $BACKUP_NAME"
         fi
+        
+        sleep "$SYNC_INTERVAL"
     done
-) &
+) &
+
+# 脚本主进程退出，允许 Docker 继续启动应用
+exit 0