rytfh commited on
Commit
f6d59d2
·
verified ·
1 Parent(s): af4f565

Update sync_data.sh

Browse files
Files changed (1) hide show
  1. sync_data.sh +109 -120
sync_data.sh CHANGED
@@ -1,139 +1,128 @@
1
  #!/bin/bash
2
- # 注意:确保脚本执行时系统中已安装 date、git、curl 等工具,并设置好 TZ 时区环境(可在每个 date 命令中临时指定时区)
3
 
4
- # 检查必要的环境变量
5
- if [ -z "$G_NAME" ] || [ -z "$G_TOKEN" ]; then
6
- echo "缺少必要的环境变量 G_NAME 或 G_TOKEN"
7
- exit 1
8
- fi
9
-
10
- # 解析仓库名和用户名
11
- IFS='/' read -r GITHUB_USER GITHUB_REPO <<< "$G_NAME"
12
 
13
- # 构建 GitHub 仓库的克隆 URL,包含令牌
14
- REPO_URL="https://${G_TOKEN}@github.com/${G_NAME}.git"
15
- mkdir -p ./data/github_data
16
-
17
- # 克隆仓库
18
- echo "正在克隆仓库……"
19
- git clone "$REPO_URL" ./data/github_data || {
20
- echo "克隆失败,请检查 G_NAME 和 G_TOKEN 是否正确。"
21
- exit 1
22
  }
23
 
24
- if [ -f ./data/github_data/webui.db ]; then
25
- cp ./data/github_data/webui.db ./data/webui.db
26
- echo "从 GitHub 仓库中拉取成功"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
27
  else
28
- echo "GitHub 仓库中找到 webui.db,将在同步时推送"
29
  fi
30
 
31
- # 定义同步函数,按照北京时间 08:00~24:00(包含整点同步)的要求
32
  sync_data() {
33
  while true; do
34
- # 使用 Asia/Shanghai 时区获取当前时间及其组成部分
35
- CURRENT_TS=$(TZ=Asia/Shanghai date +%s)
36
- CURRENT_DATE=$(TZ=Asia/Shanghai date '+%Y-%m-%d')
37
- CURRENT_HOUR=$(TZ=Asia/Shanghai date +%H) # 00~23
38
- CURRENT_MIN=$(TZ=Asia/Shanghai date +%M)
39
- CURRENT_SEC=$(TZ=Asia/Shanghai date +%S)
40
 
41
- # 计算下一次同步的目标时间戳(北京时间)
42
- # 如果当前时间早于 08:00,则目标为今天 08:00
43
- if [ "$CURRENT_HOUR" -lt 8 ]; then
44
- TARGET_TS=$(TZ=Asia/Shanghai date -d "${CURRENT_DATE} 08:00:00" +%s)
45
- # 如果在 08:00 至 22:59,则下一个整点在当日
46
- elif [ "$CURRENT_HOUR" -ge 8 ] && [ "$CURRENT_HOUR" -lt 23 ]; then
47
- # 如果正好在整点(秒与分都为 0)则立刻同步
48
- if [ "$CURRENT_MIN" -eq 0 ] && [ "$CURRENT_SEC" -eq 0 ]; then
49
- TARGET_TS=$CURRENT_TS
50
- else
51
- NEXT_HOUR=$((10#$CURRENT_HOUR + 1))
52
- TARGET_TS=$(TZ=Asia/Shanghai date -d "${CURRENT_DATE} ${NEXT_HOUR}:00:00" +%s)
53
- fi
54
- # 如果当前时间处于 23:00~23:59,则下次目标为次日 00:00(也就是24:00同步)
55
- else # CURRENT_HOUR == 23
56
- if [ "$CURRENT_MIN" -eq 0 ] && [ "$CURRENT_SEC" -eq 0 ]; then
57
- TARGET_TS=$CURRENT_TS
58
- else
59
- TOMORROW=$(TZ=Asia/Shanghai date -d "tomorrow" '+%Y-%m-%d')
60
- TARGET_TS=$(TZ=Asia/Shanghai date -d "${TOMORROW} 00:00:00" +%s)
61
- fi
62
- fi
63
-
64
- # 计算等待时间(若正好同步时则 sleep_time 为 0)
65
- SLEEP_TIME=$(( TARGET_TS - CURRENT_TS ))
66
- if [ "$SLEEP_TIME" -gt 0 ]; then
67
- echo "距离下一次同步还有 ${SLEEP_TIME} 秒(北京时间下次同步时间为 $(TZ=Asia/Shanghai date -d "@$TARGET_TS" '+%Y-%m-%d %H:%M:%S'))"
68
- sleep "$SLEEP_TIME"
69
- fi
70
-
71
- # 同步时输出当前北京时间
72
- CURRENT_TIME=$(TZ=Asia/Shanghai date '+%Y-%m-%d %H:%M:%S')
73
- echo "当前时间 $CURRENT_TIME"
74
-
75
- # ---- 开始同步流程 ----
76
-
77
- # 1. 同步到 GitHub
78
- echo "开始执行 GitHub 同步……"
79
- cd ./data/github_data || { echo "切换目录失败"; exit 1; }
80
- git config user.name "AutoSync Bot"
81
- git config user.email "autosync@bot.com"
82
-
83
- # 确保在 main 分支,如切换失败则尝试 master 分支
84
- git checkout main 2>/dev/null || git checkout master
85
-
86
- # 将最新数据库文件复制到仓库目录下
87
- if [ -f "../webui.db" ]; then
88
- cp ../webui.db ./webui.db
89
- else
90
- echo "数据库尚未初始化"
91
- fi
92
-
93
- # 检查是否有变化
94
- if [[ -n $(git status -s) ]]; then
95
- git add webui.db
96
- git commit -m "Auto sync webui.db $(TZ=Asia/Shanghai date '+%Y-%m-%d %H:%M:%S')"
97
- git push origin HEAD && {
98
- echo "GitHub 推送成功"
99
- } || {
100
- echo "推送失败,等待重试..."
101
- sleep 10
102
- git push origin HEAD || {
103
- echo "重试失败,放弃推送到 GitHub。"
104
- }
105
- }
106
- else
107
- echo "GitHub:没有检测到数据库变化"
108
- fi
109
- # 返回主目录
110
- cd ../..
111
-
112
- # 2. 同步到 WebDAV(若环境变量配置完整)
113
- if [ -z "$WEBDAV_URL" ] || [ -z "$WEBDAV_USERNAME" ] || [ -z "$WEBDAV_PASSWORD" ]; then
114
- echo "WebDAV 环境变量缺失,跳过 WebDAV 同步。"
115
- else
116
- echo "开始执行 WebDAV 同步……"
117
- FILENAME="webui_$(TZ=Asia/Shanghai date +'%m_%d').db"
118
- if [ -f ./data/webui.db ]; then
119
- curl -T ./data/webui.db --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME" && {
120
- echo "WebDAV 上传成功"
121
- } || {
122
- echo "WebDAV 上传失败,等待重试..."
123
- sleep 10
124
- curl -T ./data/webui.db --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME" || {
125
- echo "重试失败,放弃 WebDAV 上传。"
126
  }
127
- }
128
  else
129
- echo "未找到 webui.db 文件,跳过 WebDAV 同步"
 
130
  fi
 
 
131
  fi
132
-
133
- # ---- 同步流程结束,下一轮循环会根据当前北京时间自动计算等待时长 ----
134
-
 
135
  done
136
  }
137
 
138
- # 后台启动同步进程
139
  sync_data &
 
1
  #!/bin/bash
 
2
 
3
+ mkdir -p ./data
 
 
 
 
 
 
 
4
 
5
+ # 生成校验和文件
6
+ generate_sum() {
7
+ local file=$1
8
+ local sum_file=$2
9
+ sha256sum "$file" > "$sum_file"
 
 
 
 
10
  }
11
 
12
+ # 优先从WebDAV恢复数据
13
+ if [ ! -z "$WEBDAV_URL" ] && [ ! -z "$WEBDAV_USERNAME" ] && [ ! -z "$WEBDAV_PASSWORD" ]; then
14
+ echo "尝试WebDAV恢复数据..."
15
+ curl -L --fail --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" -o "./data/webui.db" && {
16
+ echo "从WebDAV恢复数据成功"
17
+ } || {
18
+ if [ ! -z "$G_NAME" ] && [ ! -z "$G_TOKEN" ]; then
19
+ echo "从WebDAV恢复失败,尝试从GitHub恢复..."
20
+ REPO_URL="https://${G_TOKEN}@github.com/${G_NAME}.git"
21
+ git clone "$REPO_URL" ./data/temp && {
22
+ if [ -f ./data/temp/webui.db ]; then
23
+ mv ./data/temp/webui.db ./data/webui.db
24
+ echo "从GitHub仓库恢复成功"
25
+ rm -rf ./data/temp
26
+ else
27
+ echo "GitHub仓库中未找到webui.db"
28
+ rm -rf ./data/temp
29
+ fi
30
+ }
31
+ else
32
+ echo "WebDAV恢复失败,且未配置GitHub"
33
+ fi
34
+ }
35
  else
36
+ echo "未配置WebDAV,跳过数据恢复"
37
  fi
38
 
39
+ # 同步函数
40
  sync_data() {
41
  while true; do
42
+ echo "开始同步..."
43
+ HOUR=$(date +%H)
 
 
 
 
44
 
45
+ if [ -f "./data/webui.db" ]; then
46
+ # 生成新的校验和文件
47
+ generate_sum "./data/webui.db" "./data/webui.db.sha256.new"
48
+
49
+ # 检查文件是否变化
50
+ if [ ! -f "./data/webui.db.sha256" ] || ! cmp -s "./data/webui.db.sha256.new" "./data/webui.db.sha256"; then
51
+ echo "检测到文件变化,开始同步..."
52
+ mv "./data/webui.db.sha256.new" "./data/webui.db.sha256"
53
+
54
+ # 同步到WebDAV
55
+ if [ ! -z "$WEBDAV_URL" ] && [ ! -z "$WEBDAV_USERNAME" ] && [ ! -z "$WEBDAV_PASSWORD" ]; then
56
+ echo "同步到WebDAV..."
57
+
58
+ # 上传数据文件
59
+ curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" && {
60
+ echo "WebDAV更新成功"
61
+
62
+ # 每日备份(包括WebDAV和GitHub),在每天0点进行
63
+ if [ "$HOUR" = "00" ]; then
64
+ echo "开始每日备份..."
65
+
66
+ # 获取前一天的日期
67
+ YESTERDAY=$(date -d "yesterday" '+%Y%m%d')
68
+ FILENAME_DAILY="webui_${YESTERDAY}.db"
69
+
70
+ # WebDAV每日备份
71
+ curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME_DAILY" && {
72
+ echo "WebDAV日期备份成功: $FILENAME_DAILY"
73
+
74
+ # GitHub每日备份
75
+ if [ ! -z "$G_NAME" ] && [ ! -z "$G_TOKEN" ]; then
76
+ echo "开始GitHub每日备份..."
77
+ REPO_URL="https://${G_TOKEN}@github.com/${G_NAME}.git"
78
+ git clone "$REPO_URL" ./data/temp || {
79
+ echo "GitHub克隆失败"
80
+ rm -rf ./data/temp
81
+ }
82
+
83
+ if [ -d "./data/temp" ]; then
84
+ cd ./data/temp
85
+ git config user.name "AutoSync Bot"
86
+ git config user.email "autosync@bot.com"
87
+ git checkout main || git checkout master
88
+ cp ../webui.db ./webui.db
89
+
90
+ if [[ -n $(git status -s) ]]; then
91
+ git add webui.db
92
+ git commit -m "Auto sync webui.db for ${YESTERDAY}"
93
+ git push origin HEAD && {
94
+ echo "GitHub推送成功"
95
+ } || echo "GitHub推送失败"
96
+ else
97
+ echo "GitHub: 无数据变化"
98
+ fi
99
+ cd ../..
100
+ rm -rf ./data/temp
101
+ fi
102
+ fi
103
+ } || echo "WebDAV日期备份失败"
104
+ fi
105
+ } || {
106
+ echo "WebDAV上传失败,重试..."
107
+ sleep 10
108
+ curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" || {
109
+ echo "WebDAV重试失败"
110
+ }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
111
  }
112
+ fi
113
  else
114
+ echo "文件未发生变化,跳过同步"
115
+ rm -f "./data/webui.db.sha256.new"
116
  fi
117
+ else
118
+ echo "未找到webui.db,跳过同步"
119
  fi
120
+
121
+ echo "当前时间: $(date '+%Y-%m-%d %H:%M:%S')"
122
+ echo "下次同步: $(date -d '+5 minutes' '+%Y-%m-%d %H:%M:%S')"
123
+ sleep 300
124
  done
125
  }
126
 
127
+ # 启动同步进程
128
  sync_data &