yh

AGENTS.md

@@ -0,0 +1,259 @@
+# AI代理系统文档
+
+## 项目概述
+
+这是一个基于AnythingLLM的智能RAG（检索增强生成）系统，专为企业级知识管理和智能问答场景设计。该系统提供了完整的备份、恢复和监控功能，确保数据的安全性和服务的可靠性。
+
+## 系统架构
+
+### 核心组件
+
+1. **AnythingLLM核心引擎**
+   - 基于官方`mintplexlabs/anythingllm:latest`镜像
+   - 提供强大的文档处理和向量检索能力
+   - 支持多种文件格式和数据源
+
+2. **自动化备份系统**
+   - **实时数据保护**：SQLite数据库热备份
+   - **多重备份策略**：支持GitHub和WebDAV双备份
+   - **智能暂存机制**：使用临时目录进行安全的数据转储
+
+3. **智能恢复机制**
+   - **优先级备份恢复**：WebDAV → GitHub逐级回退
+   - **完整性验证**：确保备份数据的有效性
+   - **零停机恢复**：容器重启时自动恢复数据
+
+### 技术栈
+
+```mermaid
+graph TB
+    A[Docker容器] --> B[AnythingLLM核心]
+    B --> C[文档处理引擎]
+    B --> D[向量检索系统]
+    C --> E[多格式文件支持]
+    D --> F[智能问答接口]
+
+    G[备份系统] --> H[实时监控]
+    G --> I[GitHub备份]
+    G --> J[WebDAV备份]
+    H --> K[健康检查]
+    I --> L[版本控制]
+    J --> M[云存储]
+
+    N[恢复系统] --> O[自动检测]
+    N --> P[数据验证]
+    N --> Q[无缝部署]
+```
+
+## 配置指南
+
+### 环境变量配置
+
+#### 必需配置
+
+| 变量名 | 描述 | 示例 |
+|--------|------|------|
+| `GITHUB_REPO` | GitHub仓库地址 | `username/repo-name` |
+| `GITHUB_TOKEN` | GitHub个人访问令牌 | `ghp_xxxxxxxxxxxxxxxx` |
+
+#### 可选配置
+
+| 变量名 | 描述 | 示例 |
+|--------|------|------|
+| `WEBDAV_URL` | WebDAV服务地址 | `https://dav.example.com` |
+| `WEBDAV_USER` | WebDAV用户名 | `backup_user` |
+| `WEBDAV_PASS` | WebDAV密码 | `secure_password` |
+| `BACKUP_INTERVAL` | 备份间隔（秒） | `3600` |
+| `HEALTHCHECK_URL` | 健康检查URL | `https://api.example.com/health` |
+
+### 备份策略配置
+
+#### GitHub备份
+
+```bash
+# 环境变量设置
+GITHUB_REPO="mycompany/knowledge-base"
+GITHUB_TOKEN="ghp_your_github_token_here"
+```
+
+#### WebDAV备份
+
+```bash
+# 环境变量设置
+WEBDAV_URL="https://dav.example.com/backup"
+WEBDAV_USER="backup_user"
+WEBDAV_PASS="your_webdav_password"
+```
+
+## 使用指南
+
+### 1. 初次部署
+
+```bash
+# 构建镜像
+docker build -t anythingllm-backup .
+
+# 运行容器
+docker run -d \
+  --name anythingllm-wiki \
+  -p 3001:3001 \
+  -e GITHUB_REPO="your/repo" \
+  -e GITHUB_TOKEN="your_token" \
+  -e WEBDAV_URL="https://your-dav.com" \
+  -e WEBDAV_USER="user" \
+  -e WEBDAV_PASS="pass" \
+  -v anythingllm-data:/data \
+  anythingllm-backup
+```
+
+### 2. 数据管理
+
+#### 文档上传
+1. 访问应用界面：`http://your-server:3001`
+2. 在工作空间中上传文档
+3. 系统自动建立向量索引
+
+#### 智能问答
+- 支持自然语言查询
+- 自动上下文理解
+- 多文档关联检索
+
+### 3. 监控与维护
+
+#### 健康检查
+```bash
+# 查看容器日志
+docker logs anythingllm-wiki
+
+# 检查备份状态
+docker logs anythingllm-wiki | grep "Backup"
+```
+
+#### 数据备份验证
+```bash
+# 检查GitHub备份
+curl -H "Authorization: token $GITHUB_TOKEN" \
+  https://api.github.com/repos/$GITHUB_REPO/commits
+
+# 检查WebDAV备份
+rclone ls webdav:your-backup-path
+```
+
+## 高级配置
+
+### 自定义备份频率
+
+```bash
+# 每小时备份一次（默认）
+BACKUP_INTERVAL=3600
+
+# 每30分钟备份一次
+BACKUP_INTERVAL=1800
+
+# 每天备份一次
+BACKUP_INTERVAL=86400
+```
+
+### 多备份源配置
+
+系统支持同时配置多个备份目标：
+
+```bash
+# 同时启用GitHub和WebDAV备份
+GITHUB_REPO="company/kb"
+GITHUB_TOKEN="token123"
+WEBDAV_URL="https://dav.company.com"
+WEBDAV_USER="backup"
+WEBDAV_PASS="secure123"
+```
+
+### 恢复优先级
+
+系统按以下优先级尝试恢复：
+1. **WebDAV备份**（首选，速度更快）
+2. **GitHub备份**（备选，版本控制）
+3. **全新启动**（无备份时）
+
+## 故障排除
+
+### 常见问题
+
+#### 备份失败
+```bash
+# 检查网络连接
+ping github.com
+
+# 验证凭据
+curl -H "Authorization: token $GITHUB_TOKEN" \
+  https://api.github.com/user
+
+# 查看详细日志
+docker logs anythingllm-wiki --tail 100
+```
+
+#### 恢复失败
+```bash
+# 检查备份完整性
+rclone check webdav:backup-path /tmp/check
+
+# 手动恢复
+docker run --rm -it \
+  -e GITHUB_REPO="your/repo" \
+  -e GITHUB_TOKEN="your_token" \
+  anythingllm-backup \
+  /app/scripts/restore.sh
+```
+
+### 性能优化
+
+#### 内存优化
+```bash
+# 增加容器内存限制
+docker run -m 2g ...
+
+# 调整备份并发
+# 编辑backup.sh中的rsync参数
+```
+
+#### 存储优化
+```bash
+# 使用SSD存储类
+- storage:
+    name: anythingllm-ssd
+    class: fast-ssd
+    size: 50Gi
+```
+
+## 安全建议
+
+### 访问控制
+- 使用强密码和��牌
+- 定期轮换凭据
+- 启用两因素认证
+
+### 数据加密
+- 使用HTTPS传输
+- 加密存储敏感配置
+- 定期备份加密密钥
+
+### 网络安全
+- 限制容器网络访问
+- 使用防火墙规则
+- 监控异常活动
+
+## 贡献指南
+
+欢迎提交问题和改进建议：
+
+1. 在GitHub上创建Issue
+2. 提交详细的错误描述
+3. 提供复现步骤
+4. 附上相关日志片段
+
+## 许可证
+
+本项目采用开源许可证，详见LICENSE文件。
+
+---
+
+*最后更新：2025年10月13日*

Dockerfile

@@ -10,12 +10,14 @@ USER root
 # util-linux: 提供 flock 文件锁工具
 # sqlite3: 用于安全的数据库在线备份
 # rsync: 用于高效、安全地在目录间同步文件
+# curl: 用于健康检查
 RUN apt-get update && apt-get install -y --no-install-recommends \
     git \
     rclone \
     util-linux \
     sqlite3 \
     rsync \
+    curl \
     && rm -rf /var/lib/apt/lists/*
 
 # 4. 创建脚本目录

entrypoint.sh

@@ -5,12 +5,17 @@ echo "[Entrypoint] Starting container setup..."
 
 # 步骤 1: 执行数据恢复脚本
 echo "[Entrypoint] Running data restoration script..."
-/app/scripts/restore.sh
+if ! /app/scripts/restore.sh; then
+    echo "[Error] Data restoration failed, but continuing with startup..."
+fi
 
 # 步骤 2: 在后台启动循环备份脚本
 echo "[Entrypoint] Starting background backup process..."
 /app/scripts/backup.sh &
 
-# 步骤 3: 启动 AnythingLLM 主应用
+# 步骤 3: 等待备份进程启动
+sleep 2
+
+# 步骤 4: 启动 AnythingLLM 主应用
 echo "[Entrypoint] Handing over control to AnythingLLM server..."
 exec node /app/server/index.js

scripts/backup.sh

@@ -9,6 +9,7 @@ sleep 90
 
 # --- 主循环 ---
 while true; do
+    # 将环境变量传递给flock内部
     flock -n /tmp/backup.lock bash -c '
         set -e
         echo "--- [$(date)] Starting Scheduled Backup ---"
@@ -25,7 +26,15 @@ while true; do
 
         # --- 步骤 2: 安全地创建数据库快照并复制到暂存区 ---
         echo "[Backup] Creating a safe snapshot of the SQLite database..."
+        if [ ! -f "${LIVE_DB_FILE}" ]; then
+            echo "[Error] Database file not found: ${LIVE_DB_FILE}"
+            exit 1
+        fi
         sqlite3 "${LIVE_DB_FILE}" ".backup '${STAGE_DIR}/anythingllm.db'"
+        if [ $? -ne 0 ]; then
+            echo "[Error] Failed to create database backup"
+            exit 1
+        fi
 
         # --- 步骤 3: 将线上数据目录同步到暂存区 ---
         echo "[Backup] Syncing live data to the staging area..."
@@ -47,7 +56,7 @@ while true; do
                 git init -b main
                 git config --global user.email "backup-bot@example.com"
                 git config --global user.name "Backup Bot"
-                git remote add origin https://${GITHUB_TOKEN}@github.com/${GITHUB_REPO##*//github.com/}
+                git remote add origin https://${GITHUB_TOKEN}@github.com/${GITHUB_REPO}
             fi
             git add .
             if ! git diff-index --quiet HEAD --; then
@@ -70,6 +79,6 @@ while true; do
         fi
 
         echo "--- [$(date)] Backup Finished ---"
-    '
+    ' "${BACKUP_INTERVAL:-3600}"
     sleep ${BACKUP_INTERVAL:-3600}
 done

scripts/restore.sh

@@ -11,8 +11,13 @@ RESTORE_SOURCE="" # 将用于标记最终从哪里恢复
 
 # --- 步骤 1: 强制清理线上旧数据和暂存区 ---
 echo "[Restore] Forcing a clean slate..."
-rm -rf "${LIVE_DATA_DIR}" "${LIVE_DB_FILE}" "${STAGE_DIR}"
-mkdir -p "${STAGE_DIR}"
+rm -rf "${LIVE_DATA_DIR}" "${LIVE_DB_FILE}" "${STAGE_DIR}" || {
+    echo "[Warning] Failed to clean some directories, continuing anyway..."
+}
+mkdir -p "${STAGE_DIR}" || {
+    echo "[Error] Failed to create staging directory"
+    exit 1
+}
 
 # --- 步骤 2: 尝试从 WebDAV 恢复到暂存区 ---
 if [ -n "${WEBDAV_URL}" ]; then
@@ -33,7 +38,7 @@ fi
 # --- 步骤 3: 如果 WebDAV 未成功，尝试从 GitHub 恢复 ---
 if [ -z "${RESTORE_SOURCE}" ] && [ -n "${GITHUB_REPO}" ]; then
     echo "[Restore] Attempting to restore from GitHub to staging area..."
-    if git clone https://${GITHUB_TOKEN}@github.com/${GITHUB_REPO##*//github.com/} "${STAGE_DIR}"; then
+    if git clone https://${GITHUB_TOKEN}@github.com/${GITHUB_REPO} "${STAGE_DIR}"; then
         if [ -f "${STAGE_DIR}/anythingllm.db" ]; then
             echo "[Restore] GitHub restore to staging area successful."
             RESTORE_SOURCE="${STAGE_DIR}"