File size: 2,719 Bytes
0525670 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 | # Linux Deploy
这份文档面向把仓库迁移到 Linux 服务器后的首次部署。
如果你准备做首次受控实验，建议同时阅读：
- `docs/deployment/linux_first_experiment_checklist.md`
## 1. 系统要求
建议环境：
- Python 3.10 或 3.11
- `pip`
- 能访问 DashScope 兼容接口的网络环境
如果只跑当前数据生产与评估链路，不需要 GPU。
## 2. 克隆仓库
```bash
git clone <your-repo-url>
cd agent-base
```
## 3. 创建虚拟环境
```bash
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install -r requirements.txt
```
## 4. 配置环境变量
先复制模板：
```bash
cp .env.example .env
```
然后至少配置：
- `QWEN_API_KEY`
- `QWEN_BASE_URL`
- `QWEN_MODEL`
如果不使用 `.env` 自动加载，就在 shell 中手动导出：
```bash
export QWEN_API_KEY="your-key"
export QWEN_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
export QWEN_MODEL="qwen3.5-plus"
```
## 5. 小样本冒烟测试
建议先做受控试跑：
```bash
python run_pipeline_silver.py --process-limit 10
```
如果你希望显式指定目录：
```bash
python run_pipeline_silver.py \
--image-dir ./clearn_base_data \
--process-limit 10
```
## 6. 清洗已有 Silver
```bash
python -m pipelines.clean_silver_dataset \
--input runs/silver/full_rerun_xxx/silver_dataset.jsonl \
--output runs/silver/cleaned/silver_dataset.jsonl \
--min-bbox-1000-side 20 \
--min-bbox-1000-area 400
```
## 7. 评估 Silver
```bash
python -m pipelines.evaluate_silver_dataset \
--silver-dataset-path runs/silver/cleaned/silver_dataset.jsonl \
--risk-sample-size 12
```
## 8. 生成 Gold
```bash
python -m pipelines.gold_builder \
--silver-dataset-path runs/silver/cleaned/silver_dataset.jsonl \
--output-dir runs/gold/gold_release_v1
```
建议把正式 Gold 当作一个发布目录，而不是单个 JSONL 文件。当前默认会同时生成：
- `gold_dataset.jsonl`
- `summary.json`
- `report.md`
- `sample_check.jsonl`
## 9. 人工复核抽样
```bash
python -m pipelines.manual_qc \
--silver-dataset-path runs/silver/cleaned/silver_dataset.jsonl \
--sample-size 12
```
## 10. 当前建议的服务器工作流
1. 先跑小样本 Silver。
2. 再做评估与人工复核。
3. 确认质量后跑全量 Silver。
4. 用 `clean_silver_dataset.py` 产出 cleaned Silver。
5. 以 cleaned Silver 为默认输入生成 Gold。
## 11. 迁移前后最需要注意的点
- 不要在代码里写死 API key。
- 不要依赖 Windows 路径。
- 后续默认优先使用 cleaned Silver，而不是历史旧 Silver。
- 训练格式转换只放在 Gold 阶段，不要混入 Silver 阶段。
|