code/evaluate_benchmarks/README.md

# Benchmark Evaluation

评测 bf16 / cts / dts_exp 三种模型在比赛指定 benchmark 上的精度，并与 bf16 基线对比精度损失。

## 目录结构

```
evaluate_benchmarks/
├── setup.sh            # 安装依赖（只需运行一次）
├── run_eval.sh         # 运行评测，结果保存到 results/
├── compare_results.py  # 汇总对比各模型精度及精度损失
└── results/            # 评测结果自动生成目录
    ├── bf16/
    ├── cts/
    └── dts_exp/
```

## 评测任务

| Benchmark     | Shot | 说明 |
|---|---|---|
| MMLU          | 5-shot（默认）  | 多学科选择题 |
| GSM8K         | 5-shot（默认）  | 小学数学应用题 |
| MATH500       | 4-shot（默认）  | 竞赛数学（minerva_math） |
| HellaSwag     | 10-shot（默认） | 常识推理补全 |
| ARC-Easy      | 25-shot（默认） | 科学选择题（简单） |
| ARC-Challenge | 25-shot（默认） | 科学选择题（困难） |
| ~~PIQA~~      | -              | 数据集加载脚本已不受支持，已移除 |

## 比赛目标指标

- 训练损失 APE < **0.5%**（通过 `data_visualize/log_visualizer.py` 验证）
- 精度损失 < **1.0%**（相对于 bf16 基线的平均精度下降）

## 使用流程

### 第一步：安装依赖（只需一次）

```bash
cd /root/tracy/evaluate_benchmarks
bash setup.sh
```

### 第二步：运行评测

评测全部三个模型（推荐在 tmux 中运行，耗时较长）：

```bash
bash run_eval.sh
bash run_eval.sh 2>&1 | tee /root/chengyingying/evaluate_benchmarks/results/eval_$(date +%Y%m%d_%H%M%S).log

```

也可单独评测某一个模型：

```bash
bash run_eval.sh bf16
bash run_eval.sh cts
bash run_eval.sh dts_exp
```

评测使用全部可用 GPU 并行推理（`parallelize=True`），结果保存到 `results/<model_name>/`。

### 第三步：查看对比结果

```bash
source /root/miniconda3/etc/profile.d/conda.sh && conda activate tracy
python3 compare_results.py
```

输出示例：

```
Task                          bf16         cts     dts_exp  vs bf16 drop  vs bf16 drop
──────────────────────────────────────────────────────────────────────────────────────
MMLU          (5-shot)       45.23%      44.98%    45.10%        0.5535%       0.2878%
GSM8K         (5-shot)       12.10%      12.05%    12.08%        0.4132%       0.1653%
...

── Average accuracy drop vs bf16 baseline ──
  cts        : avg drop = 0.3821%  [✓ PASS < 1.0%]
  dts_exp    : avg drop = 0.2156%  [✓ PASS < 1.0%]
```

超出 1.0% 阈值的任务会标注 `✗` 并在末尾汇总。

## 模型路径

| 模型 | 路径 |
|---|---|
| bf16 基线 | `/root/tracy/checkpoints/bf16/final` |
| cts        | `/root/tracy/checkpoints/cts/final` |
| dts_exp    | `/root/tracy/checkpoints/dts_exp/final` |

## 常见问题

**Q: 出现 `` `trust_remote_code` is not supported anymore `` 警告**

A: 这是 datasets 库的无害警告，不影响评测结果，忽略即可。

**Q: MATH500 任务找不到**

A: lm-eval 中 MATH500 对应任务名为 `minerva_math`，已在脚本中配置好。

**Q: 想重新评测某个模型**

A: 删除对应结果目录后重新运行：
```bash
rm -rf results/cts
bash run_eval.sh cts
```