# DFlash Eval 对齐分析：你的脚本 vs 官方 benchmark.py

## 修改总览

| # | 问题 | 影响 | baseline | lora_inject |
|---|------|------|----------|-------------|
| 1 | Acceptance Length 计算方式 | 🔴 数值不同 | ✅ 修 | ✅ 修 |
| 2 | Multi-turn 对话支持 | 🔴 mt-bench 结果不同 | ✅ 修 | ✅ 修 |
| 3 | 样本选择：顺序 vs shuffle | 🔴 子集不同 | ✅ 修 | ✅ 修 |
| 4 | 数据集只有3个，官方10个 | 🔴 覆盖不全 | ✅ 修 | ✅ 修 |
| 5 | stop_token_ids 检查范围 | 🟡 可能提前/延迟停止 | ✅ 修 | ✅ 修 |
| 6 | 分布式聚合方式 | 🟡 丢失per-sample粒度 | ✅ 修 | ✅ 修 |
| 7 | AR baseline 含 draft forward | 🔴 speedup偏高(仅inject) | N/A | ✅ 修 |
| 8 | max_new_tokens 默认值 | 🟡 | ✅ 修 | ✅ 修 |

---

## 修改详情

### 1. Acceptance Length 计算方式

**问题：** 官方是 per-sample mean 再取 mean，你的是全局池化。

```python
# ❌ 你的（两个脚本都是）
avg_accept_length = total_accept_sum / total_count

# ✅ 官方
tau = np.mean([np.mean(r[block_size].acceptance_lengths) for r in responses])
```

**修改：** 收集每个 sample 的 accept_lengths list，先算 per-sample mean，再取 mean。

---

### 2. Multi-turn 对话支持

**问题：** 官方对 mt-bench 等多轮数据集，会逐轮生成并将 assistant 回复加入 context。

```python
# ❌ 你的：只取 turns[0]，单轮
messages = [{"role": "user", "content": prompt}]

# ✅ 官方：逐轮生成
for turn_index, user_content in enumerate(instance["turns"]):
    messages.append({"role": "user", "content": user_content})
    # generate ...
    messages.append({"role": "assistant", "content": output_text})
    responses.append(response)
```

**修改：** 数据加载改为返回 `{"turns": [...]}` 格式，生成循环改为逐轮。

---

### 3. 样本选择

**问题：** 官方 shuffle 后选取，你的是顺序取前N。

```python
# ❌ 你的
prompts = prompts[:num_samples]

# ✅ 官方
dataset = dataset.shuffle(seed=0).select(range(max_samples))
```

**修改：** 改用 HF dataset 的 shuffle + select。

---

### 4. 数据集补齐

**问题：** 缺少 math500, aime24, aime25, mbpp, livecodebench, swe-bench, alpaca 共 7 个。

**修改：** 直接复用官方 `load_and_process_dataset()` 函数。

---

### 5. stop_token_ids 检查范围

```python
# ❌ 你的 baseline（检查到 start）
output_ids[:, num_input_tokens:start]

# ✅ 官方（检查所有已生成）
output_ids[:, num_input_tokens:]
```

**修改：** 改为 `output_ids[:, num_input_tokens:]`。

---

### 6. 分布式聚合

**问题：** 你用 all_reduce 聚合标量，丢失 per-sample 粒度。

```python
# ❌ 你的：all_reduce sum/count
dist.all_reduce(local_sum, op=dist.ReduceOp.SUM)

# ✅ 官方：gather 完整 response list
responses = dist.gather(responses, dst=0)
```

**修改：** 改为 gather per-sample 的 acceptance_lengths + time metrics 到 rank 0 统一计算。

---

### 7. AR baseline 含 draft forward (仅 lora_inject)

**问题：** block_size=1 时仍跑完整的 inject pipeline（包含 draft model），导致 AR 时间偏大、speedup 偏高。

```python
# ❌ 你的 lora_inject AR baseline
spec_generate_inject(..., block_size=1)  # 仍会过 draft model layers

# ✅ 应该：纯 target autoregressive
ar_generate(target_model, input_ids, ...)  # 只用 target
```

**修改：** 新增纯 AR 生成函数，block_size=1 时不经过 draft。

---

### 8. max_new_tokens 默认值

```python
# 官方 shell 脚本用 2048（Python 默认 16384）
# 你的默认 2048，和 shell 一致，保持不变
# 但增加提示，显式说明
```