You need to agree to share your Hugging Face information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

Weights and code of a driving-harness evaluation. Access is approved by hand.

Log in or Sign Up to review the conditions and access this model content.

四卡并行评测手册(给执行评测的 agent)

读完这一份就能独立跑完。你有两件事:按原样跑完四个实验并回传官方成绩,以及全程监视 bug 并上报(第 10 节)。不要改代码、不要调参数、不要因为分低而重跑。

0. 本次更新(2026-11-06):E3、E4 换了新代码

E3、E4 的代码从 75b0ee9f 升级到 3246cc1b,补上了 11-05 夜到 11-06 的修复(清单见第 12 节)。E1、E2 的代码没有变。运行脚本新增了 CARLA 内存失控和 IMU 掉落检测,并新增了监视工具 watch_bugs.py。

如果你还没开始, 跳过本节,从第 1 节往下做。

如果你已经按旧手册开跑, 按下面做:

  1. E1、E2 不要停,也不要重跑。 更新 guide/ 不影响正在运行的进程;它们下次续跑时自动用上新脚本。

  2. 停掉 E3、E4 并把旧结果移开。 新旧版本的成绩不能混在一起,而脚本会跳过已有成绩的路线,所以必须移走:

    cd $EVAL4_ROOT
    touch runs/E3/stop_after_current runs/E4/stop_after_current
    # 等 E3、E4 的 run_eval.py 退出(跑完当前路线就退)。急的话只杀这两个 run_eval.py 和它们各自的评测器、CARLA
    mv runs/E3 runs/E3_old_75b0ee9f
    mv runs/E4 runs/E4_old_75b0ee9f
    
  3. 更新代码和手册。 先确认 E3、E4 已经退出:

    cd $EVAL4_ROOT
    export HF_TOKEN=<你自己的 read 令牌>
    rm -rf code/E34 code/E34.tar.gz
    python3 -c "from huggingface_hub import snapshot_download as d; d('HqH1111/drivingharness-eval4-assets', local_dir='.', allow_patterns=['guide/*', 'code/E34.tar.gz'])"
    tar -xzf code/E34.tar.gz -C code
    python3 -c "import json; open('code/E34/.eval4_head','w').write(json.load(open('guide/code_heads.json'))['E34'])"
    python guide/check_setup.py --no-hash
    

    必须输出 READY。

  4. 重新做 E3、E4 的冒烟(第 7 节),通过后再按第 8 节启动这两个实验。

  5. 报告时 把 E3_old_75b0ee9f、E4_old_75b0ee9f 的成绩单独列出,注明是旧版本,不计入新结果。

1. 四个实验

实验 代码 底座 数据集 路线数 单卡预计
E1 code/E1 AutoMoT Bench2Drive 0.0.4 验证集(B220) 216 约 1.5 天
E2 code/E2 SimLingo Bench2Drive 0.0.4 验证集(B220) 216 约 1.5 天
E3 code/E34 SimLingo Fail2Drive(F2D) 200 约 1.5 天
E4 code/E34 AutoMoT Fail2Drive(F2D) 200 约 1.5 天
  • 每个实验独占一张卡,四个同时跑,互不等待。可以分布在不同机器上。
  • B220 排除 4 条:25774、36360、4183、4721(场景缺陷),所以是 216 条。
  • 所有运行参数已经冻结在 env/E*.json,运行脚本会自动加载。

2. 硬件要求

  • 每张卡: 显存至少 24 GB。AutoMoT 峰值约 22–27 GB。
  • 内存: 每个实验至少 32 GB,同一台机器跑四个至少 128 GB。CARLA 的 Town13 通常占 11–15 GB,失控时可以到 28 GB(第 9 节)。
  • 磁盘: 代码和权重约 100 GB(两个模拟器占大头),结果每个实验约 10–20 GB。
  • 显卡类型: CARLA 必须能用 Vulkan 渲染。A100 已在 NSCC 上长期跑过,可用。L40 是图形卡,应当可用。H200 没试过,先做第 7 节的冒烟,起不来就报告,不要试图绕过。

3. 目录结构

所有东西放在同一个根目录 $EVAL4_ROOT 下:

$EVAL4_ROOT/
  guide/          运行脚本、配置、路线
  code/E1 E2 E34  三份代码
  plane/          关系平面代码
  assets/         权重和资源(第 5 节)
  carla_b2d/      CARLA 0.9.15 + 附加地图(E1、E2 用)
  carla_f2d/      Fail2Drive 模拟器(E3、E4 用)
  Bench2Drive/    Bench2Drive 评测器
  fail2drive/     Fail2Drive 评测器
  paths.env       本机路径
  runs/           结果(自动生成)

4. 申请权限并拉代码

全部代码和权重都在 Hugging Face 门控仓库 HqH1111/drivingharness-eval4-assets。

  1. 打开上面的页面,登录后点 Request access 申请。批准后才能下载。
  2. 在 Hugging Face 设置里建一个自己的 read 令牌,只放进环境变量,不要写进任何文件。
mkdir -p $EVAL4_ROOT && cd $EVAL4_ROOT
export HF_TOKEN=<你自己的 read 令牌>
pip install -U huggingface_hub
python3 -c "from huggingface_hub import snapshot_download as d; d('HqH1111/drivingharness-eval4-assets', local_dir='.', allow_patterns=['guide/*', 'code/*'])"
for n in E1 E2 E34; do tar -xzf code/$n.tar.gz -C code; done
tar -xzf code/plane.tar.gz
python3 - <<'PY'
import json
for n, h in json.load(open('guide/code_heads.json')).items():
    open(('plane' if n == 'plane' else 'code/' + n) + '/.eval4_head', 'w').write(h)
PY
git clone -b 0.0.4 https://github.com/Thinklab-SJTU/Bench2Drive.git Bench2Drive
git clone https://github.com/autonomousvision/fail2drive.git fail2drive
git -C fail2drive checkout bceb18afb7d62e06e990739e013e750d92ad7a88

guide/code_heads.json 记录了每份代码的提交,第 6 节的自检会核对。Bench2Drive 不需要改;路线文件用 guide/routes/ 里的。

Python 环境(Python 3.10,CUDA 12.8):

conda create -n eval4 python=3.10 -y && conda activate eval4
pip install -r guide/requirements_frozen.txt --extra-index-url https://download.pytorch.org/whl/cu128
pip install hydra-core==1.3.2 omegaconf==2.3.0 pytorch-lightning lightning   # SimLingo 需要

如果某个包装不上,放宽这一个包的版本并记录下来,但 torch、transformers、peft、timm 的版本不要动。系统需要 Vulkan(libvulkan1、vulkan-tools)、zstd。

5. 下载什么

模拟器(手动):

放到 内容 大小 来源
carla_b2d/ CARLA 0.9.15 + AdditionalMaps ~30 GB CARLA 官方发布
carla_f2d/ Fail2Drive 模拟器 ~30 GB https://huggingface.co/datasets/SimonGer/fail2drive/resolve/main/fail2drive_simulator.tar.gz,解压到这里,详见 fail2drive/README.md

权重(一条命令): 用第 4 节的 HF_TOKEN。

bash guide/fetch_assets.sh $EVAL4_ROOT/assets

约 25 GB,会下载这些,第 6 节的自检按 sha256 核对(清单在 guide/assets_manifest.json):

内容 大小 来源
调度学生基座和 LoRA、dit_policy_best.pt、TF++ 种子 2、跟踪模型、配置、MoT-DP 代码、SimLingo 推理代码 6.5 GB 本门控仓库
AutoMoT 权重、TF++ 种子 1 13.5 GB 公开:HqH1111/automot_ckpt
SimLingo epoch=013 2.4 GB 公开:RenzKa/simlingo
HF 缓存:InternVL2-1B、regnety_032 3.6 GB 公开:OpenGVLab/InternVL2-1B、timm/regnety_032.ra_in1k

放好后补两个配置文件:

mkdir -p assets/resources
cp guide/config/full_system267_candidate.json assets/resources/
sed "s#\${ASSETS}#$EVAL4_ROOT/assets#g" guide/config/pdm_local.template.yaml > assets/resources/pdm_local.yaml

pdm_local.yaml 里的 models/interfuser/... 文件不存在是正常的,运行不读它。

6. 配路径并自检

cat > $EVAL4_ROOT/paths.env <<EOF2
ASSETS=\${ROOT}/assets
PLANE=\${ROOT}/plane
CARLA_B2D=\${ROOT}/carla_b2d
CARLA_F2D=\${ROOT}/carla_f2d
BENCH2DRIVE=\${ROOT}/Bench2Drive
FAIL2DRIVE=\${ROOT}/fail2drive
PYTHON=$(which python)
EOF2
python guide/check_setup.py

必须输出 READY。它会核对代码提交和权重哈希,并真正加载四个实验的配置、构造借道模块。不是 READY 就先修安装,不要开跑。

7. 冒烟:每个实验先跑一条

先一个一个跑(GPU 号换成你的),都通过再开全量。

cd $EVAL4_ROOT/guide
python run_eval.py E1 --gpu 0 --only 26537
python run_eval.py E2 --gpu 0 --only 26537
python run_eval.py E3 --gpu 0 --only Base_BadParking_0008
python run_eval.py E4 --gpu 0 --only Base_BadParking_0008

通过标准: queue.log 出现 DS xx RC xx,runs/<实验>/<路线>/result.json 有记录,车确实在开(trace_* 里 t 超过 20 s)。分数高低不算冒烟标准。这些结果有效,全量时不会重跑。

不通过时:

  • agent set-up failure:脚本会立即退出,看该路线的 evaluation.log 最后的 Traceback,通常是路径或依赖。修好再跑。
  • CARLA 起不来:看 carla.log;确认 Vulkan 可用(vulkaninfo --summary)。H200 上起不来就报告,换卡。

E3、E4 这份代码没有用 SimLingo 或 AutoMoT 闭环跑过(见第 12 节),所以这两条冒烟尤其重要。出现 Python 报错(如 AttributeError、TypeError)时不要自己改逻辑,把 Traceback 发回给仓库所有者。

8. 并行启动

每个实验一个独立进程,脱离终端。端口按 GPU 号自动错开(2000 + 100 × GPU),同一张卡不要放两个实验。

cd $EVAL4_ROOT/guide; mkdir -p ../logs
setsid nohup python run_eval.py E1 --gpu 0 > ../logs/E1.log 2>&1 < /dev/null &
setsid nohup python run_eval.py E2 --gpu 1 > ../logs/E2.log 2>&1 < /dev/null &
setsid nohup python run_eval.py E3 --gpu 2 > ../logs/E3.log 2>&1 < /dev/null &
setsid nohup python run_eval.py E4 --gpu 3 > ../logs/E4.log 2>&1 < /dev/null &

分在两台机器时,每台各放自己的 $EVAL4_ROOT,只启动分给它的实验,GPU 号按该机器算。

  • 续跑: 再执行同样的命令即可,已有成绩的路线自动跳过。
  • 停止: touch runs/E1/stop_after_current,跑完当前路线就停。继续前先删掉这个文件。
  • 进度: python summary.py,加 -v 列出每条路线。

9. 脚本会自动处理的情况

情况 判据 处理
车掉出地图 主车竖向速度连续两次低于 -5 m/s,或 IMU 向上加速度连续 2 s 接近 0 杀评测进程,这次不计分,重试
CARLA 内存失控 CARLA 占用超过 22 GiB 杀掉,不计分,重试
CARLA 崩溃或 OOM 进程消失 不计分,重试
卡死 15 分钟日志和 trace 都没增长 杀掉,不计分,重试
没有官方记录 result.json 为空或状态是 crashed 不计分,重试
代理启动失败 状态 Agent couldn't be set up 整个实验立即退出,等你修
连续 3 条路线无有效结果 — 整个实验退出,等你查

每条最多试 3 次,失败的尝试移到 runs/<实验>/attempts/。这些情况之外,任何分数都是有效成绩,包括 0 分和撞车,不要重跑。

这两种基础设施问题都真实出现过:车在开局几秒掉进地底(Fail2Drive 0008、0057、0058,重跑通常正常);CARLA 内存以每分钟约 6 GB 涨到 28 GB,机器几乎卡死。根因都还没查清,所以要留意频率(第 10 节)。

10. 监视 bug

这是你任务的一部分,不是可选项。 这些代码在这个组合上没有完整跑过,我们要靠你发现问题。你只负责发现和上报,不要自己修。

每 2 小时运行一次,E3、E4 刚启动的前 20 条每 30 分钟运行一次:

cd $EVAL4_ROOT/guide
python summary.py
python watch_bugs.py      # 报告也写到 runs/bug_report.txt
free -g; df -h .

watch_bugs.py 只读不改,每条跑完的路线读一次 trace。每一行是一个线索,不是结论:

标记 含义 你要做什么
CRASHED 这条路线里有 Python 报错 立即上报,附完整 Traceback
OVERHEAD 激光守卫为车顶以上的东西(比如树枝)拦车 立即上报。这个问题刚修过,再出现说明修复不够
COLLISION 撞车,并给出撞车时刻和当时谁在开 看 frames/,判断是不是系统问题。多条路线同样的控制者撞车,立即上报
BLOCKED 路线没跑完或被判堵死 和 LONG_STAND 一起看
LONG_STAND 停了 30 秒以上,以及是谁拦的、底座是否想走 拦车的是 L5-final-safety 或其他 harness 层,而且底座想走时,立即上报。红灯和前方排队等正常等待不用报
FALL 掉出地图(已重试,不计分) 同一实验 2 小时内出现 3 次以上,或同一路线 3 次都掉,立即上报
CARLA_MEM CARLA 内存失控(已重试) 同上
UNSCORED 试满 3 次仍无成绩 列进报告
RETRY 其他不计分的重试 同一原因反复出现时上报
STALLED 20 分钟没有活动 查进程是否活着,死了就按第 8 节续跑
LOW_SCORE DS 低于 60 抽看 frames/,见下

抽看画面: 低于 60 分的路线会保留 frames/。如果画面整片蓝紫噪点、过曝彩斑,或者世界在头顶(从地图底下往上看),这是基础设施问题,把该路线目录移到 attempts/ 后续跑即可,并在报告里注明。其他情况都按有效成绩保留。

还要看这些:

  • 四个实验的条数是否都在增长。进程死了就用第 8 节的命令续跑。
  • 同一个场景类型(路线名中间那段,如 HardBrake)集中低分或集中撞车。这比单条低分更像系统问题。
  • 磁盘少于 30 GB 时,先压缩或转移 runs/ 里旧路线的 frames。

上报内容: 实验、路线名、DS、watch_bugs.py 那一行、路线目录路径。怀疑是系统问题时,再说明你看到的画面和涉及的其他路线。上报后继续跑其他路线,等仓库所有者决定。

11. 不能做的事

  • 不改 env/*.json、不改代码、不调参数。发现疑似 bug 只上报。
  • 不因为分数低重跑。不挑结果。
  • 只杀自己的进程。不要用 pkill -f 这类按名字匹配的命令,机器上可能有别人的任务;不要动别人的 GPU 进程。
  • 不把密码、令牌写进任何文件或提交。

12. 代码来历和验证状态

实验 代码内容 已知参考分 验证状态
E1 AutoMoT 的 A220 定版(e2e02103) 在 A220 上 97.88(219 条) 该版本跑过 A220,没跑过 B220
E2 SimLingo 的 A220 定版(608d7991) — 该版本跑过 A220 部分路线,没跑过 B220
E3 SimLingo B220 定版 + 当前借道 + 当前激光守卫 + 下表修复(3246cc1b) SimLingo B220 95.75(旧借道) 过了导入、构造和单元测试,没有闭环跑过
E4 AutoMoT B220 定版 + 当前借道 + 当前激光守卫 + 下表修复(3246cc1b) AutoMoT B220 97.06(旧借道) 同上,没有闭环跑过

参考分只用来判断有没有明显跑错(比如全部低于 30 分),不是目标。

本次补上的修复。 它们都是在 Fail2Drive 上用 BridgeDrive 底座跑出来、并在那条线上闭环跑过的问题,SimLingo 和 AutoMoT 这两个底座还没验证过:

路线 问题 修复 开关(都已写进 env/E3.json、env/E4.json)
0014、0018 同向换道待发时,车朝旁边并排的车打方向 待发期间方向盘归技能;车身还在旁边就不放手 HARNESS_SD_ARMED_WHEEL_HOLD、HARNESS_SD_ARMED_WHEEL_FULL
0023 路过的车在借道车道留下一个旧障碍格,车在对向车道里刹停后被撞 被看穿过、之后没再打中的格子算空 HARNESS_BX_GO_CELL_SEEN_EMPTY
0021 对向车流记忆一直凑不够车,错过明显的空档 2 辆快车即可建立;车速取中位数;记忆线跟到实际读到车的位置 HARNESS_BX_ST_GATE_MEM_MIN=2、HARNESS_BX_ST_GATE_MEM_MEDIAN、HARNESS_BX_ST_GATE_MEM_RELAY
0012 后车避让把底座的刹车改成全油门,随后撞上旁边的车 直着刹停就碰不到时,底座的刹车也算避让 HARNESS_FINAL_SAFETY_REAR_YIELD_STRAIGHT
0017 同向换道中,把对向车误判成迎面相撞并急刹,被后车追尾 换道动作进行中,这项对向检查不再触发急刹 HARNESS_FINAL_SAFETY_SD_MOVE_ONCOMING
0036 借道路径直接穿过一辆静止的车,全油门撞上 路径和 TF++ 测到的静止车身重叠就不起步 HARNESS_BX_GO_STANDING_BODY
0054 车头前激光盲区里的树枝被判成接触,拦车到超时 保险杠前 2 m 内测到路面时,盲区里高于车顶的点不算接触 HARNESS_LIDAR_ROOF_BLIND_BAND

这些开关的合并取值在 config/bypass_guard_values.json,E3、E4 完全相同。

E34 的其余构成(E3、E4 共用一个提交,靠配置区分底座):

  • 基础: SimLingo B220 定版 2b4caea2 合并 AutoMoT B220 定版 09b3083e。
  • 换入: Fail2Drive 线 fd3c72ba 的借道文件(三方合并,B2D 上修的借道问题保留在开关后面)和激光守卫,以及它们读取的感知文件。
  • 11-05 晚的修复(来自 f39a1fc7): 旁边车道的方向改在自车坐标系里、按 TF++ 速度判断,长路线段上不再把同向换道当成对向借道;没有 TF++ 身份、又年轻或比车还宽的激光团块,不再遮住它下面的静止物。
  • 其余不动: 车流、让行、红绿灯、停车标志、快控都保持 B220 定版。BridgeDrive 专用的“底座优先”开关(HARNESS_POLICY_FIRST 等)没有打开。
  • 有意的差异: 保留了用户定的“300 帧推车”规则,所以 Fail2Drive 线的 test_no_unstick_push_writes_the_pedals_in_the_st_wait 在这个分支上不通过,这是预期结果。
  • SimLingo 的 CoT: E3 按 B220 定版关闭(SIMLINGO_USE_COT=0)。

13. 回传结果

全部跑完,或者每隔一天:

cd $EVAL4_ROOT
python guide/summary.py -v > summary.txt
python guide/watch_bugs.py > /dev/null
tar -czf eval4_results.tgz summary.txt runs/bug_report.txt runs/*/queue.log runs/*/*/result.json

报告里写清楚:四个实验各自的条数、DS、RC、满分条数;没有成绩的路线和原因;watch_bugs.py 发现的问题,以及你对每一条的判断;用了哪张卡、哪台机器;任何偏离本手册的地方(比如改过的依赖版本)。trace 体积大,需要时再传。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support