Upload COAUTHOR_TRAIN_KIT.md with huggingface_hub
Browse files- COAUTHOR_TRAIN_KIT.md +16 -2
COAUTHOR_TRAIN_KIT.md
CHANGED
|
@@ -14,6 +14,7 @@ archives/batch_v5.tar 9.3 GB v8_clean 渲染图
|
|
| 14 |
archives/osd_images.tar 5.2 GB OSD 引用子集 (16,657 张)
|
| 15 |
archives/msmu_parts/msmu_part_00..06 27 GB MSMU 图像 (split 成 7 块, 单文件传不动)
|
| 16 |
archives/llamafactory_src.tar.gz 4.5 MB 改过的 LLaMA-Factory 源码 (含 dpo_p2_weight trainer)
|
|
|
|
| 17 |
jsonl/ 五个 jsonl + dataset_info.json
|
| 18 |
config/mgeo_full_dpo_v11_mix_h20.yaml 训练 yaml
|
| 19 |
scripts/ build_mix / extract_osd / run_chain
|
|
@@ -113,7 +114,20 @@ CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
|
|
| 113 |
|
| 114 |
**预计**: ~70k / 32 batch × 1 epoch ≈ 2200 step;8× H20 约 4-6 h。
|
| 115 |
|
| 116 |
-
## 6.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 117 |
|
| 118 |
```bash
|
| 119 |
# Checkpoint
|
|
@@ -125,7 +139,7 @@ huggingface-cli upload Larer/spatial-mllm-v11-mix-h20-ckpt \
|
|
| 125 |
. --repo-type model
|
| 126 |
```
|
| 127 |
|
| 128 |
-
##
|
| 129 |
|
| 130 |
- 路径要么用 symlink 复刻 `/data222/hongbo.wang/Spatial_MLLM/`,要么 sed 改 jsonl,**二选一别都改**
|
| 131 |
- 第一次 `llamafactory-cli train` 会缓存预处理 token (~3 GB 在 `data/cache/`),可清
|
|
|
|
| 14 |
archives/osd_images.tar 5.2 GB OSD 引用子集 (16,657 张)
|
| 15 |
archives/msmu_parts/msmu_part_00..06 27 GB MSMU 图像 (split 成 7 块, 单文件传不动)
|
| 16 |
archives/llamafactory_src.tar.gz 4.5 MB 改过的 LLaMA-Factory 源码 (含 dpo_p2_weight trainer)
|
| 17 |
+
archives/evals_kit.tar.gz 1.0 GB 三 bench 评测套件 (P3 + SpatialRGPT + ViewSpatial)
|
| 18 |
jsonl/ 五个 jsonl + dataset_info.json
|
| 19 |
config/mgeo_full_dpo_v11_mix_h20.yaml 训练 yaml
|
| 20 |
scripts/ build_mix / extract_osd / run_chain
|
|
|
|
| 114 |
|
| 115 |
**预计**: ~70k / 32 batch × 1 epoch ≈ 2200 step;8× H20 约 4-6 h。
|
| 116 |
|
| 117 |
+
## 6. 三 bench 评测 (可选 — 默认让一作做)
|
| 118 |
+
|
| 119 |
+
若想自己 sanity check 跑 P3 / SpatialRGPT / ViewSpatial 三 bench:
|
| 120 |
+
|
| 121 |
+
```bash
|
| 122 |
+
tar -xzf $KIT/archives/evals_kit.tar.gz -C $KIT
|
| 123 |
+
mkdir -p $KIT/evals
|
| 124 |
+
mv $KIT/{p3,spatialrgpt,viewspatial,EVAL_KIT.md} $KIT/evals/
|
| 125 |
+
cat $KIT/evals/EVAL_KIT.md # 完整说明
|
| 126 |
+
```
|
| 127 |
+
|
| 128 |
+
详见 [`evals/EVAL_KIT.md`](archives/evals_kit.tar.gz):bench 数据 + 评测脚本 + 历史 baseline preds 全在里面。
|
| 129 |
+
|
| 130 |
+
## 7. 训练完后回传
|
| 131 |
|
| 132 |
```bash
|
| 133 |
# Checkpoint
|
|
|
|
| 139 |
. --repo-type model
|
| 140 |
```
|
| 141 |
|
| 142 |
+
## 8. 注意事项
|
| 143 |
|
| 144 |
- 路径要么用 symlink 复刻 `/data222/hongbo.wang/Spatial_MLLM/`,要么 sed 改 jsonl,**二选一别都改**
|
| 145 |
- 第一次 `llamafactory-cli train` 会缓存预处理 token (~3 GB 在 `data/cache/`),可清
|