geography：全部 LoRA adapter 的备份
集群下线前的离线备份，2026-09-14。共 73 个训练目录、23.9 GB，全部是 PEFT LoRA adapter（没有全参权重）。2026-09-16 补了 geo_world_loop_full256k 与 geo_world_loop_m17_full256k，09-17 补了 geo_world_loop_bd8_full256k、geo_world_loop_r17_full256k 与 geo_world_loop_r17l_full256k，09-18 补了 head_train 三臂 geo_world_loop_r17l{1,2,3}h_full256k，09-19 补了 geo_world_loop_r17ls_full256k，09-21 补了 geo_world_loop_r17l{1,2}hs_full256k。目录结构与原仓库的 checkpoints/ 一比一相同，所以 src/interp/common.py 里 CARRIERS 的 adapter=ROOT / "checkpoints/<目录>/final" 可以直接指过来。
代码与报告在 GitHub 仓库 geography（分支 clean_trn）；本仓库只补上被 .gitignore 挡掉的权重。
怎么取回
pip install -U huggingface_hub
hf download YYT-t/geography-checkpoints --local-dir checkpoints
单个载体（例如 TRN-geodesic 的 world_far）：
hf download YYT-t/geography-checkpoints --include 'geo_world_far_full256k/*' --local-dir checkpoints
注意力约束载体（geo_world_loop_m17_full256k、geo_world_loop_bd8_full256k、geo_world_loop_r17_full256k、geo_world_loop_r17l_full256k）
这个 adapter 是带着注意力硬约束训练的：题面按 token 分成前缀、位移（距离与方位角）、城名、题尾四段，
第 0 到 16 层里答案侧（:）看不到城名、城名侧全程看不到距离与方位角。用它做推理必须挂同一套 mask
（GitHub 仓库 geography 的 src/data/attn_plan.py，载体登记 m17 是 plan={"K": 17, "anchor_all_layers": True}，bd8 是 plan={"K": 17, "anchor_all_layers": True, "split_d": True, "Kbd": 8}——bd8 在 m17 之上再把距离与方位角互相隔开、: 侧第 8 层前看不到它们，r17 是 plan={"K": 17, "anchor_all_layers": True, "colon_read_layers": [17], "s_pre_reads_anchor": False}——起点只许读一次，: 及其后只在第 17 层看城名，r17l 在它之上加 "anchor_read_last_only": True——只许读城名的末 token；r17l1h / 2h / 3h 再加 "anchor_read_heads" 分别为 [22]、[22, 23]、[21, 22, 23]——第 17 层只有这几个 query 头能读起点；r17ls 在 r17l 之上加 "colon_seal_from": 17——: 位从第 17 层起封住；r17l1hs / r17l2hs 是按头限制与封 : 两者叠加，anchor_read_heads 分别为 [22]、[22, 23] 再加 "colon_seal_from": 17），
否则读到的数与训练时不是一回事；vLLM 不支持逐层 mask，评测走 src/eval/run_eval_hf.py。
训练数据与配方跟 geo_world_loop_full256k 完全相同，两者相减就是约束的效果。
world_major 池的四个载体（2026-09-25）
换了起点池：高纬度也进（GeoNames cities500 加南极站与北极站），题面数据在 YYT-t/geography-artifacts
的 data/generated/geodesic/world_major/。四个载体用同一份 train_nn.jsonl，只差注意力约束，
留出集 exact 依次是无约束 0.361、单读加封 : 0.336、两头加封 : 0.339、一头加封 : 0.275；
约束的 plan 与 geo_world_loop_* 同名载体逐字相同，用法见上一节。
目录清单
每个目录下 final/ 是定稿权重，ckNNNNN/ 是训练中途的存档（按步数），train_args.json 是训练超参。
| 目录 | 载体名（GEOM_CARRIER） |
基座 | LoRA r | 学习率 | epoch | 训练题数 | 训练数据 | 子目录 | 大小 |
|---|---|---|---|---|---|---|---|---|---|
All4_32k |
— | gemma-2-9b | 16 | 0.0001 | 2.0 | 32000 | train_nn.jsonl, train_nc.jsonl, train_cn.jsonl, train_cc.jsonl | final | 206 MB |
All4_64k |
— | gemma-2-9b | 16 | 0.0001 | 2.0 | 64000 | train_nn.jsonl, train_nc.jsonl, train_cn.jsonl, train_cc.jsonl | final | 206 MB |
All4_8k |
— | gemma-2-9b | 16 | 0.0001 | 2.0 | 8000 | train_nn.jsonl, train_nc.jsonl, train_cn.jsonl, train_cc.jsonl | final | 206 MB |
N_8k |
— | gemma-2-9b | 16 | 0.0001 | 2.0 | 8000 | train_nn.jsonl | final | 206 MB |
bearing_All4_64k |
gemma | gemma-2-9b | 16 | 0.0001 | 2.0 | 64000 | bearing/train_nn.jsonl, bearing/train_nc.jsonl, bearing/train_cn.jsonl, bearing/train_cc.jsonl | final | 206 MB |
bearing_N_8k |
— | gemma-2-9b | 16 | 0.0001 | 2.0 | 8000 | bearing/train_nn.jsonl | final | 206 MB |
bearing_llama_All4_64k |
llama | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 64000 | bearing_llama/train_nn.jsonl, bearing_llama/train_nc.jsonl, bearing_llama/train_cn.jsonl, bearing_llama/train_cc.jsonl | final | 160 MB |
geo_us_denseS127K256 |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 35591 | geodesic/us/arm_denseS127K256/train_nn.jsonl | final | 160 MB |
geo_us_eqK128 |
geo_us_e128 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 128000 | geodesic/us/arm_eqK128/train_nn.jsonl | final | 160 MB |
geo_us_eqK16 |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 128000 | geodesic/us/arm_eqK16/train_nn.jsonl | final | 160 MB |
geo_us_eqK32 |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 128000 | geodesic/us/arm_eqK32/train_nn.jsonl | final | 160 MB |
geo_us_eqK64 |
geo_us_e64 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 127952 | geodesic/us/arm_eqK64/train_nn.jsonl | final | 160 MB |
geo_us_frozen128 |
geo_us_frozen | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 128000 | geodesic/us/arm_frozen128/train_nn.jsonl | ck01800 ck03600 ck05400 final | 640 MB |
geo_us_full128k |
geo_us | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 128000 | geodesic/us/train_nn.jsonl | final | 160 MB |
geo_us_smoke16k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 16000 | geodesic/us/train_nn.jsonl | final | 160 MB |
geo_us_sparseK128 |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 65024 | geodesic/us/arm_sparseK128/train_nn.jsonl | final | 160 MB |
geo_us_sparseK32 |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 16256 | geodesic/us/arm_sparseK32/train_nn.jsonl | final | 160 MB |
geo_us_sparseK64 |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 32512 | geodesic/us/arm_sparseK64/train_nn.jsonl | final | 160 MB |
geo_world_20k_full256k |
geo_world_20k | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_20k/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_eqK128 |
geo_world_e128 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 252778 | geodesic/world/arm_eqK128/train_nn.jsonl | ck03555 ck07110 ck10665 final | 640 MB |
geo_world_eqK64 |
geo_world_e64 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 239638 | geodesic/world/arm_eqK64/train_nn.jsonl | ck03370 ck06740 ck10110 final | 640 MB |
geo_world_far_full256k |
geo_world_far | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_far/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_full256k |
geo_world | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world/train_nn.jsonl | ck07200 final | 320 MB |
geo_world_loop_full256k |
geo_world_loop | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_m17_full256k |
geo_world_loop_m17 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_bd8_full256k |
geo_world_loop_bd8 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17_full256k |
geo_world_loop_r17 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17l_full256k |
geo_world_loop_r17l | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17l1h_full256k |
geo_world_loop_r17l1h | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17l2h_full256k |
geo_world_loop_r17l2h | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17l3h_full256k |
geo_world_loop_r17l3h | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17ls_full256k |
geo_world_loop_r17ls | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17l1hs_full256k |
geo_world_loop_r17l1hs | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_loop_r17l2hs_full256k |
geo_world_loop_r17l2hs | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_loop/train_nn.jsonl（与 geo_world_loop 同一份） |
ck03600 ck07200 ck10800 final | 640 MB |
geo_world_major_full256k |
world_major_full256k | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_major/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_major_r17ls_full256k |
world_major_r17ls_full256k | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_major/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_major_r17l2hs_full256k |
world_major_r17l2hs_full256k | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_major/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_major_r17l1hs_full256k |
world_major_r17l1hs_full256k | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 256000 | geodesic/world_major/train_nn.jsonl | ck03600 ck07200 ck10800 final | 640 MB |
geo_world_smoke16k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 16000 | geodesic/world/train_nn.jsonl | final | 160 MB |
ring_N_16k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 16000 | ring/train_nn.jsonl | final | 160 MB |
ring_N_32k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 32000 | ring/train_nn.jsonl | final | 160 MB |
ring_N_8k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 8000 | ring/train_nn.jsonl | final | 160 MB |
ring_cov10_44k |
ring | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 44067 | ring_cov10/train_nn.jsonl | final | 160 MB |
ring_cov10_44k_r128 |
— | Meta-Llama-3.1-8B | 128 | 0.0001 | 2.0 | 44067 | ring_cov10/train_nn.jsonl | final | 1280 MB |
ring_cov10dcap_31k |
ring_dcap | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 30971 | ring_cov10_dcap/train_nn.jsonl | final | 160 MB |
ring_cov10f1_44k |
ring_f1 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 44067 | ring_cov10_f1/train_nn.jsonl | final | 160 MB |
ring_cov10f2_44k |
ring_f2 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 44067 | ring_cov10_f2/train_nn.jsonl | final | 160 MB |
ring_cov10f3_44k |
ring_f3 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 44067 | ring_cov10_f3/train_nn.jsonl | final | 160 MB |
ring_covall_124k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 123707 | ring_cov_all/train_nn.jsonl | final | 160 MB |
ring_lora3b_cov10 |
— | Llama-3.2-3B | 16 | 0.0001 | 2.0 | 44067 | ring_cov10/train_nn.jsonl | final | 93 MB |
ring_r35_16k |
— | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 16000 | ring_r35/train_nn.jsonl | final | 160 MB |
ring_r35_full |
ring_r35 | Meta-Llama-3.1-8B | 16 | 0.0001 | 2.0 | 30402 | ring_r35_full/train_nn.jsonl | final | 160 MB |
说明
载体名那一列取自
src/interp/common.py的CARRIERS；写「—」的目录没有被登记成 interp 载体，是行为学对照臂或早期实验。TRN-ring 线的全参微调权重与 Meta-Llama-3-8B 的旧 adapter 已于 2026-09-11 按用户裁定删除，不在此备份中；
CARRIERS["ring_full"]因此没有对应权重。基座权重本身不在这里，从各自的 Hub 仓库重新下载即可（
NousResearch/Meta-Llama-3.1-8B、google/gemma-2-9b）。
- Downloads last month
- -