fix eval_llm: add --tokenizer_path/--native flags, auto-detect num_hidden_layers from checkpoint; update README with correct inference commands

README.md

@@ -67,15 +67,11 @@ src/
 │   └── checkpoint.py  # checkpoint 读写辅助
 ├── serve/            # 实时语音会话（SileroVAD / RealtimeSession）
 configs/
-├── lm_full_sft.yaml       # 纯文本 SFT 训练配置
-├── lm_full_sft_moe.yaml   # 纯文本 MoE SFT 训练配置
-├── lm_pretrain.yaml       # 纯文本预训练配置
-├── lm_pretrain_moe.yaml   # 纯文本 MoE 预训练配置
-├── vlm.yaml          # 视觉多模态训练配置
-├── lm/               # 纯文本 LM 配置
+├── lm/               # 纯文本 LM 配置（pretrain / full_sft / MoE / mini）
 ├── vlm/              # 视觉多模态 VLM 配置
-├── vam/              # 全模态 VAM 配置
-└── tokenizer/        # tokenizer.json / tokenizer_config.json
+└── vam/              # 全模态 VAM 配置
+checkpoint/
+└── tokenizer/        # tokenizer.json / tokenizer_config.json（由 train_tokenizer.py 生成）
 scripts/              # 推理 / 服务 / 转换脚本
 ├── eval_llm.py      # 命令行推理与对话
 ├── eval_vlm.py      # 视觉多模态推理
@@ -111,7 +107,7 @@ python -m trainers.lm.pretrain --config configs/lm/lm_pretrain.yaml
 # 全量 SFT（以预训练权重初始化，指令微调）
 python -m trainers.lm.full_sft --config configs/lm/lm_full_sft.yaml
 
-# 训练 tokenizer（学习用，MiniMind 已自带）
+# 训练 tokenizer
 python -m trainers.lm.train_tokenizer --data_path dataset/sft_t2t_mini.jsonl \
                                       --vocab_size 6400 \
                                       --checkpoint_dir ./checkpoint \
@@ -177,7 +173,23 @@ torchrun --nproc_per_node=4 -m trainers.lm.full_sft --config configs/lm/lm_full_
 ### 推理 / 对话
 
 ```bash
-python scripts/eval_llm.py --load_from ../model --weight full_sft
+# 加载 SFT 模型对话（mini 版）
+python scripts/eval_llm.py --save_dir checkpoint/lm_full_sft_mini \
+                           --weight full_sft --hidden_size 128 --native
+
+# 加载 pretrain 模型（仅续写，无对话格式）
+python scripts/eval_llm.py --save_dir checkpoint/lm_pretrain_mini \
+                           --weight pretrain --hidden_size 128 --native
+
+# 全量版（hidden_size=512）
+python scripts/eval_llm.py --save_dir checkpoint/lm/full_sft \
+                           --weight full_sft --hidden_size 512 --native
+
+# 多模态视觉 VLM
+python scripts/eval_vlm.py --save_dir checkpoint/vlm --weight full_sft
+
+# 全模态 VAM（文本 + 视觉 + 语音）
+python scripts/eval_vam.py --save_dir checkpoint/vam --weight full_sft
 ```
 
 ## 配置说明

scripts/eval_llm.py

@@ -10,17 +10,19 @@ from utils.training import setup_seed, get_model_params
 warnings.filterwarnings('ignore')
 
 def init_model(args):
-    tokenizer = AutoTokenizer.from_pretrained(args.load_from)
-    if 'model' in args.load_from:
+    tokenizer = AutoTokenizer.from_pretrained(args.tokenizer_path)
+    if args.native:
+        moe_suffix = '_moe' if args.use_moe else ''
+        ckp = f'./{args.save_dir}/{args.weight}_{args.hidden_size}{moe_suffix}.pth'
+        state = torch.load(ckp, map_location=args.device)
+        n_layers = max(int(k.split('.')[2]) for k in state if k.startswith('model.layers.')) + 1
         model = LMForCausalLM(LMConfig(
             hidden_size=args.hidden_size,
-            num_hidden_layers=args.num_hidden_layers,
+            num_hidden_layers=n_layers,
             use_moe=bool(args.use_moe),
             inference_rope_scaling=args.inference_rope_scaling
         ))
-        moe_suffix = '_moe' if args.use_moe else ''
-        ckp = f'./{args.save_dir}/{args.weight}_{args.hidden_size}{moe_suffix}.pth'
-        model.load_state_dict(torch.load(ckp, map_location=args.device), strict=True)
+        model.load_state_dict(state, strict=True)
         if args.lora_weight != 'None':
             apply_lora(model)
             load_lora(model, f'./{args.save_dir}/{args.lora_weight}_{args.hidden_size}.pth')
@@ -31,7 +33,9 @@ def init_model(args):
 
 def main():
     parser = argparse.ArgumentParser(description="MiniMind模型推理与对话")
-    parser.add_argument('--load_from', default='model', type=str, help="模型加载路径（model=原生torch权重，其他路径=transformers格式）")
+    parser.add_argument('--load_from', default='', type=str, help="模型加载路径（transformers格式，native模式不感知此参数）")
+    parser.add_argument('--tokenizer_path', default='checkpoint/tokenizer', type=str, help="tokenizer 路径")
+    parser.add_argument('--native', action='store_true', help="加载原生 torch checkpoint（由 save_dir/weight/hidden_size 定位）")
     parser.add_argument('--save_dir', default='out', type=str, help="模型权重目录")
     parser.add_argument('--weight', default='full_sft', type=str, help="权重名称前缀（pretrain, full_sft, rlhf, reason, ppo_actor, grpo, spo）")
     parser.add_argument('--lora_weight', default='None', type=str, help="LoRA权重名称（None表示不使用，可选：lora_identity, lora_medical）")