Set base model hidden_size to 512 across all configs for 8G VRAM

README.md

@@ -100,9 +100,16 @@ pip install -e ".[rl,serve,demo]"
 也可通过 `--config` 指定其它配置，任意 CLI 参数都能覆盖 YAML 中的默认值：
 
 ```bash
+bash runs/train_tokenizer.sh --data_path dataset/sft_t2t_mini.jsonl \
+                             --vocab_size 6400 \
+                             --checkpoint_dir ../checkpoint \
+                             --no_eval
+
 bash runs/lm.sh                                  # 使用 configs/model/lm.yaml
 bash runs/vlm.sh --config configs/model/vlm_moe.yaml
 bash runs/vam.sh --epochs 5                      # 在 vam.yaml 基础上覆盖单字段
+
+
 ```
 
 ### 推理 / 对话

configs/model/lm.yaml

@@ -1,6 +1,6 @@
 # LM 训练配置（纯文本语言模型）
 model:
-  hidden_size: 768
+  hidden_size: 512
   num_hidden_layers: 8
   use_moe: 0            # 1 启用 MoE
   vocab_size: 6400

configs/model/lm_moe.yaml

@@ -1,6 +1,6 @@
 # LM-MoE 训练配置（纯文本语言模型，启用 MoE）
 model:
-  hidden_size: 768
+  hidden_size: 512
   num_hidden_layers: 8
   use_moe: 1            # 1 启用 MoE
   num_experts: 4

configs/model/vam.yaml

@@ -1,6 +1,6 @@
 # VAM 训练配置（文本 + 视觉 + 语音全模态）
 model:
-  hidden_size: 768
+  hidden_size: 512
   num_hidden_layers: 8
   use_moe: 0            # 1 启用 MoE
   vocab_size: 6400
@@ -10,7 +10,7 @@ model:
   dropout: 0.0
   # Talker（语音生成）相关
   num_talker_hidden_layers: 4
-  talker_hidden_size: 768
+  talker_hidden_size: 512
   # 音频相关
   audio_special_token: "<|audio_pad|>"
   audio_ids: [16]

configs/model/vam_moe.yaml

@@ -1,6 +1,6 @@
 # VAM-MoE 训练配置（文本 + 视觉 + 语音全模态，启用 MoE）
 model:
-  hidden_size: 768
+  hidden_size: 512
   num_hidden_layers: 8
   use_moe: 1            # 1 启用 MoE
   num_experts: 4
@@ -15,7 +15,7 @@ model:
   dropout: 0.0
   # Talker（语音生成）相关
   num_talker_hidden_layers: 4
-  talker_hidden_size: 768
+  talker_hidden_size: 512
   # 音频相关
   audio_special_token: "<|audio_pad|>"
   audio_ids: [16]

configs/model/vlm.yaml

@@ -1,6 +1,6 @@
 # VLM 训练配置（文本 + 视觉多模态）
 model:
-  hidden_size: 768
+  hidden_size: 512
   num_hidden_layers: 8
   use_moe: 0            # 1 启用 MoE
   vocab_size: 6400

configs/model/vlm_moe.yaml

@@ -1,6 +1,6 @@
 # VLM-MoE 训练配置（文本 + 视觉多模态，启用 MoE）
 model:
-  hidden_size: 768
+  hidden_size: 512
   num_hidden_layers: 8
   use_moe: 1            # 1 启用 MoE
   num_experts: 4