findcard12138 commited on
Commit
774bc35
·
verified ·
1 Parent(s): 5ea1b38

Upload folder using huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +3 -2
README.md CHANGED
@@ -1,6 +1,6 @@
1
- # MOSS-Video-SFT
2
 
3
- MOSS-Video-SFT 是经过两阶段预训练与指令微调(SFT)得到的 streaming 视频理解模型。该模型基于 Llama-3.2-Vision 架构,通过引入原生视频处理能力和统一的时空位置编码,实现了对流式视频的高效理解。
4
 
5
  ## 🚀 训练阶段说明
6
 
@@ -36,5 +36,6 @@ MOSS-Video-SFT 是经过两阶段预训练与指令微调(SFT)得到的 stre
36
  - **高效池化策略**:采用 `average` 池化模式配合 `stride=4`,平衡计算效率与特征保留。
37
  - **Flash Attention 2**:全流程支持 FA2 加速,优化长序列训练显存占用。
38
 
 
39
  ### 进一步微调
40
  参考 `examples/streaming_video_real_time_sft` 目录下的配置文件进行自定义 SFT。
 
1
+ # MOSS-Video-Preview-SFT
2
 
3
+ MOSS-Video-Preview-SFT 是经过两阶段预训练与指令微调(SFT)得到的 streaming 视频理解模型。该模型基于 Llama-3.2-Vision 架构,通过引入原生视频处理能力和统一的时空位置编码,实现了对流式视频的高效理解。
4
 
5
  ## 🚀 训练阶段说明
6
 
 
36
  - **高效池化策略**:采用 `average` 池化模式配合 `stride=4`,平衡计算效率与特征保留。
37
  - **Flash Attention 2**:全流程支持 FA2 加速,优化长序列训练显存占用。
38
 
39
+
40
  ### 进一步微调
41
  参考 `examples/streaming_video_real_time_sft` 目录下的配置文件进行自定义 SFT。