Video-Text-to-Text
Transformers
Safetensors
English
Chinese
mllama
text-generation
multimodal
video
vision-language
sft
custom_code
text-generation-inference
Instructions to use OpenMOSS-Team/moss-video-preview-sft with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use OpenMOSS-Team/moss-video-preview-sft with Transformers:
# Load model directly from transformers import AutoProcessor, AutoModelForCausalLM processor = AutoProcessor.from_pretrained("OpenMOSS-Team/moss-video-preview-sft", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("OpenMOSS-Team/moss-video-preview-sft", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
Upload folder using huggingface_hub
Browse files
README.md
CHANGED
|
@@ -1,6 +1,6 @@
|
|
| 1 |
-
# MOSS-Video-SFT
|
| 2 |
|
| 3 |
-
MOSS-Video-SFT 是经过两阶段预训练与指令微调(SFT)得到的 streaming 视频理解模型。该模型基于 Llama-3.2-Vision 架构,通过引入原生视频处理能力和统一的时空位置编码,实现了对流式视频的高效理解。
|
| 4 |
|
| 5 |
## 🚀 训练阶段说明
|
| 6 |
|
|
@@ -36,5 +36,6 @@ MOSS-Video-SFT 是经过两阶段预训练与指令微调(SFT)得到的 stre
|
|
| 36 |
- **高效池化策略**:采用 `average` 池化模式配合 `stride=4`,平衡计算效率与特征保留。
|
| 37 |
- **Flash Attention 2**:全流程支持 FA2 加速,优化长序列训练显存占用。
|
| 38 |
|
|
|
|
| 39 |
### 进一步微调
|
| 40 |
参考 `examples/streaming_video_real_time_sft` 目录下的配置文件进行自定义 SFT。
|
|
|
|
| 1 |
+
# MOSS-Video-Preview-SFT
|
| 2 |
|
| 3 |
+
MOSS-Video-Preview-SFT 是经过两阶段预训练与指令微调(SFT)得到的 streaming 视频理解模型。该模型基于 Llama-3.2-Vision 架构,通过引入原生视频处理能力和统一的时空位置编码,实现了对流式视频的高效理解。
|
| 4 |
|
| 5 |
## 🚀 训练阶段说明
|
| 6 |
|
|
|
|
| 36 |
- **高效池化策略**:采用 `average` 池化模式配合 `stride=4`,平衡计算效率与特征保留。
|
| 37 |
- **Flash Attention 2**:全流程支持 FA2 加速,优化长序列训练显存占用。
|
| 38 |
|
| 39 |
+
|
| 40 |
### 进一步微调
|
| 41 |
参考 `examples/streaming_video_real_time_sft` 目录下的配置文件进行自定义 SFT。
|