Text Generation
Transformers
Safetensors
PyTorch
English
language-model
diffusion
latent-diffusion
flow-matching
text-vae
research
Instructions to use ByteDance-Seed/Cola-DLM with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use ByteDance-Seed/Cola-DLM with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="ByteDance-Seed/Cola-DLM")# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("ByteDance-Seed/Cola-DLM", device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use ByteDance-Seed/Cola-DLM with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "ByteDance-Seed/Cola-DLM" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "ByteDance-Seed/Cola-DLM", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/ByteDance-Seed/Cola-DLM
- SGLang
How to use ByteDance-Seed/Cola-DLM with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "ByteDance-Seed/Cola-DLM" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "ByteDance-Seed/Cola-DLM", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "ByteDance-Seed/Cola-DLM" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "ByteDance-Seed/Cola-DLM", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use ByteDance-Seed/Cola-DLM with Docker Model Runner:
docker model run hf.co/ByteDance-Seed/Cola-DLM
Update README_zh.md
Browse files- README_zh.md +18 -0
README_zh.md
CHANGED
|
@@ -182,6 +182,24 @@ Cola DLM 主要面向层次化隐变量语言模型、连续隐空间文本扩
|
|
| 182 |
- 生成质量对 prompt 格式和长度较敏感。快速评测时建议使用 `"Question: ... Answer:"` 这类 QA 风格 prompt。
|
| 183 |
- 推理时会使用可变 KV cache;服务实现中建议在单进程内串行执行生成,除非显式隔离 cache 状态。
|
| 184 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 185 |
## 引用
|
| 186 |
|
| 187 |
如果 Cola DLM 对你的工作有帮助,请引用:
|
|
|
|
| 182 |
- 生成质量对 prompt 格式和长度较敏感。快速评测时建议使用 `"Question: ... Answer:"` 这类 QA 风格 prompt。
|
| 183 |
- 推理时会使用可变 KV cache;服务实现中建议在单进程内串行执行生成,除非显式隔离 cache 状态。
|
| 184 |
|
| 185 |
+
## 安全声明与使用限制
|
| 186 |
+
|
| 187 |
+
Cola DLM 是一个面向研究探索的连续隐空间扩散语言模型 checkpoint。该模型规模较小,**没有经过指令微调、RLHF 或系统性的安全对齐训练**,因此不具备可靠的安全拒答、内容过滤或风险识别能力。模型输出可能包含不准确、冒犯性、有偏见、违法、不适宜或具有误导性的内容。
|
| 188 |
+
|
| 189 |
+
本模型仅供学术研究与技术验证使用。我们不鼓励、支持或授权将 Cola DLM 用于生成、传播或协助以下类型的内容:
|
| 190 |
+
|
| 191 |
+
- 色情、露骨性内容、性剥削或任何不适宜内容;
|
| 192 |
+
- 赌博相关内容,包括赌博推广、投注建议、非法博彩服务等;
|
| 193 |
+
- 毒品、违禁药物或受管制物质相关内容,包括制造、购买、销售、使用或规避监管的指导;
|
| 194 |
+
- 仇恨、骚扰、歧视、暴力威胁、极端主义或煽动性内容;
|
| 195 |
+
- 政治操纵、定向政治劝服、政治虚假信息、跨国冲突煽动,或可能引发社会、群体、国家间对立的敏感政治内容;
|
| 196 |
+
- 违法活动、规避法律监管、网络攻击、隐私侵犯或其他可能造成现实伤害的内容;
|
| 197 |
+
- 医疗、法律、金融、安全等高风险决策场景中的自动化建议或判断。
|
| 198 |
+
|
| 199 |
+
使用者在下载、部署、微调、分发或基于本模型构建应用时,应自行承担相应的安全与合规责任,并根据具体场景加入必要的安全机制,包括但不限于输入输出内容审核、访问控制、日志审计、人工复核、红队测试以及地区法律法规合规检查。
|
| 200 |
+
|
| 201 |
+
Cola DLM 不应被视为生产级聊天机器人或安全可靠的通用助手。任何基于本模型生成的内容均不代表作者、机构或贡献者的观点、立场或认可。
|
| 202 |
+
|
| 203 |
## 引用
|
| 204 |
|
| 205 |
如果 Cola DLM 对你的工作有帮助,请引用:
|