Update README_zh.md

README_zh.md

@@ -69,7 +69,7 @@ GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开
 
 **请严格按照[依赖](https://github.com/THUDM/GLM-4/blob/main/basic_demo/requirements.txt)安装，否则无法正常运行。**
 
-### Transformers 推理代码
+### Transformers 推理代码 (需要版本号大于等于4.46.0)
 
 ```python
 
@@ -108,6 +108,40 @@ print(tokenizer.decode(out[0][input_len:], skip_special_tokens=True))
 
 ```
 
+### vLLM 推理代码 (需要版本号大于等于0.6.4)
+```Python
+
+
+from transformers import AutoTokenizer
+from vllm import LLM, SamplingParams
+
+# GLM-4-9B-Chat-1M
+# max_model_len, tp_size = 1048576, 4
+# 如果遇见 OOM 现象，建议减少max_model_len，或者增加tp_size
+max_model_len, tp_size = 131072, 1
+model_name = "THUDM/glm-4-9b-chat-hf"
+prompt = [{"role": "user", "content": "你好"}]
+
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+llm = LLM(
+    model=model_name,
+    tensor_parallel_size=tp_size,
+    max_model_len=max_model_len,
+    trust_remote_code=True,
+    enforce_eager=True,
+    # GLM-4-9B-Chat-1M 如果遇见 OOM 现象，建议开启下述参数
+    # enable_chunked_prefill=True,
+    # max_num_batched_tokens=8192
+)
+stop_token_ids = [151329, 151336, 151338]
+sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)
+
+inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)
+outputs = llm.generate(prompts=inputs, sampling_params=sampling_params)
+
+print(outputs[0].outputs[0].text)
+```
+
 ## 协议
 
 GLM-4 模型的权重的使用则需要遵循 [LICENSE](LICENSE)。