How to use zai-org/chatglm-6b with Transformers:
# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("zai-org/chatglm-6b", trust_remote_code=True, dtype="auto")
— 添加chat_batch方法，可以同时进行多次多伦对话
3090，fp16，并行跑100条只要3.2s，当然文本比较短，不过也比循环一百次快多了
· Sign up or log in to comment
