How to use zai-org/chatglm-6b with Transformers:
# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("zai-org/chatglm-6b", trust_remote_code=True, dtype="auto")
当 batch > 1 的时候（若输入的 token 数目不一致）， 其推理结果和 batch = 1的结果不对齐， 而且相差甚远。请问是什么原因呢 ？
有具体例子吗
在模型 v1.1 （fp16）上测试的结果：
OK，不过模型输出本来也不是固定的吧。
已经关闭了 do_sample
· Sign up or log in to comment
