How to use zai-org/chatglm2-6b with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("zai-org/chatglm2-6b", trust_remote_code=True, device_map="auto")
生成结果中偶尔还是会出现中英文标点混杂的问题，可能还是需要之前的process_response方法？
的确有这个问题，全中文模式会出半角标点符号。
· Sign up or log in to comment
