mac m1上运行cli_deom.py超过10分钟都不显示结果
#13
by scroll2008 - opened
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True, ignore_mismatched_sizes=True).float()
程序启动后，cpu很高，超过10分钟没有出结果，有人遇到过类似情况吗。
采用int4版本：THUDM/chatglm-6b-int4
mac没有显卡吧，跑不动
装mac版本的torch，指定设备跑