Instructions to use zai-org/glm-4-9b-chat with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use zai-org/glm-4-9b-chat with Transformers:
# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("zai-org/glm-4-9b-chat", trust_remote_code=True, dtype="auto") - Notebooks
- Google Colab
- Kaggle
modeling_chatglm.py这个文件,新版4.42.4里面,是不是删除了stream_chat相关的函数,导致不能流式输出了呢
#66
by strange007 - opened
请问modeling_chatglm.py这个文件,新版4.42.4里面,是不是删除了stream_chat相关的函数,导致不能流式输出了呢
请问应该怎么搞,把原来的版本里面那些stream_chat相关的函数粘贴过来吗
glm-4-9b-chat-1m有带stream_chat的:https://huggingface.co/THUDM/glm-4-9b-chat-1m/blob/main/modeling_chatglm.py
这个函数不是标准函数,于是删掉了,在github中我们很早就移除了这些非标准推理函数的使用,您可以参考github中我们是怎么实现流的输出的。
如果你要恢复,直接重新粘贴回来就行
ZHANGYUXUAN-zR changed discussion status to closed