Instructions to use zai-org/chatglm2-6b-32k with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use zai-org/chatglm2-6b-32k with Transformers:
# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("zai-org/chatglm2-6b-32k", dtype="auto") - Notebooks
- Google Colab
- Kaggle
使用本地加载模型。运行时出现访问hugging face超时
#6
by qwm - opened
About this issue:
- 每次加载模型,默认使用在线模型,即使本地下载过,也会进行一次版本检查~
- 如果你确认已经下载过,例如已经存储在 ~/.cache/huggingface/hub or module 等目录了,那么 你这个 from_pretrained( local_files_only=True ) 这样就可以只加载本地文件,而不再访问网络
- 部分模型,内部同样会加载远程的资源 这样就没有办法了,需要确保你的网络健全稳定。懂得都懂。
jia chou bu ke wai yang.

