集群上离线加载模型
#37
by sindri101 - opened
如题，集群的计算节点无法联网，如何离线加载ChatGLM3-6B。
我尝试直接把 "Files and versions"下面的文件手动下载到集群上，但输出以下报错：
huggingface_hub.utils._errors.LocalEntryNotFoundError: Connection error, and we cannot find the requested files in the disk cache. Please try again or make sure your Internet connection is on.
我确认本地路径是正确的，但仍然无法加载
你把所有文件都git到本地就行了，按照GitHub的demo都是离线的 正常来说不会需要链接hf hub
ZHANGYUXUAN-zR changed discussion status to closed
我也遇到了类似的无法离线加载的问题，但是我将 tokenizer_config.json 中 auto_map的 AutoTokenizer 字段的前缀 "THUDM/chatglm3-6b-- "去除，即可正常加载。不知道是不是这个原因。
我也遇到了类似的无法离线加载的问题，但是我将 tokenizer_config.json 中 auto_map的 AutoTokenizer 字段的前缀 "THUDM/chatglm3-6b-- "去除，即可正常加载。不知道是不是这个原因。
感谢大佬，成功解决