chatglm3系列仍未完全支持vllm
#52
by zzhdbw - opened
chatglm3系列仍未完全支持vllm，使用vllm0.4.0部署后回答仍然夹杂special token，相比之下qwen全系列支持vllm，希望开发者团队能够百忙之中对vllm进行兼容~，不胜感激！
你可以在请求参数中指定stop token id
例如: "stop_token_ids": [64790]
下一代会完全支持
ZHANGYUXUAN-zR changed discussion status to closed