Incorrect eos_token_id in config causing infinite generation
Hi,
I noticed that the model fails to stop generating text during inference. It appears that the eos_token_id (or eos_token) in the configuration file is set incorrectly.
Could you please verify and update the config? Thanks!
torch_dtype is deprecated! Use dtype instead!
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████| 5/5 [00:05<00:00, 1.01s/it]
Setting pad_token_id to eos_token_id:151643 for open-end generation.
用户现在打招呼说“你好”，需要友好回应。要热情回应，然后可以引导互动。所以回复“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～”这样既友
好又开放，邀请用户说明需求。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
assistant
用户现在打招呼回应，要友好亲切，同时引导互动。先回应问候，再提供帮助方向，让对话能继续。所以回复要温暖且开放，邀请用户说明需求。
先回应“你好”，然后友好展开，比如“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～”这样既友好又给了用户选择，方便后续互动。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
assistant
用户现在打招呼，需要友好回应并引导互动。先热情回应问候，再提供帮助方向，让对话能继续。所以回复要亲切，同时开放邀请用户说明需求。
现在组织语言：先回应“你好”，然后友好说明可以帮忙的方面，比如解答问题、聊天等，这样用户知道怎么和我互动。
所以回复：“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～” 这样既友好又给了用户选择，方便后续交流。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
assistant
用户现在打招呼，需要友好回应并引导互动。先热情回应问候，再提供帮助方向，让对话能继续。所以回复要亲切，同时开放邀请用户说明需求。
现在组织语言：先回应“你好”，然后友好说明可以帮忙的方面，比如解答问题、聊天等，这样用户知道怎么和我互动。
所以回复：“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～” 这样既友好又给了用户选择，方便后续交流。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
assistant
用户现在打招呼，需要友好回应并引导互动。先热情回应问候，再提供帮助方向，让对话能继续。所以回复要亲切，同时开放邀请用户说明需求。
现在组织语言：先回应“你好”，然后友好说明可以帮忙的方面，比如解答问题、聊天等，这样用户知道怎么和我互动。
所以回复：“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～” 这样既友好又给了用户选择，方便后续交流。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
assistant
用户现在打招呼，需要友好回应并引导互动。先热情回应问候，再提供帮助方向，让对话能继续。所以回复要亲切，同时开放邀请用户说明需求。
现在组织语言：先回应“你好”，然后友好说明可以帮忙的方面，比如解答问题、聊天等，这样用户知道怎么和我互动。
所以回复：“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～” 这样既友好又给了用户选择，方便后续交流。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
assistant
用户现在打招呼，需要友好回应并引导互动。先热情回应问候，再提供帮助方向，让对话能继续。所以回复要亲切，同时开放邀请用户说明需求。
现在组织语言：先回应“你好”，然后友好说明可以帮忙的方面，比如解答问题、聊天等，这样用户知道怎么和我互动。
所以回复：“你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～” 这样既友好又给了用户选择，方便后续交流。
你好呀～有什么我可以帮忙的吗？比如解答问题、聊聊兴趣，或者需要其他支持都可以哦～
We've pushed a fix for the incorrect eos_token_id which was causing infinite generation during inference (Commit: abdf3618e914a9e3de0ad74efacc8b7a10f06c10).
Please update your local model files to apply this fix.
Sincere apologies for any inconvenience this may have caused!