vllm加速推理，一直没有stop_word，原因居然是top_p必须为1？
#6
by
wenyangchou
- opened
我用vllm进行推理，然后发现一直没有stop_token。一行一行调试发现，这个top_p必须为1？如果设置为0.7，就不会出现stop_token。
我还没有测试3B跟8B。这个是训练时有意为之的吗？
wenyangchou
changed discussion status to
closed