config.json中vocab_size (154880), 与 tokenizer.json中实际的token数量(154856)不一致? 导致eagle推理解码出超过154855的token_id(154879)然后不被接收,vocab_size这里是否应该改为154856?
lm head只有154880的大小
· Sign up or log in to comment