工具调用功能调用第一次成功后,之后回答都是乱码
#15
by
YUN324
- opened
部署参数如下:
python3 -m sglang.launch_server --model-path /api-models-h20/XiaomiMiMo/MiMo-V2-Flash --served-model-name deepinfer-mimo-v2-flash --tp-size 4 --page-size 1 --host 0.0.0.0 --port 8000 --trust-remote-code --mem-fraction-static 0.9 --max-running-requests 8 --chunked-prefill-size 16384 --reasoning-parser qwen3 --tool-call-parser mimo --context-length 262144 --attention-backend fa3
部署镜像:
lmsysorg/sglang:dev-pr-15207
部署机器:
H20-141G-高级版 88核 4卡 1000内存 141显存

