能不能贴个sglang运行的示例
#2
by
wangliuwei
- opened
贴个sglang和vllm的运行示例
sglang还未合入，可以先用https://github.com/TMElyralab/sglang
需要重新编译sgl-kernel, cd sgl-kernel & make build
运行命令：
python3 -m sglang.launch_server
--model /path/to/DeepSeek-R1-0528-AWQ-W4AFP8
--host 0.0.0.0 --port 23333 --tp 8 --trust-remote-code
--cuda-graph-max-bs 128
--max-running-requests 128
--quantization w4a8_machete
--mem-fraction-static 0.9
--dtype half