reference/evaluation_drivers/qwen.sh

#!/bin/bash
# [ragqa] 可选：Qwen vLLM 服务（端口 20001；test_webq 里 client1 创建但未使用）。需要 RAGQA_QWEN_MODEL。
export CUDA_VISIBLE_DEVICES=${CUDA_VISIBLE_DEVICES:-0,1,2,3}
: "${RAGQA_QWEN_MODEL:?请设置 RAGQA_QWEN_MODEL 指向 Qwen2.5-7B-Instruct 模型目录}"
python -m vllm.entrypoints.openai.api_server \
  --model "$RAGQA_QWEN_MODEL" \
  --tensor_parallel_size "${RAGQA_TP_SIZE:-4}" \
  --gpu_memory_utilization 0.4 \
  --port 20001 --max-num-seqs 256 --max-model-len 4096 \
  --use-v2-block-manager --disable-log-requests