reference/evaluation_drivers/vllm_llama.sh

#!/bin/bash
# [ragqa] vLLM 服务（仅基座，无 LoRA，端口 50001）。需要 RAGQA_LLAMA_MODEL。
export CUDA_VISIBLE_DEVICES=${CUDA_VISIBLE_DEVICES:-0,1}
: "${RAGQA_LLAMA_MODEL:?请先设置 RAGQA_LLAMA_MODEL}"
python -m vllm.entrypoints.openai.api_server \
  --model "$RAGQA_LLAMA_MODEL" \
  --tensor_parallel_size "${RAGQA_TP_SIZE:-2}" \
  --gpu_memory_utilization 0.7 \
  --port 50001 --max-num-seqs 256 --max-model-len 4096 \
  --use-v2-block-manager --disable-log-requests