start/start_supervised_vllm.sh

#!/bin/bash
# ① 监督式（vLLM 方案，替代 LLaMA-Factory）。端口 50001，LoRA 注册名为 "supervised"。
# 需要 RAGQA_LLAMA_MODEL + RAGQA_LLAMA_LORA_SUPERVISED。客户端 model 名用 "supervised"。
export CUDA_VISIBLE_DEVICES=${CUDA_VISIBLE_DEVICES:-0,1,2,3}
: "${RAGQA_LLAMA_MODEL:?请设置 RAGQA_LLAMA_MODEL}"
: "${RAGQA_LLAMA_LORA_SUPERVISED:?请设置 RAGQA_LLAMA_LORA_SUPERVISED}"
python -m vllm.entrypoints.openai.api_server \
  --model "$RAGQA_LLAMA_MODEL" \
  --tensor_parallel_size "${RAGQA_TP_SIZE:-4}" \
  --gpu_memory_utilization 0.6 \
  --port 50001 --max-num-seqs 256 --max-model-len 4096 \
  --use-v2-block-manager --disable-log-requests \
  --enable-lora --max-lora-rank 64 \
  --lora-modules "{\"name\": \"supervised\", \"path\": \"$RAGQA_LLAMA_LORA_SUPERVISED\", \"base_model_name\": \"$RAGQA_LLAMA_MODEL\"}"