Runtime quickstart

1. Start Qwen3-8B

python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-8B \
  --served-model-name qwen3-8b-base \
  --dtype bfloat16 \
  --max-model-len 2048 \
  --gpu-memory-utilization 0.50 \
  --max-num-seqs 8

2. Clone this repo

git clone https://huggingface.co/koreallmdev/qwen3-8b-korean-coding-router
cd qwen3-8b-korean-coding-router

3. Run router CLI

export OPENAI_BASE_URL=http://localhost:8000/v1
export OPENAI_MODEL=qwen3-8b-base

bash scripts/run_qwen3_8b_korean_coding_router_chat.sh

4. Test

/cat linux 8010 포트가 이미 사용 중일 때 ss -lntp와 ps를 포함해서 확인 순서 알려줘
/cat longform 주제는 코딩이고 4천자 이상 텍스트를 써줘