# DGX Runtime Router Rules ## 최종 통과 정책 93단계에서 `router + template runtime` 방식이 통과했습니다. - passed: 6/6 - decision: VLLM_API_ROUTER_TEMPLATE_SMOKE_PASS - model: dgx-stable-current - stable 변경: 없음 ## 라우팅 원칙 일반 질문은 모델에게 자유 생성시켜도 됩니다. 하지만 검증 정책처럼 정답이 정해진 항목은 모델에게 자유 생성시키지 말고 템플릿으로 응답합니다. ## Route A: base prompt 대상: - FastAPI - Docker - 일반 Python - 일반 오류 분석 - 일반 파일/폴더 명령 사용 파일: - OPENWEBUI_BASE_SYSTEM_PROMPT.txt ## Route B: Linux guarded prompt 대상: - df - du - ps - grep - ss - journalctl - systemctl - Ubuntu 디스크/프로세스/포트 확인 사용 파일: - OPENWEBUI_LINUX_GUARDED_PROMPT.txt 주의: - 추상 경로 대신 실제 예시 경로를 사용합니다. - 명령어는 ASCII로 작성합니다. ## Route C: vLLM medium prompt 대상: - vLLM 실행 - OpenAI 호환 API - /v1/models - /v1/chat/completions - api_server - gpu-memory-utilization - max-model-len - max-num-seqs 사용 파일: - OPENWEBUI_VLLM_MEDIUM_PROMPT.txt 핵심: - `python -m vllm.entrypoints.openai.api_server` 형식을 우선 사용합니다. - 8000 포트 확인 명령을 포함합니다. ## Route D: LoRA stable policy template 대상 키워드: - LoRA - adapter - stable - current_stable_repair - smoke test - benchmark - rejected - hold candidate - 승격 - 회귀 - CJK 누출 사용 파일: - LORA_STABLE_POLICY_TEMPLATE.txt 핵심: - 이 항목은 모델 자유 생성 금지입니다. - 고정 템플릿을 반환합니다. - 이유: 모델이 LoRA 정의와 검증 절차를 잘못 생성하거나 CJK drift를 낼 수 있습니다. ## 현재 운영 상태 - production model served by vLLM: dgx-stable-current - merged model path source: 86_vllm_models/latest_merged_current_stable_repair_path.txt - stable adapter: 06_train/current_stable_repair - runtime policy: router_template_runtime