update app tab structure and live test

app.py

@@ -1,29 +1,23 @@
 import gradio as gr
-from inference import run_inference, reload_model  # reload_model은 모델 재로딩 함수
-from utils_prompt import build_webtest_prompt
+from inference import run_inference
+from webtest_prompt import build_webtest_prompt
 
-# UI에서 호출할 함수
+# Web Test UI 호출 함수
 def gradio_infer(npc_id, npc_location, player_utt):
     prompt = build_webtest_prompt(npc_id, npc_location, player_utt)
     result = run_inference(prompt)
     return result["npc_output_text"], result["deltas"], result["flags_prob"]
 
-# API 호출용 함수
-def api_infer(session_id, npc_id, prompt, max_tokens=200):
-    result = run_inference(prompt)
-    return {
-        "session_id": session_id,
-        "npc_id": npc_id,
-        "npc_response": result["npc_output_text"],
-        "deltas": result["deltas"],
-        "flags": result["flags_prob"],
-        "thresholds": result["flags_thr"]
-    }
-
-# 모델 재로딩용 함수
-def ping_reload():
-    reload_model(branch="latest")  # latest 브랜치에서 재다운로드 & 로드
-    return {"status": "reloaded"}
+# ping: 상태 확인 및 깨우기
+def ping():
+    # 모델이 로드되어 있는지 확인, 없으면 로드
+    global wrapper, tokenizer, model, flags_order
+    if 'model' not in globals() or model is None:
+        from model_loader import ModelWrapper
+        wrapper = ModelWrapper()
+        tokenizer, model, flags_order = wrapper.get()
+    return {"status": "awake"}
+
 
 with gr.Blocks() as demo:
     gr.Markdown("## NPC Main Model Inference")
@@ -37,21 +31,20 @@ with gr.Blocks() as demo:
         flags = gr.JSON(label="Flags Probabilities")
         btn = gr.Button("Run Inference")
 
-        # UI 버튼 클릭 시 API 엔드포인트도 자동 생성
+        # Web Test 전용 (api_name 제거)
         btn.click(
             fn=gradio_infer,
             inputs=[npc_id, npc_loc, player_utt],
-            outputs=[npc_resp, deltas, flags],
-            api_name="predict_main"  # /api/predict_main 엔드포인트 생성
+            outputs=[npc_resp, deltas, flags]
         )
 
-    # 별도의 UI 없이 API만 제공하는 엔드포인트
-    gr.Button("Reload Model").click(
-        fn=ping_reload,
+    # ping 엔드포인트 (상태 확인/깨우기)
+    gr.Button("Ping Server").click(
+        fn=ping,
         inputs=[],
         outputs=[],
-        api_name="ping_reload"  # /api/ping_reload 엔드포인트 생성
+        api_name="ping"
     )
 
 if __name__ == "__main__":
-    demo.launch(server_name="0.0.0.0", server_port=7860)  
+    demo.launch(server_name="0.0.0.0", server_port=7860)

flags.json

@@ -1,11 +0,0 @@
-{
-  "ALL_FLAGS": [
-    "give_item",
-    "end_npc_main_story",
-    "quest_stage_change",
-    "change_game_state",
-    "change_player_state",
-    "npc_action",
-    "unlock_hidden_path"
-  ]
-}

modules/case_loader.py

@@ -0,0 +1,23 @@
+import os, json
+from webtest_prompt import build_webtest_prompt
+from inference import run_inference
+
+BASE_DIR = os.path.dirname(os.path.dirname(__file__))  # modules/ 상위 폴더
+TEST_CASES_PATH = os.path.join(BASE_DIR, "test_cases.json")
+
+with open(TEST_CASES_PATH, "r", encoding="utf-8") as f:
+    TEST_CASES = json.load(f)
+
+def get_case_names():
+    return [f"{i+1}. {c['description']}" for i, c in enumerate(TEST_CASES)]
+
+def load_case(idx):
+    case = TEST_CASES[idx]
+    return json.dumps(case, ensure_ascii=False, indent=2), case["player_utterance"]
+
+def run_case(idx, player_utt):
+    case = TEST_CASES[idx].copy()
+    case["player_utterance"] = player_utt
+    prompt = build_webtest_prompt(case["npc_id"], case["npc_location"], player_utt)
+    result = run_inference(prompt)
+    return result["npc_output_text"], result["deltas"], result["flags_prob"]

modules/ui_components.py

@@ -0,0 +1,50 @@
+import gradio as gr
+from case_loader import get_case_names, load_case, run_case
+
+def build_ui():
+    with gr.Blocks(theme=gr.themes.Soft(primary_hue="blue", secondary_hue="purple")) as demo:
+        # 상단 소개
+        gr.Markdown("""
+        # 👾 PersonaChatEngine HF-Serve
+        **게임 내 NPC 메인 모델 추론 서버**  
+        Qwen 3B 기반 LoRA 파인튜닝 모델을 사용하여 NPC 대사를 생성합니다.
+        """)
+
+        with gr.Row():
+            gr.Button("📄 상세 문서 보기",
+                      link="https://huggingface.co/spaces/m97j/PersonaChatEngine_HF-serve/blob/main/README.md")
+            gr.Button("💻 Colab 테스트 열기",
+                      link="https://colab.research.google.com/drive/1_-qH8kdoU2Jj58TdaSnswHex-BFefInq?usp=sharing#scrollTo=cFJGv8BJ8oPD")
+
+        gr.Markdown("### 🎯 테스트 케이스 기반 간단 실행")
+
+        with gr.Row():
+            case_dropdown = gr.Dropdown(choices=get_case_names(), label="테스트 케이스 선택", value=get_case_names()[0])
+            load_btn = gr.Button("케이스 불러오기")
+
+        case_info = gr.Textbox(label="케이스 정보", lines=10)
+        player_input = gr.Textbox(label="Player Utterance 수정", lines=2)
+
+        run_btn = gr.Button("🚀 Run Inference", variant="primary")
+        npc_resp = gr.Textbox(label="NPC Response")
+        deltas = gr.JSON(label="Deltas")
+        flags = gr.JSON(label="Flags Probabilities")
+
+        load_btn.click(
+            fn=lambda name: load_case(get_case_names().index(name)),
+            inputs=[case_dropdown],
+            outputs=[case_info, player_input]
+        )
+
+        run_btn.click(
+            fn=lambda name, utt: run_case(get_case_names().index(name), utt),
+            inputs=[case_dropdown, player_input],
+            outputs=[npc_resp, deltas, flags]
+        )
+
+        gr.Markdown("""
+        ---
+        ⚠️ **실제 게임 파이프라인 테스트**는 [ai-server Swagger](https://huggingface.co/spaces/m97j/PersonaChatEngine_ai_server)에서 진행하세요.
+        """)
+
+    return demo

test_cases.json

@@ -0,0 +1,100 @@
+[
+  {
+    "id": "case1",
+    "npc_id": "mother_abandoned_factory",
+    "npc_location": "map1",
+    "description": "폐공장에서 NPC와 대화하는 장면",
+    "player_utterance": "아! 머리가!!! 갑자기 기억이 떠올랐어요...",
+    "tags": {
+      "quest_stage": "in_progress",
+      "relationship": 0.35,
+      "trust": 0.35,
+      "npc_mood": "grief",
+      "player_reputation": "helpful",
+      "style": "emotional"
+    },
+    "lore": "이 공장은 수십 년 전 화재로 폐쇄되었다.",
+    "context": [
+      {"role": "player", "text": "사실 이 공장을 돌아다니면서..."},
+      {"role": "npc", "text": "혹시 그 파티에 Jason도 있었나요..."}
+    ]
+  },
+  {
+    "id": "case2",
+    "npc_id": "blacksmith_village_center",
+    "npc_location": "village_square",
+    "description": "마을 대장장이와 무기 수리에 대해 대화하는 장면",
+    "player_utterance": "이 검을 다시 쓸 수 있게 고쳐줄 수 있나요?",
+    "tags": {
+      "quest_stage": "not_started",
+      "relationship": 0.2,
+      "trust": 0.4,
+      "npc_mood": "neutral",
+      "player_reputation": "unknown",
+      "style": "direct"
+    },
+    "lore": "마을의 대장장이는 세대를 이어 무기를 제작해왔다.",
+    "context": [
+      {"role": "npc", "text": "오, 여행자군. 무슨 일로 왔나?"}
+    ]
+  },
+  {
+    "id": "case3",
+    "npc_id": "forest_hermit",
+    "npc_location": "deep_forest",
+    "description": "숲속 은둔자와 희귀 약초에 대해 대화하는 장면",
+    "player_utterance": "혹시 이 근처에서 푸른빛 약초를 본 적 있나요?",
+    "tags": {
+      "quest_stage": "in_progress",
+      "relationship": 0.5,
+      "trust": 0.6,
+      "npc_mood": "curious",
+      "player_reputation": "friendly",
+      "style": "polite"
+    },
+    "lore": "은둔자는 숲속 깊은 곳에서 약초와 버섯을 연구한다.",
+    "context": [
+      {"role": "player", "text": "안녕하세요, 혹시 잠시 이야기 나눌 수 있을까요?"},
+      {"role": "npc", "text": "여기까지 오는 사람은 드물지요."}
+    ]
+  },
+  {
+    "id": "case4",
+    "npc_id": "captain_port_authority",
+    "npc_location": "harbor",
+    "description": "항구 관리관과 출항 허가에 대해 대화하는 장면",
+    "player_utterance": "이 배를 오늘 안에 출항시켜야 합니다. 허가를 부탁드립니다.",
+    "tags": {
+      "quest_stage": "urgent",
+      "relationship": 0.45,
+      "trust": 0.3,
+      "npc_mood": "suspicious",
+      "player_reputation": "neutral",
+      "style": "persuasive"
+    },
+    "lore": "항구 관리관은 모든 선박의 출항을 엄격히 관리한다.",
+    "context": [
+      {"role": "npc", "text": "서류는 다 준비됐나?"}
+    ]
+  },
+  {
+    "id": "case5",
+    "npc_id": "young_apprentice_mage",
+    "npc_location": "mage_tower_library",
+    "description": "마법사 견습생과 고대 주문서에 대해 대화하는 장면",
+    "player_utterance": "이 주문서에 적힌 문장을 해석할 수 있나요?",
+    "tags": {
+      "quest_stage": "research",
+      "relationship": 0.6,
+      "trust": 0.7,
+      "npc_mood": "excited",
+      "player_reputation": "scholar",
+      "style": "inquisitive"
+    },
+    "lore": "마법사 탑의 도서관에는 수백 년 된 고서들이 보관되어 있다.",
+    "context": [
+      {"role": "player", "text": "이 책은 굉장히 오래된 것 같아요."},
+      {"role": "npc", "text": "맞아요! 이런 건 정말 드물죠."}
+    ]
+  }
+]

utils_prompt.py → webtest_prompt.py

@@ -1,7 +1,11 @@
 from typing import Dict, Any
 
 def build_webtest_prompt(npc_id: str, npc_location: str, player_utt: str) -> str:
-    # 웹 테스트에서는 최소 필드만 채운 pre dict 생성
+    """
+    Web Test 전용: 최소 입력값(NPC ID, Location, Player 발화)으로
+    모델 학습 포맷에 맞는 prompt 문자열을 생성.
+    실제 API/게임 서비스 경로에서는 사용하지 않음.
+    """
     pre = {
         "tags": {
             "npc_id": npc_id,
@@ -14,15 +18,18 @@ def build_webtest_prompt(npc_id: str, npc_location: str, player_utt: str) -> str
             "style": ""
         },
         "player_state": {},
-        "rag_main_docs": [],  # 웹 테스트에서는 RAG 문서 없음
-        "context": [],        # 대화 히스토리 없음
+        "rag_main_docs": [],
+        "context": [],
         "player_utterance": player_utt
     }
-    # session_id는 웹 테스트에서는 의미 없으니 빈 값
-    return build_main_prompt(pre, session_id="", npc_id=npc_id)
+    return _assemble_prompt_for_model(pre)
 
+def _assemble_prompt_for_model(pre: Dict[str, Any]) -> str:
+    """
+    Web Test 전용 내부 함수:
+    pre dict → 모델 입력 포맷 문자열(<SYS>~<NPC>)
+    """
 
-def build_main_prompt(pre: Dict[str, Any], session_id: str, npc_id: str) -> str:
     tags = pre.get("tags", {})
     ps = pre.get("player_state", {})
     rag_docs = pre.get("rag_main_docs", [])