Update app.py

app.py

@@ -9,24 +9,39 @@ from openai import OpenAI, APIError
 MODEL_ID = "openrouter/free"
 OPENROUTER_API_KEY = os.environ.get("OPENROUTER_API_KEY", None)
 
+# 채팅 목적에 맞지 않는 모델(검열/판정 전용, 재랭킹, 임베딩 등)을 걸러내기
+# 위한 키워드입니다. 이런 모델은 ':free'이고 텍스트/이미지 입력을 지원하더라도
+# 실제 대화 응답 대신 판정 라벨 등 엉뚱한 출력을 내놓기 때문에 제외합니다.
+# (예: nvidia/nemotron-3.5-content-safety:free — 실제로 겪으신 사례)
+_NON_CHAT_MODEL_KEYWORDS = ["content-safety", "guard", "rerank", "embed", "moderation"]
+
 # 네트워크 오류 등으로 실시간 조회가 완전히 실패했을 때만 사용하는
 # 최후의 안전망(fallback) 목록입니다. 2026-07-02 기준으로 확인된 값입니다.
+_SAFETY_NET_TEXT_MODELS = [
+    "meta-llama/llama-4-scout:free",
+    "deepseek/deepseek-chat-v3.1:free",
+]
 _SAFETY_NET_VISION_MODELS = [
     "google/gemma-4-31b-it:free",
     "nvidia/nemotron-nano-12b-v2-vl:free",
 ]
 
-# ── 이미지 지원 무료 모델 목록 캐시 ──────────────────────────────────────
+# ── 채팅용 무료 모델 목록 캐시 (텍스트 전용 / 이미지 지원 각각) ────────────
 # OpenRouter 공식 문서(openrouter.ai/docs/guides/overview/models)에 따르면
 # /api/v1/models 응답은 OpenRouter 쪽에서도 edge에 캐싱되어 제공되므로,
 # 우리 쪽에서도 매 요청마다 조회하지 않고 일정 시간(TTL) 동안 재사용합니다.
-_vision_models_cache: dict = {"models": [], "fetched_at": 0.0}
+_models_cache: dict = {
+    "text": {"models": [], "fetched_at": 0.0},
+    "vision": {"models": [], "fetched_at": 0.0},
+}
 _CACHE_TTL_SECONDS = 60 * 60  # 1시간
 
 
-def _fetch_vision_free_models() -> list:
+def _fetch_chat_capable_free_models(require_image: bool) -> list:
     """OpenRouter 공식 API(/api/v1/models)를 호출해, 지금 이 순간
-    이미지 입력을 지원하는 무료(:free) 모델 목록을 가져옵니다.
+    실제 '대화 응답'을 생성하는 무료(:free) 모델 목록을 가져옵니다.
+    검열/재랭킹/임베딩 등 비채팅 목적 모델은 항상 제외하며,
+    require_image=True이면 이미지 입력까지 지원하는 모델만 남깁니다.
     """
     resp = requests.get("https://openrouter.ai/api/v1/models", timeout=10)
     resp.raise_for_status()
@@ -37,32 +52,39 @@ def _fetch_vision_free_models() -> list:
         model_id = m.get("id", "")
         if not model_id.endswith(":free"):
             continue
+        if any(kw in model_id.lower() for kw in _NON_CHAT_MODEL_KEYWORDS):
+            continue
         modalities = m.get("architecture", {}).get("input_modalities", [])
-        if "image" in modalities:
-            result.append(model_id)
+        if require_image and "image" not in modalities:
+            continue
+        result.append(model_id)
     return result
 
 
-def get_vision_capable_free_models(force_refresh: bool = False) -> list:
-    """캐시된 이미지 지원 무료 모델 목록을 반환합니다.
+def get_chat_capable_free_models(require_image: bool = False, force_refresh: bool = False) -> list:
+    """캐시된 '실제 대화용' 무료 모델 목록을 반환합니다.
     캐시가 없거나(최초 호출), TTL(1시간)이 지났거나, force_refresh=True이면
     OpenRouter API를 다시 호출해 갱신합니다.
     """
+    cache_key = "vision" if require_image else "text"
+    cache = _models_cache[cache_key]
+    safety_net = _SAFETY_NET_VISION_MODELS if require_image else _SAFETY_NET_TEXT_MODELS
+
     now = time.time()
-    cache_expired = (now - _vision_models_cache["fetched_at"]) > _CACHE_TTL_SECONDS
+    cache_expired = (now - cache["fetched_at"]) > _CACHE_TTL_SECONDS
 
-    if force_refresh or cache_expired or not _vision_models_cache["models"]:
+    if force_refresh or cache_expired or not cache["models"]:
         try:
-            fresh_models = _fetch_vision_free_models()
+            fresh_models = _fetch_chat_capable_free_models(require_image)
             if fresh_models:
-                _vision_models_cache["models"] = fresh_models
-                _vision_models_cache["fetched_at"] = now
+                cache["models"] = fresh_models
+                cache["fetched_at"] = now
         except Exception:
             # 조회 자체가 실패하면(네트워크 오류 등), 기존 캐시가 있으면
             # 그대로 쓰고, 캐시조차 없으면 최후의 안전망 목록을 사용합니다.
             pass
 
-    return _vision_models_cache["models"] or _SAFETY_NET_VISION_MODELS
+    return cache["models"] or safety_net
 
 
 # ── OpenRouter 클라이언트 초기화 ─────────────────────────────────────────
@@ -198,13 +220,17 @@ def predict_chat(message, history: list):
     has_image = bool(files)
 
     def _resolve_request_target(force_refresh: bool = False):
-        if not has_image:
-            return MODEL_ID, {}
-        vision_models = get_vision_capable_free_models(force_refresh=force_refresh)
+        # 텍스트 전용이든 이미지 첨부든, "검열/판정 전용 모델"이 실제 대화
+        # 응답 자리에 뽑히는 문제를 막기 위해 항상 필터링된 캐시 목록을
+        # 사용합니다. (openrouter/free를 그대로 쓰면, 채팅 목적에 맞지 않는
+        # 모델이 무작위로 선택될 수 있다는 것을 실제로 확인했습니다.)
+        candidate_models = get_chat_capable_free_models(
+            require_image=has_image, force_refresh=force_refresh
+        )
         # OpenRouter의 fallback 기능은 'models' 배열에 최대 3개까지만 허용합니다.
         # (OpenRouter 서버 응답 기준: "'models' array must have 3 items or fewer.")
-        vision_models = vision_models[:3]
-        return vision_models[0], {"models": vision_models}
+        candidate_models = candidate_models[:3]
+        return candidate_models[0], {"models": candidate_models}
 
     request_model, extra_body = _resolve_request_target()
 
@@ -212,10 +238,9 @@ def predict_chat(message, history: list):
         try:
             stream = _call_openrouter_stream(request_model, messages, extra_body)
         except APIError as e:
-            # 이미지 요청인데 "지원 모델을 못 찾음(404)" 오류가 나면,
-            # 캐시가 낡았을 가능성이 있으므로 강제로 한 번 더 새로 조회해서
-            # 딱 한 번만 재시도합니다.
-            if has_image and getattr(e, "status_code", None) == 404:
+            # "지원 모델을 못 찾음(404)" 오류가 나면, 캐시가 낡았을 가능성이
+            # 있으므로 강제로 한 번 더 새로 조회해서 딱 한 번만 재시도합니다.
+            if getattr(e, "status_code", None) == 404:
                 request_model, extra_body = _resolve_request_target(force_refresh=True)
                 stream = _call_openrouter_stream(request_model, messages, extra_body)
             else:
@@ -253,9 +278,10 @@ def predict_chat(message, history: list):
 # ── UI 빌드 및 API 개설 ──────────────────────────────────────────────────────
 with gr.Blocks() as demo:
     gr.Markdown(
-        f"# 🤖 GS-AI API Server (OpenRouter Mode)\nModel: `{MODEL_ID}`\n\n"
+        "# 🤖 GS-AI API Server (OpenRouter Mode)\n"
+        "무료 모델 중 채팅에 적합한 모델을 자동으로 골라 응답합니다.\n\n"
         "텍스트와 함께 이미지를 첨부해서 질문하실 수 있습니다. "
-        "(단, 그 시점에 이미지 인식 가능한 무료 모델이 없으면 오류가 날 수 있습니다.)"
+        "(단, 그 시점에 이용 가능한 무료 모델이 없으면 오류가 날 수 있습니다.)"
     )
 
     chatbot_ui = gr.Chatbot(height=480)