Update app.py

app.py

@@ -1,17 +1,18 @@
 import os
 import gradio as gr
-from huggingface_hub import InferenceClient
-from huggingface_hub.errors import HfHubHTTPError
+from openai import OpenAI, APIError
 
-MODEL_ID = "google/gemma-3-27b-it"
-HF_TOKEN = os.environ.get("HF_TOKEN", None)
+MODEL_ID = "google/gemma-3-27b-it:free"
+OPENROUTER_API_KEY = os.environ.get("OPENROUTER_API_KEY", None)
 
-# ── InferenceClient 초기화 ───────────────────────────────────────────────
-# huggingface_hub >= 1.2.0 의 InferenceClient는 내부적으로
-# 새 엔드포인트인 https://router.huggingface.co 를 사용합니다.
-# (구 엔드포인트 api-inference.huggingface.co 는 2025년 하반기부로
-#  완전히 서비스 종료되어 DNS 조차 응답하지 않습니다.)
-client = InferenceClient(token=HF_TOKEN)
+# ── OpenRouter 클라이언트 초기화 ─────────────────────────────────────────
+# Hugging Face를 전혀 거치지 않고, OpenRouter 자체 서버(openrouter.ai)로
+# 직접 요청을 보냅니다. OpenAI SDK의 base_url만 OpenRouter 주소로
+# 바꾸는, OpenRouter 공식 문서가 안내하는 표준 사용 방식입니다.
+client = OpenAI(
+    base_url="https://openrouter.ai/api/v1",
+    api_key=OPENROUTER_API_KEY,
+)
 
 
 # ── Gradio 버전에 따라 history 형식이 다르므로 두 형식 모두 지원 ────────────
@@ -43,7 +44,6 @@ def _normalize_history(history: list) -> list:
             role = getattr(turn, "role", "user")
             content = getattr(turn, "content", "")
 
-        # Gemma 4는 OpenAI 표준인 "assistant"로 통일해서 보내야 합니다.
         if role == "model":
             role = "assistant"
         messages.append({"role": role, "content": content})
@@ -51,40 +51,40 @@ def _normalize_history(history: list) -> list:
     return messages
 
 
-# ── 대화 텍스트 생성 함수 (OpenAI 호환 chat.completions 방식) ───────────────
+# ── 대화 텍스트 생성 함수 (OpenRouter chat.completions 방식) ────────────────
 def predict_chat(message: str, history: list):
     messages = _normalize_history(history)
     messages.append({"role": "user", "content": message})
 
     try:
-        # 2. chat.completions.create 를 사용하면 Gemma 4 전용 프롬프트
-        #    템플릿(<|turn>system ... <turn|> 등)을 라이브러리가 자동으로
-        #    구성해 주므로, 직접 프롬프트 문자열을 조립할 필요가 없습니다.
         completion = client.chat.completions.create(
             model=MODEL_ID,
             messages=messages,
-            max_tokens=8192,
+            max_tokens=512,
             temperature=0.7,
             top_p=0.95,
+            extra_headers={
+                # OpenRouter 리더보드에 앱을 표시하고 싶을 때 사용하는
+                # 선택 항목입니다. 필수는 아니므로 비워두셔도 됩니다.
+                "HTTP-Referer": "https://huggingface.co/spaces",
+                "X-Title": "GS AI",
+            },
         )
         output = completion.choices[0].message.content
         return output.strip() if output else ""
 
-    except HfHubHTTPError as e:
-        # 모델이 서버리스 Inference Providers에 아직 배포되지 않았거나
-        # (예: "Model not found" / 404), 게이트(gated) 모델 라이선스
-        # 미동의 등 HF 쪽 사유로 오류가 나는 경우
-        return f"❌ Hugging Face API 오류: {str(e)}"
+    except APIError as e:
+        # 무료 모델의 분당/일일 요청 한도 초과, 모델 일시 중단 등
+        # OpenRouter 쪽 사유로 오류가 나는 경우입니다.
+        return f"❌ OpenRouter API 오류: {str(e)}"
     except Exception as e:
         return f"❌ 네트워크 통신 중 오류가 발생했습니다: {str(e)}"
 
 
 # ── UI 빌드 및 API 개설 ──────────────────────────────────────────────────────
 with gr.Blocks() as demo:
-    gr.Markdown(f"# 🤖 GS-AI API Server (Gemma 4 Mode)\nModel: `{MODEL_ID}`")
+    gr.Markdown(f"# 🤖 GS-AI API Server (OpenRouter Mode)\nModel: `{MODEL_ID}`")
 
-    # type 인자를 지정하지 않아, 설치된 Gradio 버전이 무엇이든
-    # (구형 tuples 기본값이든 신형 messages 기본값이든) 오류 없이 동작합니다.
     chatbot_ui = gr.Chatbot(height=480)
     textbox_ui = gr.Textbox(placeholder="메시지를 입력하세요...")
 
@@ -100,4 +100,4 @@ if __name__ == "__main__":
         server_name="0.0.0.0",
         server_port=7860,
         theme=gr.themes.Soft(),
-    )
+    )