Drop Gradio mount entirely; pure FastAPI on uvicorn (avoids SSR port conflict)
Browse files
app.py
CHANGED
|
@@ -1,12 +1,12 @@
|
|
| 1 |
-
"""KPAA Backend Space — OpenAI-compatible API on ZeroGPU (Gradio SDK).
|
| 2 |
|
| 3 |
-
|
| 4 |
-
|
| 5 |
-
|
| 6 |
-
|
| 7 |
|
| 8 |
-
|
| 9 |
-
|
| 10 |
|
| 11 |
Hardware: ZeroGPU (zero-a10g).
|
| 12 |
Required secret: LAW_OC.
|
|
@@ -17,35 +17,20 @@ import os
|
|
| 17 |
import sys
|
| 18 |
from pathlib import Path
|
| 19 |
|
| 20 |
-
#
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
import gradio_client.utils as _gc_utils # noqa: E402
|
| 26 |
-
|
| 27 |
-
_orig_get_type = _gc_utils.get_type
|
| 28 |
-
_orig_jstpt = _gc_utils._json_schema_to_python_type
|
| 29 |
-
|
| 30 |
|
| 31 |
-
|
| 32 |
-
|
| 33 |
-
return ""
|
| 34 |
-
return _orig_get_type(schema)
|
| 35 |
-
|
| 36 |
-
|
| 37 |
-
def _safe_jstpt(schema, defs):
|
| 38 |
-
if not isinstance(schema, dict):
|
| 39 |
-
return "Any"
|
| 40 |
-
return _orig_jstpt(schema, defs)
|
| 41 |
-
|
| 42 |
-
|
| 43 |
-
_gc_utils.get_type = _safe_get_type
|
| 44 |
-
_gc_utils._json_schema_to_python_type = _safe_jstpt
|
| 45 |
-
# ──────────────────────────────────────────────────────────────────────────
|
| 46 |
|
| 47 |
|
| 48 |
-
# ───
|
|
|
|
|
|
|
|
|
|
| 49 |
try:
|
| 50 |
import spaces # type: ignore[import-not-found]
|
| 51 |
|
|
@@ -57,47 +42,17 @@ except ImportError:
|
|
| 57 |
# ──────────────────────────────────────────────────────────────────────────
|
| 58 |
|
| 59 |
|
| 60 |
-
|
| 61 |
-
"""Build app and run uvicorn.
|
| 62 |
-
|
| 63 |
-
Gradio Blocks (`demo`) is built INSIDE this function — not at module level —
|
| 64 |
-
so HF Spaces' Gradio SDK auto-launcher cannot detect it and call
|
| 65 |
-
`demo.launch()` separately (which would bind a second port and conflict
|
| 66 |
-
with our uvicorn on 7860).
|
| 67 |
-
"""
|
| 68 |
-
import gradio as gr
|
| 69 |
-
import uvicorn
|
| 70 |
-
|
| 71 |
-
from kpaa.server import create_app
|
| 72 |
-
|
| 73 |
-
fastapi_app = create_app()
|
| 74 |
|
| 75 |
-
|
| 76 |
-
|
| 77 |
-
"""
|
| 78 |
-
# 🧠 KPAA Backend — 개인정보보호법 RAG 추론 서버
|
| 79 |
|
| 80 |
-
한국 개인정보보호법 RAG 백엔드. **OpenAI 호환 API**.
|
| 81 |
-
UI 는 별도 Space (`scvcoder/korean-privacy-ai-assistant`) 의 Open WebUI 가 제공합니다.
|
| 82 |
|
| 83 |
-
|
| 84 |
-
|
| 85 |
-
- **POST** `/v1/chat/completions` — OpenAI 호환 chat (스트리밍 지원)
|
| 86 |
-
- **GET** `/v1/models` — 모델 목록 (`kpaa-privacy-ko`)
|
| 87 |
-
- **GET** `/healthz` — health check
|
| 88 |
-
- **GET** `/info` — 상세 정보 / Swagger UI
|
| 89 |
-
|
| 90 |
-
## 외부 연동
|
| 91 |
-
Open WebUI 등에 OpenAI provider 로 등록:
|
| 92 |
-
- **URL** `https://scvcoder-kpaa-backend.hf.space/v1`
|
| 93 |
-
- **Key** any (인증 없음)
|
| 94 |
-
- **Model** `kpaa-privacy-ko`
|
| 95 |
-
"""
|
| 96 |
-
)
|
| 97 |
|
| 98 |
-
final_app = gr.mount_gradio_app(fastapi_app, demo, path="/gradio")
|
| 99 |
port = int(os.environ.get("PORT", "7860"))
|
| 100 |
-
uvicorn.run(
|
| 101 |
|
| 102 |
|
| 103 |
if __name__ == "__main__":
|
|
|
|
| 1 |
+
"""KPAA Backend Space — OpenAI-compatible API on ZeroGPU (Gradio SDK frontmatter).
|
| 2 |
|
| 3 |
+
Pure FastAPI 진입점. Gradio Blocks/mount 없이 KPAA 의 OpenAI 호환 서버를 그대로
|
| 4 |
+
uvicorn 으로 띄운다. Gradio 가 없어도 frontmatter `sdk: gradio` 는 ZeroGPU 권한을
|
| 5 |
+
받기 위한 것일 뿐이고, ZeroGPU detector 는 module-level `@spaces.GPU` 데코레이터의
|
| 6 |
+
존재만 본다.
|
| 7 |
|
| 8 |
+
이 Space 는 추론 백엔드. UI 는 별도 Space (`scvcoder/korean-privacy-ai-assistant`)
|
| 9 |
+
의 Open WebUI 가 제공.
|
| 10 |
|
| 11 |
Hardware: ZeroGPU (zero-a10g).
|
| 12 |
Required secret: LAW_OC.
|
|
|
|
| 17 |
import sys
|
| 18 |
from pathlib import Path
|
| 19 |
|
| 20 |
+
# Disable Gradio SSR globally — 일부 import 경로에서 SSR 서브프로세스를 띄우려
|
| 21 |
+
# 시도하다가 포트 충돌을 일으킨다. 이 백엔드는 Gradio UI 자체를 노출하지 않으므로
|
| 22 |
+
# SSR 은 무조건 끔.
|
| 23 |
+
os.environ.setdefault("GRADIO_SSR_MODE", "False")
|
| 24 |
+
os.environ.setdefault("GRADIO_SHARE", "False")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 25 |
|
| 26 |
+
# HF Spaces: src/ 를 sys.path 에 prepend (pip install -e . 가 안 되므로)
|
| 27 |
+
sys.path.insert(0, str(Path(__file__).resolve().parent / "src"))
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 28 |
|
| 29 |
|
| 30 |
+
# ─── ZeroGPU startup canary (module-level required) ───────────────────────
|
| 31 |
+
# HF Spaces ZeroGPU detector 는 startup 시점에 module-level `@spaces.GPU` 함수가
|
| 32 |
+
# 적어도 하나 검출되어야 GPU 스케줄을 잡는다. 실제 GPU 작업은
|
| 33 |
+
# ZeroGPUBackend.stream_chat 에서 동적으로 데코레이트.
|
| 34 |
try:
|
| 35 |
import spaces # type: ignore[import-not-found]
|
| 36 |
|
|
|
|
| 42 |
# ──────────────────────────────────────────────────────────────────────────
|
| 43 |
|
| 44 |
|
| 45 |
+
from kpaa.server import create_app # noqa: E402
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 46 |
|
| 47 |
+
# Module-level FastAPI app — uvicorn 이 import 후 바로 사용.
|
| 48 |
+
app = create_app()
|
|
|
|
|
|
|
| 49 |
|
|
|
|
|
|
|
| 50 |
|
| 51 |
+
def main() -> None:
|
| 52 |
+
import uvicorn
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 53 |
|
|
|
|
| 54 |
port = int(os.environ.get("PORT", "7860"))
|
| 55 |
+
uvicorn.run(app, host="0.0.0.0", port=port)
|
| 56 |
|
| 57 |
|
| 58 |
if __name__ == "__main__":
|