scvcoder commited on
Commit
264396f
·
verified ·
1 Parent(s): cce074d

Drop Gradio mount entirely; pure FastAPI on uvicorn (avoids SSR port conflict)

Browse files
Files changed (1) hide show
  1. app.py +24 -69
app.py CHANGED
@@ -1,12 +1,12 @@
1
- """KPAA Backend Space — OpenAI-compatible API on ZeroGPU (Gradio SDK).
2
 
3
- This Space is the inference backend. It exposes:
4
- - POST /v1/chat/completions (OpenAI-compatible, streaming)
5
- - GET /v1/models / /healthz / /info
6
- - GET /gradio (minimal status page)
7
 
8
- UI (Open WebUI) is hosted at a separate Space which points its
9
- OPENAI_API_BASE_URL to this Space's /v1.
10
 
11
  Hardware: ZeroGPU (zero-a10g).
12
  Required secret: LAW_OC.
@@ -17,35 +17,20 @@ import os
17
  import sys
18
  from pathlib import Path
19
 
20
- # HF Spaces 에서는 `pip install -e .` 동작하지 않는다 → src/ sys.path 에 prepend.
21
- sys.path.insert(0, str(Path(__file__).resolve().parent / "src"))
22
-
23
-
24
- # ─── monkey-patch: gradio_client `/api_info` schema bug ────────────────────
25
- import gradio_client.utils as _gc_utils # noqa: E402
26
-
27
- _orig_get_type = _gc_utils.get_type
28
- _orig_jstpt = _gc_utils._json_schema_to_python_type
29
-
30
 
31
- def _safe_get_type(schema):
32
- if not isinstance(schema, dict):
33
- return ""
34
- return _orig_get_type(schema)
35
-
36
-
37
- def _safe_jstpt(schema, defs):
38
- if not isinstance(schema, dict):
39
- return "Any"
40
- return _orig_jstpt(schema, defs)
41
-
42
-
43
- _gc_utils.get_type = _safe_get_type
44
- _gc_utils._json_schema_to_python_type = _safe_jstpt
45
- # ──────────────────────────────────────────────────────────────────────────
46
 
47
 
48
- # ─── HF Spaces ZeroGPU startup canary (module-level required) ─────────────
 
 
 
49
  try:
50
  import spaces # type: ignore[import-not-found]
51
 
@@ -57,47 +42,17 @@ except ImportError:
57
  # ──────────────────────────────────────────────────────────────────────────
58
 
59
 
60
- def main() -> None:
61
- """Build app and run uvicorn.
62
-
63
- Gradio Blocks (`demo`) is built INSIDE this function — not at module level —
64
- so HF Spaces' Gradio SDK auto-launcher cannot detect it and call
65
- `demo.launch()` separately (which would bind a second port and conflict
66
- with our uvicorn on 7860).
67
- """
68
- import gradio as gr
69
- import uvicorn
70
-
71
- from kpaa.server import create_app
72
-
73
- fastapi_app = create_app()
74
 
75
- with gr.Blocks(title="KPAA Backend", theme=gr.themes.Soft()) as demo:
76
- gr.Markdown(
77
- """
78
- # 🧠 KPAA Backend — 개인정보보호법 RAG 추론 서버
79
 
80
- 한국 개인정보보호법 RAG 백엔드. **OpenAI 호환 API**.
81
- UI 는 별도 Space (`scvcoder/korean-privacy-ai-assistant`) 의 Open WebUI 가 제공합니다.
82
 
83
- ## API Endpoints
84
-
85
- - **POST** `/v1/chat/completions` — OpenAI 호환 chat (스트리밍 지원)
86
- - **GET** `/v1/models` — 모델 목록 (`kpaa-privacy-ko`)
87
- - **GET** `/healthz` — health check
88
- - **GET** `/info` — 상세 정보 / Swagger UI
89
-
90
- ## 외부 연동
91
- Open WebUI 등에 OpenAI provider 로 등록:
92
- - **URL** `https://scvcoder-kpaa-backend.hf.space/v1`
93
- - **Key** any (인증 없음)
94
- - **Model** `kpaa-privacy-ko`
95
- """
96
- )
97
 
98
- final_app = gr.mount_gradio_app(fastapi_app, demo, path="/gradio")
99
  port = int(os.environ.get("PORT", "7860"))
100
- uvicorn.run(final_app, host="0.0.0.0", port=port)
101
 
102
 
103
  if __name__ == "__main__":
 
1
+ """KPAA Backend Space — OpenAI-compatible API on ZeroGPU (Gradio SDK frontmatter).
2
 
3
+ Pure FastAPI 진입점. Gradio Blocks/mount 없이 KPAA 의 OpenAI 호환 서버를 그대로
4
+ uvicorn 으로 띄운다. Gradio 가 없어도 frontmatter `sdk: gradio` 는 ZeroGPU 권한을
5
+ 받기 위한 것일 뿐이고, ZeroGPU detector 는 module-level `@spaces.GPU` 데코레이터의
6
+ 존재만 본다.
7
 
8
+ Space 추론 백엔드. UI 별도 Space (`scvcoder/korean-privacy-ai-assistant`)
9
+ Open WebUI 제공.
10
 
11
  Hardware: ZeroGPU (zero-a10g).
12
  Required secret: LAW_OC.
 
17
  import sys
18
  from pathlib import Path
19
 
20
+ # Disable Gradio SSR globally 일부 import 경로에서 SSR 서브프로세스띄우려
21
+ # 시도하다가 포트 충돌을 일으킨다. 백엔드는 Gradio UI 자체를 노출하지 않으므로
22
+ # SSR 은 무조건 끔.
23
+ os.environ.setdefault("GRADIO_SSR_MODE", "False")
24
+ os.environ.setdefault("GRADIO_SHARE", "False")
 
 
 
 
 
25
 
26
+ # HF Spaces: src/ 를 sys.path 에 prepend (pip install -e . 가 안 되므로)
27
+ sys.path.insert(0, str(Path(__file__).resolve().parent / "src"))
 
 
 
 
 
 
 
 
 
 
 
 
 
28
 
29
 
30
+ # ─── ZeroGPU startup canary (module-level required) ───────────────────────
31
+ # HF Spaces ZeroGPU detector 는 startup 시점에 module-level `@spaces.GPU` 함수가
32
+ # 적어도 하나 검출되어야 GPU 스케줄을 잡는다. 실제 GPU 작업은
33
+ # ZeroGPUBackend.stream_chat 에서 동적으로 데코레이트.
34
  try:
35
  import spaces # type: ignore[import-not-found]
36
 
 
42
  # ──────────────────────────────────────────────────────────────────────────
43
 
44
 
45
+ from kpaa.server import create_app # noqa: E402
 
 
 
 
 
 
 
 
 
 
 
 
 
46
 
47
+ # Module-level FastAPI app uvicorn 이 import 후 바로 사용.
48
+ app = create_app()
 
 
49
 
 
 
50
 
51
+ def main() -> None:
52
+ import uvicorn
 
 
 
 
 
 
 
 
 
 
 
 
53
 
 
54
  port = int(os.environ.get("PORT", "7860"))
55
+ uvicorn.run(app, host="0.0.0.0", port=port)
56
 
57
 
58
  if __name__ == "__main__":