fast api added

app.py

@@ -10,6 +10,9 @@ from pathlib import Path
 from typing import List, Dict, Any, Optional
 
 import gradio as gr
+from fastapi import FastAPI, HTTPException
+from fastapi.responses import JSONResponse
+from pydantic import BaseModel, Field
 
 # ZeroGPU対応: spacesパッケージをインポート（デコレータ用）
 try:
@@ -41,6 +44,18 @@ status_lock = threading.Lock()
 MODEL_TYPE = os.getenv("MODEL_TYPE", "transformers")
 HF_MODEL_REPO = os.getenv("HF_MODEL_REPO", "meta-llama/Llama-3.2-3B-Instruct")
 
+# FastAPI用のリクエスト/レスポンスモデル
+class WordTreeRequest(BaseModel):
+    prompt_text: str = Field(..., description="生成に使用するプロンプト")
+    root_text: str = Field("", description="任意のルートテキスト")
+    top_k: int = Field(5, ge=1, le=50, description="取得する候補数")
+    max_depth: int = Field(10, ge=1, le=50, description="探索深さ")
+
+
+class WordTreeResponse(BaseModel):
+    text: str
+    probability: float
+
 
 def _set_status(message: str) -> None:
     """ステータスメッセージを更新"""
@@ -214,6 +229,76 @@ with gr.Blocks(title="LLMView Multi-Model", theme=gr.themes.Soft()) as demo:
     )
 
 
+# FastAPIアプリを作成（外部APIアクセス用）
+fastapi_app = FastAPI(
+    title="LLMView Multi-Model API",
+    description="LLMView の単語ツリー構築 API。/build_word_tree にPOSTしてください。",
+    version="1.0.0",
+)
+
+
+@fastapi_app.get("/")
+def root() -> Dict[str, str]:
+    """簡易案内"""
+    return {
+        "message": "LLMView Multi-Model API",
+        "status_endpoint": "/health",
+        "build_endpoint": "/build_word_tree",
+        "gradio_ui": "/",
+    }
+
+
+@fastapi_app.get("/health")
+def health() -> Dict[str, Any]:
+    """状態確認"""
+    with status_lock:
+        current_status = status_message
+    
+    return {
+        "model_loaded": adapter is not None,
+        "status": current_status,
+        "model_type": MODEL_TYPE,
+        "model_path": HF_MODEL_REPO if MODEL_TYPE == "transformers" else None,
+    }
+
+
+@spaces.GPU  # ZeroGPU対応
+@fastapi_app.post("/build_word_tree", response_model=List[WordTreeResponse])
+def api_build_word_tree(payload: WordTreeRequest) -> List[WordTreeResponse]:
+    """単語ツリーを構築（FastAPIエンドポイント）"""
+    if not payload.prompt_text.strip():
+        raise HTTPException(status_code=400, detail="prompt_text を入力してください。")
+
+    if adapter is None:
+        with status_lock:
+            current_status = status_message
+        raise HTTPException(
+            status_code=503, detail=f"モデル準備中です: {current_status}"
+        )
+
+    try:
+        results = adapter.build_word_tree(
+            prompt_text=payload.prompt_text,
+            root_text=payload.root_text,
+            top_k=payload.top_k,
+            max_depth=payload.max_depth,
+        )
+
+        if not results:
+            # ダミー結果を返す
+            results = [
+                {"text": "候補が生成されませんでした", "probability": 0.0}
+            ]
+
+        return [WordTreeResponse(**item) for item in results]
+    except Exception as exc:
+        import traceback
+        traceback.print_exc()
+        raise HTTPException(
+            status_code=500, detail=f"エラーが発生しました: {exc}"
+        )
+
+
 # ZeroGPU対応: 起動時に検出されるように、デコレータ付き関数を定義
 @spaces.GPU
 def _gpu_init_function():
@@ -221,6 +306,10 @@ def _gpu_init_function():
     pass
 
 
+# GradioアプリにFastAPIを統合
+demo.fastapi_app = fastapi_app
+
+
 if __name__ == "__main__":
     # Hugging Face Spaces用の設定
     # GPU要求を確実に検出させる

requirements.txt

@@ -6,6 +6,10 @@
 # Gradio - Web UI（最新版でセキュリティ脆弱性を修正）
 gradio>=4.43.0
 
+# FastAPI - 外部APIアクセス用
+fastapi>=0.111.0
+pydantic>=2.0.0
+
 # Hugging Face Spaces
 spaces