Create app.py

app.py

@@ -0,0 +1,61 @@
+import os
+import subprocess
+import time
+import requests
+import gradio as gr
+from fastapi import FastAPI, Request
+from fastapi.responses import StreamingResponse
+# Configuración del modelo
+MODEL_ID = os.getenv("MODEL_ID", "Qwen/Qwen2.5-Coder-32B-Instruct")
+VLLM_PORT = 8001
+print(f"Iniciando vLLM en segundo plano con el modelo: {MODEL_ID}...")
+# 1. Ejecutar el servidor de vLLM en segundo plano en el puerto 8001
+vllm_cmd = [
+"python3", "-m", "vllm.entrypoints.openai.api_server",
+"--model", MODEL_ID,
+"--port", str(VLLM_PORT),
+"--host", "127.0.0.1",
+"--trust-remote-code",
+"--max-model-len", "8192",
+"--gpu-memory-utilization", "0.95"
+]
+# Si el modelo está cuantizado (ej. AWQ), puedes añadir la opción:
+# vllm_cmd.extend(["--quantization", "awq"])
+process = subprocess.Popen(vllm_cmd)
+# 2. Inicializar la app FastAPI
+app = FastAPI(title="Qwen OpenAI API Proxy")
+# Redirigir todas las peticiones a /v1 directamente hacia vLLM
+@app.api_route("/v1/{path:path}", methods=["GET", "POST", "PUT", "DELETE"])
+async def proxy_v1(request: Request, path: str):
+url = f"http://127.0.0.1:{VLLM_PORT}/v1/{path}"
+body = await request.body()
+headers = {k: v for k, v in request.headers.items() if k.lower() != "host"}
+# Manejar respuestas en streaming para OpenCode
+resp = requests.request(
+method=request.method,
+url=url,
+headers=headers,
+data=body,
+stream=True
+)
+return StreamingResponse(
+resp.iter_content(chunk_size=1024),
+status_code=resp.status_code,
+headers=dict(resp.headers)
+)
+# 3. Interfaz visual con Gradio
+with gr.Blocks(title="Qwen OpenCode API Endpoint") as demo:
+gr.Markdown("# 🚀 Servidor Qwen Activo")
+gr.Markdown(f"**Modelo cargado:** `{MODEL_ID}`")
+gr.Markdown("""
+### 📡 Configuración para OpenCode
+Copia la siguiente **Base URL** en la configuración de OpenCode:
+""")
+gr.Code("https://<tu-usuario>-<tu-space>.hf.space/v1", language="bash")
+gr.Markdown("""
+* **API Key:** `dummy` (si el Space es público) o tu `HF_TOKEN` (si el Spac
+* **Model Name:** El mismo ID cargado en el servidor (`Qwen/Qwen2.5-Coder-3
+""")
+
+# Montar Gradio en el path raíz de FastAPI
+app = gr.mount_gradio_app(app, demo, path="/")