svision / README.md
VeuReu's picture
Upload 6 files
e8b40b6 verified
|
raw
history blame
1.17 kB

Salamandra-Vision 7B · ZeroGPU Space (API + Clientes)

Space Gradio (ZeroGPU) que sirve UI + API para BSC-LT/salamandra-7b-vision.
Clientes incluidos: clients/client_requests.py (local/CLI) y clients/streamlit_client_app.py (Space Streamlit).

Despliegue del Space (ZeroGPU)

  1. Crea Space → SDK Gradio, Hardware ZeroGPU.
  2. Sube app.py, requirements.txt, README.md, carpeta examples.
  3. Opcional: MODEL_ID=BSC-LT/salamandra-7b-vision.

Endpoints

  • UI: interfaz Gradio.
  • REST puro: POST /api/describe_raw (multipart: image, text, max_new_tokens, temperature).
  • Gradio clásico: POST /api/predict/describe (recomendado con gradio_client).

ZeroGPU sólo con Gradio; exponemos API desde Gradio. Clients externos (requests/Streamlit) funcionan bien. Para cargas altas y fair-use del clúster, considera forwarding de token por usuario (más sencillo en apps Gradio). :contentReference[oaicite:8]{index=8}

Cliente local (sin Gradio UI)

python clients/client_requests.py --space-url "https://<usuario>-<space>.hf.space" \
  --image examples/demo.jpg --text "Descríbela en catalán."