File size: 1,254 Bytes
f2f6faa | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 | #!/bin/bash
set -e
# Walidacja wymaganych zmiennych
if [ -z "${MODEL}" ] || [ "${MODEL}" = "!TU MUSISZ EDYTOWAC!" ]; then
echo "BLAD: Zmienna MODEL nie jest ustawiona!"
echo "Ustaw ja w: HF Space Settings -> Variables -> MODEL"
echo "Przyklad: deepseek-r1:14b"
exit 1
fi
if [ -z "${API_KEY}" ] || [ "${API_KEY}" = "!TU MUSISZ EDYTOWAC!" ]; then
echo "BLAD: Zmienna API_KEY nie jest ustawiona!"
echo "Ustaw ja w: HF Space Settings -> Variables -> API_KEY"
exit 1
fi
export OLLAMA_HOST=127.0.0.1:11434
export OLLAMA_NUM_PARALLEL=2
export OLLAMA_MAX_LOADED_MODELS=1
echo "==> Model: ${MODEL}"
echo "==> Starting Ollama..."
ollama serve &
echo "==> Waiting for Ollama..."
for i in $(seq 1 30); do
if curl -sf http://127.0.0.1:11434/api/version > /dev/null 2>&1; then
echo "==> Ollama ready!"
break
fi
echo " Waiting... ($i/30)"
sleep 2
done
# !TU MUSISZ EDYTOWAC! — wpisz nazwę modelu, np. "deepseek-r1:14b" albo "hf.co/unsloth/GLM-4.7-Flash-GGUF:UD-TQ1_0"
echo "==> Pulling ${MODEL}..."
ollama pull ${MODEL}
echo "==> Starting proxy on :7860..."
# Start proxy with increased timeout for streaming
exec uvicorn proxy:app --host 0.0.0.0 --port 7860 --workers 4 --timeout-keep-alive 600
|