ollama / entrypoint.sh
oki692's picture
Upload 4 files
3154e52 verified
#!/bin/bash
set -e
# Walidacja wymaganych zmiennych
if [ -z "${MODEL}" ] || [ "${MODEL}" = "!TU MUSISZ EDYTOWAC!" ]; then
echo "BLAD: Zmienna MODEL nie jest ustawiona!"
echo "Ustaw ja w: HF Space Settings -> Variables -> MODEL"
echo "Przyklad: deepseek-r1:14b"
exit 1
fi
if [ -z "${API_KEY}" ] || [ "${API_KEY}" = "!TU MUSISZ EDYTOWAC!" ]; then
echo "BLAD: Zmienna API_KEY nie jest ustawiona!"
echo "Ustaw ja w: HF Space Settings -> Variables -> API_KEY"
exit 1
fi
export OLLAMA_HOST=127.0.0.1:11434
export OLLAMA_NUM_PARALLEL=2
export OLLAMA_MAX_LOADED_MODELS=1
echo "==> Model: ${MODEL}"
echo "==> Starting Ollama..."
ollama serve &
echo "==> Waiting for Ollama..."
for i in $(seq 1 30); do
if curl -sf http://127.0.0.1:11434/api/version > /dev/null 2>&1; then
echo "==> Ollama ready!"
break
fi
echo " Waiting... ($i/30)"
sleep 2
done
# !TU MUSISZ EDYTOWAC! — wpisz nazwę modelu, np. "deepseek-r1:14b" albo "hf.co/unsloth/GLM-4.7-Flash-GGUF:UD-TQ1_0"
echo "==> Pulling ${MODEL}..."
ollama pull ${MODEL}
echo "==> Starting proxy on :7860..."
exec uvicorn proxy:app --host 0.0.0.0 --port 7860 --workers 2 --timeout-keep-alive 300