deploy/appliance/nim-compose.example.yml

# Exemple de déploiement NVIDIA NIM pour l'appliance JackAILocal (GPU NVIDIA).
# Le conteneur est tiré UNE FOIS au build (Internet + clé NGC requis), puis
# tourne entièrement hors ligne chez le client.
#
#   docker login nvcr.io        # user: $oauthtoken / password: clé API NGC
#   docker compose -f nim-compose.example.yml pull
#   docker compose -f nim-compose.example.yml up -d
#
# L'API (compatible OpenAI) écoute sur 127.0.0.1:8000. Configurer ensuite
# jackailocald: [backends.llamacpp] enabled = true, url = "http://127.0.0.1:8000".
# Remplacer l'image par le modèle choisi sur build.nvidia.com/models et
# vérifier la licence du modèle avant toute distribution commerciale.
services:
  nim-llm:
    image: nvcr.io/nim/qwen/qwen3.5-9b-instruct:latest
    runtime: nvidia
    environment:
      - NGC_API_KEY=${NGC_API_KEY:-}
      - NIM_CACHE_PATH=/opt/nim/.cache
    volumes:
      - ./nim-cache:/opt/nim/.cache
    ports:
      - "127.0.0.1:8000:8000"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    restart: unless-stopped