Optimizations

Dockerfile

@@ -1,45 +1,47 @@
 FROM nvidia/cuda:12.0.0-cudnn8-devel-ubuntu22.04
 
-# 1) Configure HF cache locations up front
+
+# 1) Variables HF avant tout
 ENV HF_HOME="/home/user/.cache/huggingface" \
     HF_HUB_CACHE="/home/user/.cache/huggingface/hub" \
     TRANSFORMERS_CACHE="/home/user/.cache/huggingface/transformers"
 
-# 2) Create non-root user
+# 2) Créer l’utilisateur non-root
 RUN useradd -m -u 1000 user
 
-# 3) Install Python & system libs
 RUN apt-get update && \
     apt-get install -y --no-install-recommends \
-       python3 python3-pip python3-dev \
-       build-essential git libpoppler-cpp-dev poppler-utils libmagic-dev && \
+      python3 python3-pip python3-dev && \
     rm -rf /var/lib/apt/lists/*
 
+# 3) Installer dépendances système
+RUN apt-get update && apt-get install -y \
+      build-essential git libpoppler-cpp-dev poppler-utils libmagic-dev python3-dev \
+    && rm -rf /var/lib/apt/lists/*
+
+# 4) Copier requirements et installer libs Python
 WORKDIR /home/user/app
 COPY --chown=user requirements.txt .
-
-# 4) Install Python deps
 RUN pip install --no-cache-dir torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
 RUN pip install --no-cache-dir huggingface_hub
 RUN pip install --no-cache-dir -r requirements.txt
 
-# 5) Prep model cache dir and HF cache, set ownership
-RUN mkdir -p /home/user/app/model_cache $HF_HUB_CACHE && \
-    chown -R user:user /home/user/app /home/user/.cache/huggingface
+# 5) Pré-créer model_cache et HF_HOME, puis chown
+RUN mkdir -p /home/user/app/model_cache $HF_HUB_CACHE \
+    && chown -R user:user /home/user/app /home/user/.cache/huggingface
 
-# 6) **Switch to non-root user** and pre-download your model
+# 6) Télécharger le modèle au build-time sous l’utilisateur non-root
 USER user
 RUN python3 - <<EOF
-from huggingface_hub import snapshot_download
 import os
+from huggingface_hub import snapshot_download
 snapshot_download(
-    repo_id="numind/NuExtract-1.5",         # <-- your HF model ID
-    local_dir="/home/user/app/model_cache", # <-- where your FastAPI will load from
-    cache_dir=os.getenv("HF_HUB_CACHE"),    # <-- HF’s own cache
-    resume_download=True
+  repo_id="numind/NuExtract-1.5-tiny",
+  local_dir="/home/user/app/model_cache",
+  cache_dir=os.getenv("HF_HUB_CACHE")
 )
 EOF
 
-# 7) Copy your code and launch
+# 7) Copier le reste du code et démarrer
 COPY --chown=user . .
-CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]
+CMD ["uvicorn","app:app","--host","0.0.0.0","--port","7860"]

app.py

@@ -12,27 +12,52 @@ from supabase import create_client
 from huggingface_hub import snapshot_download
 from transformers import BitsAndBytesConfig, AutoModelForCausalLM
 
+
+
 load_dotenv()
 app = FastAPI()
 
-model_name = "numind/NuExtract-1.5"
 
-# MODEL_CACHE = "/home/user/app/model_cache"
+# // FOR RUNNING IN SPACES
+model_name = "numind/NuExtract-1.5-tiny"
+# Path inside your container
+# MODEL_PATH = "/app/model_cache/models--numind--NuExtract-1.5-tiny/snapshots/df52efb3109d324cd52b30728f9e3fdedf19f742"
+# If you used local_dir="model", snapshot_download will still create models--… subfolder.
+# You can also symlink or copy it to /app/model directly in Dockerfile.
+
+
+# MODEL_PATH = "/app/model_cache"
+# model_cache_path = snapshot_download(
+#     repo_id="numind/NuExtract-1.5-tiny",
+#     local_dir="/app/model_cache",            # <-- direct destination
+#     cache_dir="/app/model_cache/hf_cache"
+# )
+
+MODEL_CACHE = "/home/user/app/model_cache"
+
+print(">>> MODEL CACHE PATH:", MODEL_CACHE, os.listdir(MODEL_CACHE))
 
 device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
 dtype = torch.float16 if device in ("mps", "cuda") else torch.float32
 
 print("CUDA available:", torch.cuda.is_available())       # True
 print("Device name:", torch.cuda.get_device_name(0)) 
-print ("Model Running ", model_name)
+# bnb_config = BitsAndBytesConfig(load_in_8bit=True)
+
 
 # If lower memory usage needed: 
 
 # bnb_config = BitsAndBytesConfig(
 #     load_in_4bit=True,
 #     bnb_4bit_use_double_quant=True,
-#     bnb_4bit_quant_type="nf4",
-#     bnb_4bit_compute_dtype=torch.float16
+#     bnb_4bit_quant_type="nf4"
+# )
+# model = AutoModelForCausalLM.from_pretrained(
+#     MODEL_CACHE,
+#     quantization_config=bnb_config,
+#     device_map="auto",
+#     local_files_only=True,
+#     trust_remote_code=True
 # )
 
 @app.on_event("startup")
@@ -48,30 +73,27 @@ def startup_supabase():
 def load_model():
     print("Loading model and tokenizer...", flush=True)
     global model, tokenizer
+    # model = AutoModelForCausalLM.from_pretrained(
+    # model_name, torch_dtype=dtype, trust_remote_code=True
+    # )
     model = AutoModelForCausalLM.from_pretrained(
-        # model_name,
-        # cache_dir=MODEL_CACHE,
         MODEL_CACHE,
         local_files_only=True,
         torch_dtype=dtype,
         trust_remote_code=True,
         # quantization_config=bnb_config,
+        # no_split_module_classes=["Block"],
         device_map="auto"
     ).to(device).eval()
+    # tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
     tokenizer = AutoTokenizer.from_pretrained(
-        # model_name,
-        # cache_dir=MODEL_CACHE,
         MODEL_CACHE,
         local_files_only=True,
         trust_remote_code=True,
         device_map="auto"
     )
-    # Check this optimization!
-    # if torch.__version__ >= "2.0":
-    #     model = torch.compile(model)
     print("✅ Model and tokenizer loaded from", MODEL_CACHE)
 
-
 def predict_NuExtract(texts, template, batch_size=1, max_length=5096, max_new_tokens=1024):
     print("Starting NuExtract prediction...", flush=True)
     start_time = time.perf_counter()
@@ -80,30 +102,9 @@ def predict_NuExtract(texts, template, batch_size=1, max_length=5096, max_new_to
         "<|input|>\n"
         "### Instruction:\n"
         "Remplis la template JSON avec les informations extraits du texte.\n"
-        "Extraire le nom du candidat tel qu’il apparaît sur la première ligne du document (souvent en majuscules ou en plus gros), et le mettre dans nom. Si le nom n’est pas trouvé, renvoyer une chaîne vide.\n"
-        "Si le text contient des mentions de diplomes ou de titres de formations, certificats ou Attestation on les considère comme education, pas experience\n"
-        "Pour chaque bloc formation ou expérience où une date est mentionnée (MM/YYYY ou mois/YYYY etc), remplir systématiquement annee_debut et annee_fin.\n"
-        "Ne jamais laisser ces champs vides si la date est dans le texte.\n"
-        "Si une seule date specifié pour une experience ou une formation met la même date pour start_date et end_date. Exemples : \n"
-        "Exemple 1 : \n"
-        "Texte : \"...01/2024 – En cours...\"\n"
-        "Output : \"start_date\": \"01/2024\", \"end_date\": \"01/2024\"\n"
-        "Exemple 2 : \n"
-        "Texte : \"...mai 2025...\"\n"
-        "Output : \"start_date\": \"05/2025\", \"end_date\": \"05/2025\"\n"
-        "Exemple 3 : \n"
-        "Texte : \"...mai 2025 – juin 2026...\"\n"
-        "Output : \"start_date\": \"05/2025\", \"end_date\": \"06/2026\"\n"
-        "Extraction des dates est *très* importante. Ne laisse jamais les dates vides\n"
         "Exemples types de formations :  CAP Boucherie, Licence Pro Métiers de l’Énergétique, Baccalauréat Général\n"
         "Exemples catégories de formations :  Transport, énergie, langues, esthétique\n"
-        "Exemples mobilités :  permis B, permis C, permis D. si y'a juste la mention de permis on considère que c'est le permis B. N’inclure que les permis explicitement mentionnés dans le texte. S’il n’y a aucune mention de permis, renvoyer une liste vide.\n"
-        "### Exemple 1 (avec permis) \n"
-        "Texte : \"...j’ai obtenu mon permis B en 2015...\"\n"
-        "Output : \"types_des_permis_de_conduire\": [\"permis B\"]\n"
-        "### Exemple 2 (sans permis) \n"
-        "Texte : \"...j’ai étudié à l’Université de Paris...\"\n"
-        "Output : \"types_des_permis_de_conduire\": []\n"
+        "Exemples mobilités :  permis B, permis C, permis D. si y'a juste la mention de permis on considère que c'est le permis B\n"
         "Output *only* the completed JSON.\n"
         "### Template:\n"
         f"{template_str}\n"
@@ -125,7 +126,7 @@ def predict_NuExtract(texts, template, batch_size=1, max_length=5096, max_new_to
                 max_length=max_length
             ).to(device)
             print(f"Generating outputs with model for batch {i//batch_size+1}...", flush=True)
-            ids = model.generate(**enc, max_new_tokens=max_new_tokens, num_beams=1, use_cache=False)
+            ids = model.generate(**enc, max_new_tokens=max_new_tokens, use_cache=False)
             outputs += tokenizer.batch_decode(ids, skip_special_tokens=True)
     print("Outputs generated.", flush=True)
     elapsed = time.perf_counter() - start_time