Update handler.py

handler.py

@@ -1,10 +1,10 @@
 # -*- coding: utf-8 -*-
-# handler.py — Rapid_ECG / PULSE-7B — Stabil ve DEBUG'li sürüm (vision tower fix)
-# - HuggingFace Endpoint uyumlu
-# - Görsel sadece .preprocess() ile işlenir (process_images yok)
-# - {"inputs": {...}} sarmalaması destekli
+# handler.py — Rapid_ECG / PULSE-7B — Stabil ve DEBUG'li sürüm (local/hub + vision tower fix)
+# - HF Endpoint uyumlu (EndpointHandler.load().__call__)
+# - Yerel klasörden (HF_MODEL_DIR) veya hub'dan (HF_MODEL_ID) yükleme
+# - Görsel sadece .preprocess() ile işlenir
 # - Vision tower kontrolü: mm_vision_tower veya vision_tower
-# - IMAGE_TOKEN_INDEX kullanımı
+# - IMAGE_TOKEN_INDEX kullanımı ve kapsamlı [DEBUG] logları
 
 import os
 import io
@@ -17,7 +17,7 @@ import torch
 from PIL import Image
 import requests
 
-# ===== LLaVA kurulumu =====
+# ===== LLaVA kütüphanesi (gerekirse kur) =====
 def _ensure_llava(tag: str = "v1.2.0"):
     try:
         import llava  # noqa
@@ -39,11 +39,12 @@ from llava.constants import (
     DEFAULT_IMAGE_TOKEN,
     DEFAULT_IM_START_TOKEN,
     DEFAULT_IM_END_TOKEN,
-    IMAGE_TOKEN_INDEX,   # <-- sabit index
+    IMAGE_TOKEN_INDEX,
 )
 from llava.model.builder import load_pretrained_model
 from llava.mm_utils import tokenizer_image_token
 
+
 # ---------- yardımcılar ----------
 def _get_env(name: str, default: Optional[str] = None) -> Optional[str]:
     v = os.getenv(name)
@@ -113,6 +114,7 @@ def _get_conv_mode(model_name: str) -> str:
     return "llava_v0"
 
 def _build_prompt_with_image(prompt: str, model_cfg) -> str:
+    # Kullanıcı prompt'a image token eklediyse yeniden eklemeyelim
     if DEFAULT_IMAGE_TOKEN in prompt or DEFAULT_IM_START_TOKEN in prompt:
         return prompt
     if getattr(model_cfg, "mm_use_im_start_end", False):
@@ -120,6 +122,14 @@ def _build_prompt_with_image(prompt: str, model_cfg) -> str:
         return f"{token}\n{prompt}"
     return f"{DEFAULT_IMAGE_TOKEN}\n{prompt}"
 
+def _resolve_model_path(model_dir_hint: Optional[str], default_dir: str = "/repository") -> str:
+    # Öncelik sırası: HF_MODEL_DIR (yerel) -> verilen model_dir_hint -> default_dir
+    p = _get_env("HF_MODEL_DIR") or model_dir_hint or default_dir
+    p = os.path.abspath(p)
+    print(f"[DEBUG] resolved model path: {p}")
+    return p
+
+
 # ---------- Endpoint Handler ----------
 class EndpointHandler:
     def __init__(self, model_dir: Optional[str] = None):
@@ -134,14 +144,29 @@ class EndpointHandler:
         self.model_name = None
 
     def load(self):
-        # Uzaktan yüklemek için HF_MODEL_ID; yerel için HF_MODEL_DIR kullanabilirsiniz (ayrı mantık eklemek isterseniz)
-        model_path = _get_env("HF_MODEL_ID", "PULSE-ECG/PULSE-7B")
+        """
+        Yükleme stratejisi:
+        - Eğer HF_MODEL_DIR set edilmişse veya repo kökünde ağırlıklar varsa: YERELDEN yükle.
+        - Aksi halde HF_MODEL_ID ile hub'dan yükle.
+        """
+        local_path = _resolve_model_path(self.model_dir)
+        use_local = os.path.isdir(local_path) and any(
+            os.path.exists(os.path.join(local_path, f))
+            for f in ("config.json", "tokenizer_config.json")
+        )
         model_base = _get_env("HF_MODEL_BASE", None)
-        print(f"[DEBUG] load(): HF_MODEL_ID={model_path}, HF_MODEL_BASE={model_base}")
 
         os.environ.setdefault("ATTN_IMPLEMENTATION", "flash_attention_2")
         os.environ.setdefault("FLASH_ATTENTION", "1")
 
+        if use_local:
+            model_path = local_path
+            print(f"[DEBUG] loading model LOCALLY from: {model_path}")
+        else:
+            model_path = _get_env("HF_MODEL_ID", "PULSE-ECG/PULSE-7B")
+            print(f"[DEBUG] loading model from HUB: {model_path} (HF_MODEL_BASE={model_base})")
+
+        # Modeli yükle
         print("[DEBUG] calling load_pretrained_model ...")
         self.tokenizer, self.model, self.image_processor, self.context_len = load_pretrained_model(
             model_path=model_path,
@@ -164,7 +189,8 @@ class EndpointHandler:
             raise RuntimeError(
                 "[ERROR] Vision tower not loaded (mm_vision_tower/vision_tower None). "
                 "Bu model multimodal değil veya yanlış checkpoint yüklendi. "
-                "HF_MODEL_ID olarak PULSE/LLaVA tabanlı bir model verin (örn: 'PULSE-ECG/PULSE-7B')."
+                "Yerelden yükleyecekseniz HF_MODEL_DIR doğru klasörü göstermeli; "
+                "hub'dan yükleyecekseniz HF_MODEL_ID olarak PULSE/LLaVA tabanlı bir model verin (örn: 'PULSE-ECG/PULSE-7B')."
             )
 
         # tokenizer güvenliği
@@ -211,7 +237,7 @@ class EndpointHandler:
         try:
             out = self.image_processor.preprocess(image, return_tensors="pt")
             images_tensor = out["pixel_values"].to(self.device, dtype=self.dtype)
-            image_sizes = [image.size]
+            image_sizes = [image.size]  # bazı LLaVA sürümleri image_sizes ister
             print(f"[DEBUG] preprocess OK; images_tensor.shape={images_tensor.shape}")
         except Exception as e:
             return {"error": f"Image preprocessing failed: {e}"}