Update app.py

app.py

@@ -4,6 +4,7 @@ import traceback
 from fastapi import FastAPI
 from pydantic import BaseModel
 from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
 from datetime import datetime
 
 # === 🕒 Zamanlı log fonksiyonu
@@ -12,10 +13,12 @@ def log(message):
     line = f"[{timestamp}] {message}"
     print(line, flush=True)
 
-# === GGUF model yolunu buraya koy
-MODEL_PATH = "./model/Turkish-Llama-3-8B-function-calling.Q4_K_M.gguf"
+# === Model bilgileri
+REPO_ID = "oncu/Turkish-Llama-3-8B-function-calling-GGUF"
+FILENAME = "turkish-llama-3-8b-function-calling-q8_0.gguf"
+LOCAL_MODEL_PATH = f"/tmp/{FILENAME}"
 
-# === Hard-coded system prompt (bizim test mantığımız)
+# === System prompt (bizim test formatımız)
 SYSTEM_PROMPT = """
 Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajlarını anlayabilir, niyetlerini (intent) tespit edebilir, eksik bilgileri sorabilir ve backend API'lerine tetikleme hazırlığı yapabilirsiniz.
 
@@ -25,7 +28,7 @@ Siz bir görev tabanlı asistan botsunuz. Kullanıcının doğal dildeki mesajla
 #ANSWER: <cevap metni veya NONE>
 #INTENT: <intent_adı> (veya NONE)
 #PARAMS: {parametre_adı: değer, ...}
-#MISSING: [eksik_parametre_adı, ...}
+#MISSING: [eksik_parametre_adı, ...]
 #ACTION_JSON: {api için gönderilecek json, eksikse boş bırak}
 
 ✅ Desteklenen intent'ler:
@@ -47,8 +50,12 @@ def load_model():
     global llm
     try:
         log("🚀 Uygulama başlatılıyor...")
-        log(f"📦 GGUF model yükleniyor: {MODEL_PATH}")
-        llm = Llama(model_path=MODEL_PATH, n_gpu_layers=-1, n_ctx=4096)
+        log("📥 Model indirme başlatılıyor...")
+        model_path = hf_hub_download(repo_id=REPO_ID, filename=FILENAME, local_dir="/tmp")
+        log(f"✅ Model indirildi: {model_path}")
+
+        log("📦 GGUF model yükleniyor...")
+        llm = Llama(model_path=model_path, n_gpu_layers=-1, n_ctx=4096)
         log("✅ Model başarıyla yüklendi ve kullanılmaya hazır.")
         log("💡 Artık /chat endpoint'ine POST isteği gönderebilirsiniz.")
     except Exception as e: