Local model kullanacak şekilde düzeltildi - ./nova-ai-model

gradio_app.py

@@ -14,49 +14,43 @@ except ImportError:
         return func
     spaces = type('spaces', (), {'GPU': spaces_gpu})()
 
-# ================== Model Seçenekleri ==================
-# Kullanıcı arayüzünden seçilebilecek modellerin listesi.
-# Anahtar (dict key) arayüzde gösterilen isim, değer yol (path).
-MODEL_OPTIONS = {
-    "Nova AI Hub": "veteroner/NovaAI",
-    "Büyük Model (nova-ai-model)": "./nova-ai-model"
-}
-
-# Seçili modelin anahtarını tutan değişken
-current_model_key = None
+# ================== Nova AI Modeli ==================
+# Sabit model: veteroner/NovaAI Hub'dan yüklenir
 
 # Global değişkenler
 model = None
 tokenizer = None
 
 @spaces.GPU
-def load_model(model_path: str):
-    """Seçilen model yoluna göre Nova AI modelini yükle - ZeroGPU destekli."""
+def load_model():
+    """Teknova Nova AI modelini yükle - ZeroGPU destekli."""
     global model, tokenizer
     
+    model_path = "./nova-ai-model"
     print(f"🚀 Nova AI modeli yükleniyor... ({model_path})")
     
     try:
         # Tokenizer yükle
         tokenizer = AutoTokenizer.from_pretrained(
             model_path,
-            trust_remote_code=True
+            trust_remote_code=True,
+            use_fast=True
         )
         
-        # --------- ZeroGPU için yükleme argümanları ---------
-        load_kwargs = {
-            "torch_dtype": torch.float16,
-            "trust_remote_code": True,
-            "device_map": "auto"  # ZeroGPU otomatik GPU tahsisi
-        }
+        # Pad token ayarla
+        if tokenizer.pad_token is None:
+            tokenizer.pad_token = tokenizer.eos_token
         
-        # Model yükle (8-bit quantization ZeroGPU'da desteklenmez)
+        # Model yükle - ZeroGPU optimizasyonu
         model = AutoModelForCausalLM.from_pretrained(
             model_path,
-            **load_kwargs
+            torch_dtype=torch.float16,
+            trust_remote_code=True,
+            device_map="auto",
+            low_cpu_mem_usage=True
         )
         
-        success_msg = f"✅ Nova AI modeli yüklendi: {os.path.basename(model_path)} (ZeroGPU)"
+        success_msg = f"✅ Teknova Nova AI yüklendi! (Local + ZeroGPU)"
         print(success_msg)
         return success_msg
         
@@ -65,14 +59,6 @@ def load_model(model_path: str):
         print(error_msg)
         return error_msg
 
-# ================== Model Seçim Yardımcı Fonksiyonu ==================
-def select_model(model_key: str):
-    """UI'daki seçim değiştiğinde çağrılır, modeli yeniden yükler."""
-    global current_model_key
-    current_model_key = model_key
-    model_path = MODEL_OPTIONS[model_key]
-    return load_model(model_path)
-
 @spaces.GPU
 def chat_response(message, history):
     """Teknova Nova AI ile sohbet yanıtı üret - ZeroGPU destekli"""
@@ -98,8 +84,13 @@ def chat_response(message, history):
             conversation, 
             return_tensors="pt", 
             truncation=True, 
-            max_length=2048
-        ).to(model.device)
+            max_length=2048,
+            padding=True
+        )
+        
+        # GPU'ya taşı
+        if torch.cuda.is_available():
+            inputs = {k: v.to(model.device) for k, v in inputs.items()}
         
         # Nova AI yanıt üret - ZeroGPU optimizasyonu
         with torch.no_grad():
@@ -109,8 +100,9 @@ def chat_response(message, history):
                 temperature=0.7,
                 top_p=0.9,
                 do_sample=True,
-                pad_token_id=tokenizer.eos_token_id,
-                eos_token_id=tokenizer.eos_token_id
+                pad_token_id=tokenizer.pad_token_id,
+                eos_token_id=tokenizer.eos_token_id,
+                repetition_penalty=1.1
             )
         
         # Nova AI yanıtını decode et
@@ -124,9 +116,8 @@ def chat_response(message, history):
     except Exception as e:
         return f"❌ Nova AI yanıt üretirken hata: {str(e)}"
 
-# Başlangıçta ilk (varsayılan) modeli yükle
-first_key = list(MODEL_OPTIONS.keys())[0]  # Küçük model varsayılan
-initial_status = select_model(first_key)
+# Başlangıçta modeli yükle
+initial_status = load_model()
 
 # Gradio arayüzü oluştur
 with gr.Blocks(
@@ -162,16 +153,11 @@ with gr.Blocks(
     </div>
     """)
     
-    # ================== Model Seçim Bileşenleri ==================
+    # ================== Model Durumu ==================
     with gr.Row():
-        model_selector = gr.Radio(
-            choices=list(MODEL_OPTIONS.keys()),
-            value=first_key,
-            label="Model Seçimi"
-        )
         statusbox = gr.Textbox(
             value=initial_status,
-            label="Durum",
+            label="Model Durumu",
             interactive=False
         )
     
@@ -226,9 +212,6 @@ with gr.Blocks(
     )
     clear.click(lambda: None, None, chatbot, queue=False)
 
-    # Model seçim değişikliğinde modeli yeniden yükle
-    model_selector.change(select_model, inputs=model_selector, outputs=statusbox)
-
 if __name__ == "__main__":
     demo.launch(
         server_name="0.0.0.0",