Upload app.py

app.py

@@ -1,6 +1,7 @@
 """
-🚀 Nova AI - Hugging Face Spaces
+🚀 Nova AI - Hugging Face Spaces ZeroGPU
 Teknova tarafından geliştirilen özgün yapay zeka modeli
+ZeroGPU ile hızlandırılmış
 """
 
 import gradio as gr
@@ -8,6 +9,7 @@ import torch
 import os
 import logging
 import time
+import spaces
 from typing import List, Tuple
 
 # Logging setup
@@ -83,9 +85,10 @@ def chat_response(message: str, history: List[List[str]], max_length: int, tempe
     history.append([message, response])
     return "", history
 
+@spaces.GPU
 def generate_real_response(message: str, max_length: int, temperature: float) -> str:
     """
-    Gerçek model ile yanıt oluştur
+    Gerçek model ile yanıt oluştur - ZeroGPU destekli
     """
     if not model or not tokenizer:
         return generate_demo_response(message)
@@ -116,41 +119,44 @@ def generate_real_response(message: str, max_length: int, temperature: float) ->
         logger.error(f"Model generation error: {e}")
         return generate_demo_response(message)
 
+@spaces.GPU
 def load_model():
     """
-    Teknova Nova AI modelini yükle
+    Teknova Nova AI modelini yükle - ZeroGPU destekli
     """
     global model, tokenizer
     
     try:
         from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
         
-        # Model path - Hugging Face'den direkt yükle
-        model_name = "Teknova/NovaAI"
+        # Model path - Local model kullan
+        model_path = "./nova-ai-small"
         
-        logger.info(f"🚀 Teknova Nova AI modeli yükleniyor: {model_name}")
+        # Eğer local model yoksa, demo modunda çalış
+        if not os.path.exists(model_path):
+            logger.info("⚠️ Local model bulunamadı, demo modunda çalışacak")
+            return "⚠️ Demo modunda çalışıyor"
         
-        # Quantization config - memory tasarrufu için
-        quantization_config = BitsAndBytesConfig(
-            load_in_4bit=True,
-            bnb_4bit_compute_dtype=torch.float16,
-            bnb_4bit_use_double_quant=True,
-            bnb_4bit_quant_type="nf4"
-        )
+        logger.info(f"🚀 Teknova Nova AI modeli yükleniyor: {model_path}")
         
         # Tokenizer yükle
         tokenizer = AutoTokenizer.from_pretrained(
-            model_name, 
-            trust_remote_code=True
+            model_path, 
+            trust_remote_code=True,
+            use_fast=True
         )
         
-        # Model yükle
+        # Pad token ayarla
+        if tokenizer.pad_token is None:
+            tokenizer.pad_token = tokenizer.eos_token
+        
+        # Model yükle - ZeroGPU optimizasyonu
         model = AutoModelForCausalLM.from_pretrained(
-            model_name,
-            quantization_config=quantization_config,
+            model_path,
             device_map="auto",
             trust_remote_code=True,
-            torch_dtype=torch.float16
+            torch_dtype=torch.float16,
+            low_cpu_mem_usage=True
         )
         
         logger.info(f"✅ Nova AI model yüklendi ({device})")
@@ -158,16 +164,18 @@ def load_model():
         
     except Exception as e:
         logger.error(f"Model yükleme hatası: {e}")
-        return f"❌ Model yüklenemedi: {str(e)}"
+        return f"❌ Model yüklenemedi: {str(e)} - Demo modunda çalışacak"
 
+@spaces.GPU
 def chat_with_nova(message: str, history: List[Tuple[str, str]]) -> str:
     """
-    Nova AI ile sohbet et
+    Nova AI ile sohbet et - ZeroGPU destekli
     """
     global model, tokenizer
     
     if model is None or tokenizer is None:
-        return "❌ Model henüz yüklenmedi. Lütfen bekleyin..."
+        # Demo yanıt ver
+        return generate_demo_response(message) + "\n\n💡 *Not: Demo modunda çalışıyor.*"
     
     if not message.strip():
         return "❓ Lütfen bir mesaj yazın."
@@ -176,7 +184,8 @@ def chat_with_nova(message: str, history: List[Tuple[str, str]]) -> str:
         # Konuşma geçmişini hazırla
         conversation = ""
         for user_msg, bot_msg in history:
-            conversation += f"Kullanıcı: {user_msg}\nNova AI: {bot_msg}\n"
+            if user_msg and bot_msg:
+                conversation += f"Kullanıcı: {user_msg}\nNova AI: {bot_msg}\n"
         
         # Yeni mesajı ekle
         conversation += f"Kullanıcı: {message}\nNova AI:"
@@ -186,8 +195,13 @@ def chat_with_nova(message: str, history: List[Tuple[str, str]]) -> str:
             conversation, 
             return_tensors="pt", 
             truncation=True, 
-            max_length=2048
-        ).to(model.device)
+            max_length=2048,
+            padding=True
+        )
+        
+        # GPU'ya taşı
+        if torch.cuda.is_available():
+            inputs = {k: v.to(model.device) for k, v in inputs.items()}
         
         # Yanıt üret
         with torch.no_grad():
@@ -197,8 +211,9 @@ def chat_with_nova(message: str, history: List[Tuple[str, str]]) -> str:
                 temperature=0.7,
                 top_p=0.9,
                 do_sample=True,
-                pad_token_id=tokenizer.eos_token_id,
-                eos_token_id=tokenizer.eos_token_id
+                pad_token_id=tokenizer.pad_token_id,
+                eos_token_id=tokenizer.eos_token_id,
+                repetition_penalty=1.1
             )
         
         # Yanıtı decode et
@@ -221,7 +236,7 @@ logger.info(f"Model durumu: {load_status}")
 # Gradio arayüzü
 with gr.Blocks(
     theme=gr.themes.Soft(),
-    title="Teknova Nova AI",
+    title="Teknova Nova AI - ZeroGPU",
     css="""
     .gradio-container {
         max-width: 900px;
@@ -248,7 +263,7 @@ with gr.Blocks(
             Türkiye'nin Özgün Yapay Zeka Modeli
         </p>
         <div style="background: rgba(255,255,255,0.2); padding: 8px 16px; border-radius: 20px; display: inline-block; font-size: 0.9rem;">
-            🧠 7.24B Parametre • 🇹🇷 Türkçe Optimize • ⚡ Hızlı Yanıt
+            🧠 Nova AI • 🇹�� Türkçe Optimize • ⚡ ZeroGPU Hızlı
         </div>
     </div>
     """)
@@ -293,7 +308,7 @@ with gr.Blocks(
     gr.HTML("""
     <div style="text-align: center; padding: 15px; color: #666; font-size: 0.9rem;">
         <p>🌟 <strong>Teknova Nova AI</strong> - Tamamen özgün Türkçe dil modeli</p>
-        <p>🔗 Model: <a href="https://huggingface.co/Teknova/NovaAI" target="_blank">Teknova/NovaAI</a></p>
+        <p>🚀 ZeroGPU teknolojisi ile hızlandırılmış</p>
         <p style="color: #999;">⚡ Teknova Innovation ile güçlendirilmiştir</p>
     </div>
     """)
@@ -302,14 +317,18 @@ with gr.Blocks(
     def user_message(message, history):
         return "", history + [[message, None]]
     
+    @spaces.GPU
     def bot_message(history):
+        """Bot yanıtı oluştur - ZeroGPU destekli"""
         if history and history[-1][1] is None:
             user_msg = history[-1][0]
             bot_response = chat_with_nova(user_msg, history[:-1])
             history[-1][1] = bot_response
         return history
     
+    @spaces.GPU
     def retry_last(history):
+        """Son mesajı yeniden dene - ZeroGPU destekli"""
         if history and history[-1][1] is not None:
             user_msg = history[-1][0]
             bot_response = chat_with_nova(user_msg, history[:-1])