Upload gradio_app.py with huggingface_hub

gradio_app.py

@@ -3,6 +3,8 @@ import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import os
 import gc
+import asyncio
+from pathlib import Path
 
 # Spaces import - sadece Hugging Face Spaces'te mevcut
 try:
@@ -16,31 +18,57 @@ except ImportError:
     spaces = type('spaces', (), {'GPU': spaces_gpu})()
 
 # ================== Nova AI Modeli ==================
-# Sabit model: nova-ai-model Local dosyalardan yüklenir
 
 # Global değişkenler
 model = None
 tokenizer = None
 model_loaded = False
 
-def load_model():
-    """Teknova Nova AI modelini yükle - Memory optimizasyonu ile."""
+def check_model_files():
+    """Model dosyalarının varlığını kontrol et"""
+    model_path = "nova-ai-model"
+    required_files = [
+        "config.json",
+        "tokenizer_config.json", 
+        "generation_config.json"
+    ]
+    
+    if not os.path.exists(model_path):
+        return f"❌ Model dizini bulunamadı: {model_path}"
+    
+    missing_files = []
+    for file in required_files:
+        if not os.path.exists(os.path.join(model_path, file)):
+            missing_files.append(file)
+    
+    if missing_files:
+        return f"❌ Eksik dosyalar: {', '.join(missing_files)}"
+    
+    # Model dosyalarını kontrol et
+    model_files = [f for f in os.listdir(model_path) if f.endswith(('.bin', '.safetensors'))]
+    if not model_files:
+        return "❌ Model dosyaları (.bin/.safetensors) bulunamadı"
+    
+    return f"✅ Model dosyaları hazır: {len(model_files)} dosya bulundu"
+
+def load_model_simple():
+    """Basit model yükleme - UI'yi bloklamaz"""
     global model, tokenizer, model_loaded
     
     if model_loaded:
         return "✅ Teknova Nova AI zaten yüklü!"
     
+    # Önce dosyaları kontrol et
+    file_check = check_model_files()
+    if "❌" in file_check:
+        return file_check
+    
     model_path = "nova-ai-model"
-    print(f"🚀 Nova AI modeli yükleniyor... ({model_path})")
     
     try:
-        # Memory temizle
-        if torch.cuda.is_available():
-            torch.cuda.empty_cache()
-        gc.collect()
-        
-        # Tokenizer yükle
         print("📝 Tokenizer yükleniyor...")
+        
+        # Önce sadece tokenizer yükle (hızlı)
         tokenizer = AutoTokenizer.from_pretrained(
             model_path,
             trust_remote_code=True,
@@ -48,95 +76,98 @@ def load_model():
             local_files_only=True
         )
         
-        # Pad token ayarla
         if tokenizer.pad_token is None:
             tokenizer.pad_token = tokenizer.eos_token
         
-        print("🧠 Model yükleniyor...")
-        # Model yükle - Memory optimizasyonu
+        return "✅ Tokenizer yüklendi! Model yüklemek için 'Model Hazırla' butonuna basın."
+        
+    except Exception as e:
+        return f"❌ Tokenizer yükleme hatası: {str(e)}"
+
+@spaces.GPU
+def load_full_model():
+    """Tam model yükleme - ZeroGPU ile"""
+    global model, tokenizer, model_loaded
+    
+    if model_loaded:
+        return "✅ Teknova Nova AI zaten yüklü!"
+    
+    if tokenizer is None:
+        return "❌ Önce tokenizer yüklenmelidir. 'Model Yükle' butonuna basın."
+    
+    model_path = "nova-ai-model"
+    
+    try:
+        print("🧠 Model yükleniyor... (Bu işlem 1-2 dakika sürebilir)")
+        
+        # Memory temizle
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+        gc.collect()
+        
+        # Model yükle
         model = AutoModelForCausalLM.from_pretrained(
             model_path,
-            torch_dtype=torch.float16,
+            torch_dtype=torch.bfloat16,  # bfloat16 daha hızlı
             trust_remote_code=True,
             device_map="auto",
             low_cpu_mem_usage=True,
-            local_files_only=True,
-            load_in_8bit=True  # 8-bit quantization için
+            local_files_only=True
         )
         
         model_loaded = True
-        success_msg = f"✅ Teknova Nova AI yüklendi! (Memory Optimized)"
-        print(success_msg)
-        return success_msg
+        return "✅ Teknova Nova AI tam olarak yüklendi! Artık sohbet edebilirsiniz."
         
     except Exception as e:
-        error_msg = f"❌ Nova AI model yükleme hatası: {str(e)}"
-        print(error_msg)
-        return error_msg
+        return f"❌ Model yükleme hatası: {str(e)}"
 
 @spaces.GPU
 def chat_with_nova(message, history):
-    """Teknova Nova AI ile sohbet yanıtı üret - ZeroGPU destekli"""
+    """Nova AI ile sohbet"""
     global model, tokenizer, model_loaded
     
-    # Model yüklü değilse yükle
-    if not model_loaded:
-        load_status = load_model()
-        if "❌" in load_status:
-            return history + [[message, f"Model yükleme hatası: {load_status}"]]
-    
-    if model is None or tokenizer is None:
-        return history + [[message, "❌ Teknova Nova AI henüz yüklenmedi. Lütfen model yüklenmesini bekleyin..."]]
+    if not model_loaded or model is None:
+        return history + [[message, "❌ Model henüz yüklenmedi. Lütfen önce 'Model Hazırla' butonuna basın."]]
     
     if not message.strip():
-        return history + [[message, "❓ Nova AI'ya mesajınızı yazın."]]
+        return history + [[message, "❓ Lütfen bir mesaj yazın."]]
     
     try:
-        # Memory temizle
-        if torch.cuda.is_available():
-            torch.cuda.empty_cache()
-        
-        # Sohbet geçmişini Nova AI formatında hazırla
+        # Conversation history oluştur
         conversation = ""
         if history:
-            for user_msg, bot_msg in history:
+            for user_msg, bot_msg in history[-3:]:  # Son 3 mesajı al
                 if user_msg and bot_msg:
                     conversation += f"Kullanıcı: {user_msg}\nNova AI: {bot_msg}\n"
         
-        # Yeni mesajı ekle
         conversation += f"Kullanıcı: {message}\nNova AI:"
         
-        # Nova AI Tokenizer ile işle
+        # Tokenize
         inputs = tokenizer(
-            conversation, 
-            return_tensors="pt", 
-            truncation=True, 
-            max_length=1024,
+            conversation,
+            return_tensors="pt",
+            truncation=True,
+            max_length=512,  # Daha kısa context
             padding=True
         )
         
-        # GPU'ya taşı
         if torch.cuda.is_available():
             inputs = {k: v.to(model.device) for k, v in inputs.items()}
         
-        # Nova AI yanıt üret - Memory optimizasyonu
+        # Generate
         with torch.no_grad():
             outputs = model.generate(
                 **inputs,
-                max_new_tokens=256,
+                max_new_tokens=128,  # Daha kısa yanıtlar
                 temperature=0.7,
                 top_p=0.9,
                 do_sample=True,
                 pad_token_id=tokenizer.pad_token_id,
                 eos_token_id=tokenizer.eos_token_id,
-                repetition_penalty=1.1,
-                no_repeat_ngram_size=2
+                repetition_penalty=1.1
             )
         
-        # Nova AI yanıtını decode et
         response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        
-        # Sadece Nova AI'ın yeni yanıtını al
         new_response = response[len(conversation):].strip()
         
         # Memory temizle
@@ -147,11 +178,10 @@ def chat_with_nova(message, history):
         return history + [[message, new_response]]
         
     except Exception as e:
-        return history + [[message, f"❌ Nova AI yanıt üretirken hata: {str(e)}"]]
+        return history + [[message, f"❌ Yanıt üretme hatası: {str(e)}"]]
 
 # ================== Gradio Arayüzü ==================
 
-# Gradio arayüzü oluştur
 demo = gr.Blocks(
     theme=gr.themes.Soft(),
     title="Nova AI Chat - Teknova"
@@ -169,24 +199,25 @@ with demo:
         <div style="background: linear-gradient(135deg, #ff6b6b, #4ecdc4); color: white; padding: 8px 16px; border-radius: 20px; display: inline-block; font-size: 0.9rem;">
             ⚡ Özgün Nova AI Teknolojisi • 🔧 Teknova Innovation • 🚀 ZeroGPU Destekli
         </div>
-        <p style="font-size: 0.9rem; color: #888; margin-top: 10px;">
-            🌟 Bu tamamen özgün bir Teknova Nova AI modelidir - Token gerektirmez
-        </p>
     </div>
     """)
     
-    # ================== Model Yükleme Butonu ==================
+    # Model kontrolleri
     with gr.Row():
-        load_btn = gr.Button("🔄 Model Yükle", variant="secondary")
-        status_display = gr.Textbox(
-            value="Model henüz yüklenmedi. Yüklemek için butona basın.",
-            label="Model Durumu",
-            interactive=False
-        )
+        check_btn = gr.Button("📁 Dosyaları Kontrol Et", variant="secondary")
+        load_tokenizer_btn = gr.Button("🔄 Model Yükle", variant="secondary")  
+        load_model_btn = gr.Button("🚀 Model Hazırla", variant="primary")
     
-    # Chat Interface
+    status_display = gr.Textbox(
+        value="Başlamak için 'Dosyaları Kontrol Et' butonuna basın.",
+        label="Model Durumu",
+        interactive=False,
+        lines=2
+    )
+    
+    # Chat interface
     chatbot = gr.Chatbot(
-        height=500,
+        height=400,
         label="Nova AI Sohbet"
     )
     
@@ -196,22 +227,32 @@ with demo:
     )
     
     with gr.Row():
-        submit_btn = gr.Button("🚀 Gönder", variant="primary")
+        submit_btn = gr.Button("💬 Gönder", variant="primary")
         clear_btn = gr.Button("🗑️ Temizle")
-        
+    
     gr.HTML("""
     <div style="text-align: center; padding: 10px; color: #666;">
-        <small>💡 Teknova Nova AI ilk yüklenirken biraz bekleyebilir. Memory optimizasyonu ile çalışır.</small>
+        <small>💡 <strong>Adımlar:</strong> 1️⃣ Dosyaları kontrol et → 2️⃣ Model yükle → 3️⃣ Model hazırla → 4️⃣ Sohbet et</small>
         <br>
         <small style="color: #ff6b6b;">🚀 <strong>Teknova Nova AI</strong> - Tamamen özgün model teknolojisi</small>
-        <br>
-        <small style="color: #4ecdc4;">🌟 Hugging Face ZeroGPU ile hızlandırılmış!</small>
     </div>
     """)
     
-    # Event handlers - Basitleştirilmiş
-    load_btn.click(
-        fn=load_model,
+    # Event handlers
+    check_btn.click(
+        fn=check_model_files,
+        inputs=None,
+        outputs=status_display
+    )
+    
+    load_tokenizer_btn.click(
+        fn=load_model_simple,
+        inputs=None,
+        outputs=status_display
+    )
+    
+    load_model_btn.click(
+        fn=load_full_model,
         inputs=None,
         outputs=status_display
     )