Upload gradio_app.py with huggingface_hub

gradio_app.py

@@ -1,219 +1,257 @@
-import gradio as gr
-import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer
-import os
-
-# Spaces import - sadece Hugging Face Spaces'te mevcut
-try:
-    import spaces
-    HAS_SPACES = True
-except ImportError:
-    HAS_SPACES = False
-    # Spaces decorator'ı için dummy fonksiyon
-    def spaces_gpu(func):
-        return func
-    spaces = type('spaces', (), {'GPU': spaces_gpu})()
-
-# ================== Nova AI Modeli ==================
-# Sabit model: veteroner/NovaAI Hub'dan yüklenir
-
-# Global değişkenler
-model = None
-tokenizer = None
-
-@spaces.GPU
-def load_model():
-    """Teknova Nova AI modelini yükle - ZeroGPU destekli."""
-    global model, tokenizer
-    
-    model_path = "nova-ai-model"
-    print(f"🚀 Nova AI modeli yükleniyor... ({model_path})")
-    
-    try:
-        # Tokenizer yükle
-        tokenizer = AutoTokenizer.from_pretrained(
-            model_path,
-            trust_remote_code=True,
-            use_fast=True
-        )
-        
-        # Pad token ayarla
-        if tokenizer.pad_token is None:
-            tokenizer.pad_token = tokenizer.eos_token
-        
-        # Model yükle - ZeroGPU optimizasyonu
-        model = AutoModelForCausalLM.from_pretrained(
-            model_path,
-            torch_dtype=torch.float16,
-            trust_remote_code=True,
-            device_map="auto",
-            low_cpu_mem_usage=True
-        )
-        
-        success_msg = f"✅ Teknova Nova AI yüklendi! (Local + ZeroGPU)"
-        print(success_msg)
-        return success_msg
-        
-    except Exception as e:
-        error_msg = f"❌ Nova AI model yükleme hatası: {str(e)}"
-        print(error_msg)
-        return error_msg
-
-@spaces.GPU
-def chat_response(message, history):
-    """Teknova Nova AI ile sohbet yanıtı üret - ZeroGPU destekli"""
-    global model, tokenizer
-    
-    if model is None or tokenizer is None:
-        return "❌ Teknova Nova AI henüz yüklenmedi. Lütfen model yüklenmesini bekleyin..."
-    
-    if not message.strip():
-        return "❓ Nova AI'ya mesajınızı yazın."
-    
-    try:
-        # Sohbet geçmişini Nova AI formatında hazırla
-        conversation = ""
-        for user_msg, bot_msg in history:
-            conversation += f"Kullanıcı: {user_msg}\nNova AI: {bot_msg}\n"
-        
-        # Yeni mesajı ekle
-        conversation += f"Kullanıcı: {message}\nNova AI:"
-        
-        # Nova AI Tokenizer ile işle
-        inputs = tokenizer(
-            conversation, 
-            return_tensors="pt", 
-            truncation=True, 
-            max_length=2048,
-            padding=True
-        )
-        
-        # GPU'ya taşı
-        if torch.cuda.is_available():
-            inputs = {k: v.to(model.device) for k, v in inputs.items()}
-        
-        # Nova AI yanıt üret - ZeroGPU optimizasyonu
-        with torch.no_grad():
-            outputs = model.generate(
-                **inputs,
-                max_new_tokens=512,
-                temperature=0.7,
-                top_p=0.9,
-                do_sample=True,
-                pad_token_id=tokenizer.pad_token_id,
-                eos_token_id=tokenizer.eos_token_id,
-                repetition_penalty=1.1
-            )
-        
-        # Nova AI yanıtını decode et
-        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        
-        # Sadece Nova AI'ın yeni yanıtını al
-        new_response = response[len(conversation):].strip()
-        
-        return new_response
-        
-    except Exception as e:
-        return f"❌ Nova AI yanıt üretirken hata: {str(e)}"
-
-# Başlangıçta modeli yükle
-initial_status = load_model()
-
-# Gradio arayüzü oluştur
-with gr.Blocks(
-    theme=gr.themes.Soft(),
-    title="Nova AI Chat - Teknova",
-    css="""
-    .gradio-container {
-        max-width: 800px;
-        margin: 0 auto;
-    }
-    .chat-message {
-        border-radius: 10px;
-        padding: 10px;
-        margin: 5px 0;
-    }
-    """
-) as demo:
-    
-    gr.HTML("""
-    <div style="text-align: center; padding: 20px;">
-        <h1 style="background: linear-gradient(135deg, #ff6b6b, #4ecdc4); -webkit-background-clip: text; -webkit-text-fill-color: transparent; font-size: 2.5rem; font-weight: bold;">
-            🚀 Teknova Nova AI
-        </h1>
-        <p style="font-size: 1.2rem; color: #666; margin: 10px 0;">
-            <strong>Teknova</strong> tarafından geliştirilen <strong>özgün</strong> yapay zeka modeli
-        </p>
-        <div style="background: linear-gradient(135deg, #ff6b6b, #4ecdc4); color: white; padding: 8px 16px; border-radius: 20px; display: inline-block; font-size: 0.9rem;">
-            ⚡ Özgün Nova AI Teknolojisi • �� Teknova Innovation • 🚀 ZeroGPU Destekli
-        </div>
-        <p style="font-size: 0.9rem; color: #888; margin-top: 10px;">
-            🌟 Bu tamamen özgün bir Teknova Nova AI modelidir - Token gerektirmez
-        </p>
-    </div>
-    """)
-    
-    # ================== Model Durumu ==================
-    with gr.Row():
-        statusbox = gr.Textbox(
-            value=initial_status,
-            label="Model Durumu",
-            interactive=False
-        )
-    
-    chatbot = gr.Chatbot(
-        height=500,
-        show_label=False,
-        show_share_button=False,
-        show_copy_button=True,
-        avatar_images=[
-            None,  # User avatar
-            "🤖"   # Bot avatar
-        ],
-        type="messages"
-    )
-    
-    with gr.Row():
-        msg = gr.Textbox(
-            placeholder="Nova AI'ya mesajınızı yazın...",
-            show_label=False,
-            scale=4
-        )
-        submit = gr.Button("🚀 Gönder", scale=1, variant="primary")
-    
-    with gr.Row():
-        clear = gr.Button("🗑️ Temizle", scale=1)
-        
-    gr.HTML("""
-    <div style="text-align: center; padding: 10px; color: #666;">
-        <small>💡 Teknova Nova AI ilk yüklenirken biraz bekleyebilir. Özgün AI teknolojisi ile güçlendirilmiştir.</small>
-        <br>
-        <small style="color: #ff6b6b;">🚀 <strong>Teknova Nova AI</strong> - Tamamen özgün model teknolojisi</small>
-        <br>
-        <small style="color: #4ecdc4;">🌟 Hugging Face ZeroGPU ile hızlandırılmış!</small>
-    </div>
-    """)
-    
-    # Event handlers
-    def user_message(message, history):
-        return "", history + [[message, None]]
-    
-    def bot_message(history):
-        user_message = history[-1][0]
-        bot_response = chat_response(user_message, history[:-1])
-        history[-1][1] = bot_response
-        return history
-    
-    msg.submit(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
-        bot_message, chatbot, chatbot
-    )
-    submit.click(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
-        bot_message, chatbot, chatbot
-    )
-    clear.click(lambda: None, None, chatbot, queue=False)
-
-if __name__ == "__main__":
-    demo.launch(
-        server_name="0.0.0.0",
-        share=True  # port otomatik bulunur, 0.0.0.0 + ilk boş port
+import gradio as gr
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import os
+import gc
+
+# Spaces import - sadece Hugging Face Spaces'te mevcut
+try:
+    import spaces
+    HAS_SPACES = True
+except ImportError:
+    HAS_SPACES = False
+    # Spaces decorator'ı için dummy fonksiyon
+    def spaces_gpu(func):
+        return func
+    spaces = type('spaces', (), {'GPU': spaces_gpu})()
+
+# ================== Nova AI Modeli ==================
+# Sabit model: nova-ai-model Local dosyalardan yüklenir
+
+# Global değişkenler
+model = None
+tokenizer = None
+model_loaded = False
+
+def load_model():
+    """Teknova Nova AI modelini yükle - Memory optimizasyonu ile."""
+    global model, tokenizer, model_loaded
+    
+    if model_loaded:
+        return "✅ Teknova Nova AI zaten yüklü!"
+    
+    model_path = "nova-ai-model"
+    print(f"🚀 Nova AI modeli yükleniyor... ({model_path})")
+    
+    try:
+        # Memory temizle
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+        gc.collect()
+        
+        # Tokenizer yükle
+        print("📝 Tokenizer yükleniyor...")
+        tokenizer = AutoTokenizer.from_pretrained(
+            model_path,
+            trust_remote_code=True,
+            use_fast=True,
+            local_files_only=True
+        )
+        
+        # Pad token ayarla
+        if tokenizer.pad_token is None:
+            tokenizer.pad_token = tokenizer.eos_token
+        
+        print("🧠 Model yükleniyor...")
+        # Model yükle - Memory optimizasyonu
+        model = AutoModelForCausalLM.from_pretrained(
+            model_path,
+            torch_dtype=torch.float16,
+            trust_remote_code=True,
+            device_map="auto",
+            low_cpu_mem_usage=True,
+            local_files_only=True,
+            load_in_8bit=True  # 8-bit quantization için
+        )
+        
+        model_loaded = True
+        success_msg = f"✅ Teknova Nova AI yüklendi! (Memory Optimized)"
+        print(success_msg)
+        return success_msg
+        
+    except Exception as e:
+        error_msg = f"❌ Nova AI model yükleme hatası: {str(e)}"
+        print(error_msg)
+        return error_msg
+
+@spaces.GPU
+def chat_response(message, history):
+    """Teknova Nova AI ile sohbet yanıtı üret - ZeroGPU destekli"""
+    global model, tokenizer, model_loaded
+    
+    # Model yüklü değilse yükle
+    if not model_loaded:
+        load_status = load_model()
+        if "❌" in load_status:
+            return f"Model yükleme hatası: {load_status}"
+    
+    if model is None or tokenizer is None:
+        return "❌ Teknova Nova AI henüz yüklenmedi. Lütfen model yüklenmesini bekleyin..."
+    
+    if not message.strip():
+        return "❓ Nova AI'ya mesajınızı yazın."
+    
+    try:
+        # Memory temizle
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+        
+        # Sohbet geçmişini Nova AI formatında hazırla
+        conversation = ""
+        for user_msg, bot_msg in history:
+            conversation += f"Kullanıcı: {user_msg}\nNova AI: {bot_msg}\n"
+        
+        # Yeni mesajı ekle
+        conversation += f"Kullanıcı: {message}\nNova AI:"
+        
+        # Nova AI Tokenizer ile işle
+        inputs = tokenizer(
+            conversation, 
+            return_tensors="pt", 
+            truncation=True, 
+            max_length=1024,  # Kısaltıldı
+            padding=True
+        )
+        
+        # GPU'ya taşı
+        if torch.cuda.is_available():
+            inputs = {k: v.to(model.device) for k, v in inputs.items()}
+        
+        # Nova AI yanıt üret - Memory optimizasyonu
+        with torch.no_grad():
+            outputs = model.generate(
+                **inputs,
+                max_new_tokens=256,  # Kısaltıldı
+                temperature=0.7,
+                top_p=0.9,
+                do_sample=True,
+                pad_token_id=tokenizer.pad_token_id,
+                eos_token_id=tokenizer.eos_token_id,
+                repetition_penalty=1.1,
+                no_repeat_ngram_size=2
+            )
+        
+        # Nova AI yanıtını decode et
+        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        
+        # Sadece Nova AI'ın yeni yanıtını al
+        new_response = response[len(conversation):].strip()
+        
+        # Memory temizle
+        del outputs
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+        
+        return new_response
+        
+    except Exception as e:
+        return f"❌ Nova AI yanıt üretirken hata: {str(e)}"
+
+# ================== Gradio Arayüzü ==================
+
+# Gradio arayüzü oluştur
+with gr.Blocks(
+    theme=gr.themes.Soft(),
+    title="Nova AI Chat - Teknova",
+    css="""
+    .gradio-container {
+        max-width: 800px;
+        margin: 0 auto;
+    }
+    .chat-message {
+        border-radius: 10px;
+        padding: 10px;
+        margin: 5px 0;
+    }
+    """
+) as demo:
+    
+    gr.HTML("""
+    <div style="text-align: center; padding: 20px;">
+        <h1 style="background: linear-gradient(135deg, #ff6b6b, #4ecdc4); -webkit-background-clip: text; -webkit-text-fill-color: transparent; font-size: 2.5rem; font-weight: bold;">
+            🚀 Teknova Nova AI
+        </h1>
+        <p style="font-size: 1.2rem; color: #666; margin: 10px 0;">
+            <strong>Teknova</strong> tarafından geliştirilen <strong>özgün</strong> yapay zeka modeli
+        </p>
+        <div style="background: linear-gradient(135deg, #ff6b6b, #4ecdc4); color: white; padding: 8px 16px; border-radius: 20px; display: inline-block; font-size: 0.9rem;">
+            ⚡ Özgün Nova AI Teknolojisi • 🔧 Teknova Innovation • 🚀 ZeroGPU Destekli
+        </div>
+        <p style="font-size: 0.9rem; color: #888; margin-top: 10px;">
+            🌟 Bu tamamen özgün bir Teknova Nova AI modelidir - Token gerektirmez
+        </p>
+    </div>
+    """)
+    
+    # ================== Model Yükleme Butonu ==================
+    with gr.Row():
+        load_btn = gr.Button("🔄 Model Yükle", variant="secondary")
+        status_display = gr.Textbox(
+            value="Model henüz yüklenmedi. Yüklemek için butona basın.",
+            label="Model Durumu",
+            interactive=False
+        )
+    
+    chatbot = gr.Chatbot(
+        height=500,
+        show_label=False,
+        show_share_button=False,
+        show_copy_button=True,
+        avatar_images=[
+            None,  # User avatar
+            "🤖"   # Bot avatar
+        ],
+        type="messages"
+    )
+    
+    with gr.Row():
+        msg = gr.Textbox(
+            placeholder="Nova AI'ya mesajınızı yazın...",
+            show_label=False,
+            scale=4
+        )
+        submit = gr.Button("🚀 Gönder", scale=1, variant="primary")
+    
+    with gr.Row():
+        clear = gr.Button("🗑️ Temizle", scale=1)
+        
+    gr.HTML("""
+    <div style="text-align: center; padding: 10px; color: #666;">
+        <small>💡 Teknova Nova AI ilk yüklenirken biraz bekleyebilir. Memory optimizasyonu ile çalışır.</small>
+        <br>
+        <small style="color: #ff6b6b;">🚀 <strong>Teknova Nova AI</strong> - Tamamen özgün model teknolojisi</small>
+        <br>
+        <small style="color: #4ecdc4;">🌟 Hugging Face ZeroGPU ile hızlandırılmış!</small>
+    </div>
+    """)
+    
+    # Event handlers
+    def user_message(message, history):
+        return "", history + [[message, None]]
+    
+    def bot_message(history):
+        user_message = history[-1][0]
+        bot_response = chat_response(user_message, history[:-1])
+        history[-1][1] = bot_response
+        return history
+    
+    def load_model_handler():
+        return load_model()
+    
+    # Event bindings
+    load_btn.click(load_model_handler, outputs=status_display)
+    
+    msg.submit(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
+        bot_message, chatbot, chatbot
+    )
+    submit.click(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
+        bot_message, chatbot, chatbot
+    )
+    clear.click(lambda: None, None, chatbot, queue=False)
+
+if __name__ == "__main__":
+    demo.launch(
+        server_name="0.0.0.0",
+        share=False,
+        show_error=True
     )