Update app.py

app.py

@@ -1,54 +1,53 @@
 import torch
 import gradio as gr
+import spaces  # ZeroGPU için gerekli
 from transformers import AutoModelForCausalLM, AutoTokenizer
 from peft import PeftModel
 
-# --- Model ve Tokenizer Yükleme ---
+# --- Model Ayarları ---
 base_model_name = "unsloth/gpt-oss-20b"
 adapter_model_name = "userdotcs/gpt-oss-20b-turkish-correction-adapter"
-device = "cuda" if torch.cuda.is_available() else "cpu"
-print(device)
 
-print("Model yükleniyor...")
+print("Model ve Tokenizer CPU üzerinde hazırlanıyor...")
 tokenizer = AutoTokenizer.from_pretrained(base_model_name)
+
+# ZeroGPU'da bellek yönetimi için torch_dtype=torch.float16 önemli
 base_model = AutoModelForCausalLM.from_pretrained(
     base_model_name,
-    device_map="auto",
-    torch_dtype=torch.float16
+    torch_dtype=torch.float16,
+    device_map="cpu"  # Başlangıçta CPU'da tutuyoruz
 )
+
 model = PeftModel.from_pretrained(base_model, adapter_model_name)
 model.eval()
 
-# --- Düzeltme Fonksiyonu (API Uyumlu) ---
+# --- GPU Fonksiyonu ---
+@spaces.GPU # Maksimum 60 saniyelik GPU izni
 def fix_text(input_text):
     if not input_text or input_text.strip() == "":
         return ""
 
-    # Senin istediğin komut formatı
+    # Modeli GPU'ya taşı (ZeroGPU bunu dekoratör sayesinde yönetir)
+    model.to("cuda")
+
     formatted_prompt = f"Fix typos in the text:\n{input_text}"
-    
-    messages = [
-        {"role": "user", "content": formatted_prompt},
-    ]
+    messages = [{"role": "user", "content": formatted_prompt}]
 
-    # Tokenize
     inputs = tokenizer.apply_chat_template(
         messages,
         add_generation_prompt=True,
         return_tensors="pt",
         return_dict=True,
         reasoning_effort="medium"
-    ).to(device)
+    ).to("cuda")
 
-    # Üretim (Streamer yok, doğrudan çıktı alıyoruz)
     with torch.no_grad():
         outputs = model.generate(
             **inputs,
-            max_new_tokens=2048,
+            max_new_tokens=2048, # ZeroGPU zaman kısıtlı olduğu için çok yüksek tutmamak iyidir
             pad_token_id=tokenizer.eos_token_id
         )
 
-    # Sadece yeni üretilen kısmı decode et (input tokenlarını atla)
     input_length = inputs.input_ids.shape[1]
     response = tokenizer.decode(outputs[0][input_length:], skip_special_tokens=True)
     
@@ -57,9 +56,11 @@ def fix_text(input_text):
 # --- Gradio Arayüzü ---
 demo = gr.Interface(
     fn=fix_text,
-    inputs=gr.Textbox(label="Girdi", placeholder="Metni buraya yazın..."),
-    outputs=gr.Textbox(label="Sonuç"),
-    allow_flagging="never"
+    inputs=gr.Textbox(label="Düzeltilecek Metin", lines=3),
+    outputs=gr.Textbox(label="Düzeltilmiş Sonuç", lines=3),
+    title="ZeroGPU Turkish Correction",
+    description="Metni girin ve modelin düzeltmesini bekleyin."
 )
 
-demo.launch()
+if __name__ == "__main__":
+    demo.launch()