Update app.py

app.py

@@ -1,28 +1,47 @@
 import gradio as gr
+import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
 # Kullanacağımız modelin adı
 MODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
 
-# Tokenizer ve modeli yükle
+# Cihaz ayarı: GPU varsa cuda, yoksa CPU
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+
+# Tokenizer ve modeli yükle, cihaza taşı
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-model     = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
+model     = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
 
 def respond(prompt: str) -> str:
-    # Girdi metnini tokenize et
-    inputs = tokenizer(prompt, return_tensors="pt")
-    # Yanıt üret
-    outputs = model.generate(**inputs, max_new_tokens=150)
-    # Token’ları düz metne çevir ve döndür
+    """
+    Kullanıcıdan gelen prompt'u alır, modele gönderir ve yanıtı döner.
+    Üretilen token sayısını düşürerek ve tekrarları engelleyerek hız ve kaliteyi dengeler.
+    """
+    # Girdi metnini tokenize et ve cihaza gönder
+    inputs = tokenizer(prompt, return_tensors="pt").to(device)
+
+    # Yanıt üretimi
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=30,        # Maksimum 30 token üret
+        no_repeat_ngram_size=2,   # 2-gram tekrarını engelle
+        num_beams=2,              # 2 ışınlı beam search
+        early_stopping=True,      # EOS token'ı geldiğinde dur
+        temperature=0.8,          # Hafif rastgelelik
+        top_p=0.9                 # Nucleus sampling
+    )
+
+    # Token'ları metne çevir ve döndür
     return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
-# Gradio arayüzü
+# Gradio arayüzü tanımı
 demo = gr.Interface(
     fn=respond,
     inputs=gr.Textbox(lines=4, placeholder="Sorunuzu buraya yazın..."),
     outputs="text",
     title="AR Güneş Sistemi Asistanı",
-    description="AR projeniz için Türkçe sohbet asistanı. Bir cümle yazıp Gönder’e tıklayın."
+    description="AR projeniz için Türkçe sohbet asistanı. Bir cümle yazıp Gönder’e tıklayın.",
+    allow_flagging="never"
 )
 
 if __name__ == "__main__":