Update app.py

app.py

@@ -2,42 +2,43 @@ import gradio as gr
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
-# Kullanacağımız modelin adı
-MODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
+# Kullanacağımız modelin adı\ nMODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
 
-# Cihaz ayarı: GPU varsa cuda, yoksa CPU
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-
 # Tokenizer ve modeli yükle, cihaza taşı
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-model     = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
-
-def respond(prompt: str) -> str:
-    """
-    Kullanıcıdan gelen prompt'u alır, modele gönderir ve yanıtı döner.
-    Üretilen token sayısını düşürerek ve tekrarları engelleyerek hız ve kaliteyi dengeler.
-    """
-    # Girdi metnini tokenize et ve cihaza gönder
+model = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
+
+# Sistem mesajı ile asistanın tonunu belirle\ nSYSTEM_PROMPT = (
+    "Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
+    "Kullanıcının sorusuna kısaca ve anlaşılır şekilde cevap ver.\n\n"
+)
+
+def respond(user_input: str) -> str:
+    # Prompt’u oluştur: sistem mesajı + kullanıcı girişi
+    prompt = SYSTEM_PROMPT + f"Kullanıcı: {user_input}\nAsistan:"
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
 
-    # Yanıt üretimi
+    # Yanıt üretimi: tekrarı azalt ve beam search kullan
     outputs = model.generate(
         **inputs,
-        max_new_tokens=30,        # Maksimum 30 token üret
-        no_repeat_ngram_size=2,   # 2-gram tekrarını engelle
-        num_beams=2,              # 2 ışınlı beam search
-        early_stopping=True,      # EOS token'ı geldiğinde dur
-        temperature=0.8,          # Hafif rastgelelik
-        top_p=0.9                 # Nucleus sampling
+        max_new_tokens=40,           # Üretilen token sayısı
+        no_repeat_ngram_size=3,      # 3-gram tekrarını engelle
+        repetition_penalty=1.2,      # Tekrar cezalandırma
+        num_beams=3,                 # Beam search ışın sayısı
+        early_stopping=True,         # EOS token’ında dur
+        temperature=0.7,             # Daha düşük sıcaklık
+        top_p=0.9                    # Nucleus sampling
     )
 
-    # Token'ları metne çevir ve döndür
-    return tokenizer.decode(outputs[0], skip_special_tokens=True)
+    # Tam metni çözüp asistan kısmını ayıkla
+    full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return full_text.split("Asistan:")[-1].strip()
 
 # Gradio arayüzü tanımı
 demo = gr.Interface(
     fn=respond,
-    inputs=gr.Textbox(lines=4, placeholder="Sorunuzu buraya yazın..."),
+    inputs=gr.Textbox(lines=3, placeholder="Sorunuzu buraya yazın..."),
     outputs="text",
     title="AR Güneş Sistemi Asistanı",
     description="AR projeniz için Türkçe sohbet asistanı. Bir cümle yazıp Gönder’e tıklayın.",