Update app.py

app.py

@@ -2,20 +2,16 @@ import gradio as gr
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
-# Kullanacağımız modelin adı
-MODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
+# Kullanacağımız modelin adı\ nMODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
 
-# Cihaz ayarı: GPU varsa cuda, yoksa CPU
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-
 # Tokenizer ve modeli yükle, cihaza taşı
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-model     = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
+model = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
 
-# Sistem mesajı ile asistanın tonunu belirle
-SYSTEM_PROMPT = (
+# Sistem mesajı ile asistanın tonunu belirle\ nSYSTEM_PROMPT = (
     "Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
-    "Kullanıcının sorusuna kısaca ve anlaşılır şekilde cevap ver.\n\n"
+    "Gereksiz tekrar yapmadan, kısa ve net şekilde cevap ver."  
 )
 
 def respond(user_input: str) -> str:
@@ -26,16 +22,18 @@ def respond(user_input: str) -> str:
     # Yanıt üretimi: tekrarı azalt ve beam search kullan
     outputs = model.generate(
         **inputs,
-        max_new_tokens=40,           # Üretilen token sayısı
-        no_repeat_ngram_size=3,      # 3-gram tekrarını engelle
-        repetition_penalty=1.2,      # Tekrar cezalandırma
+        max_new_tokens=30,           # Maksimum 30 token üret
+        no_repeat_ngram_size=4,      # 4-gram tekrarını engelle
+        repetition_penalty=1.5,      # Tekrar cezalandırma gücünü artır
         num_beams=3,                 # Beam search ışın sayısı
-        early_stopping=True,         # EOS token’ında dur
-        temperature=0.7,             # Daha düşük sıcaklık
-        top_p=0.9                    # Nucleus sampling
+        early_stopping=True,         # EOS token’ı geldiğinde dur
+        temperature=0.6,             # Daha düşük sıcaklık
+        top_k=50,                    # Top-k sampling
+        top_p=0.85,                  # Nucleus sampling
+        pad_token_id=tokenizer.eos_token_id
     )
 
-    # Tam metni çözüp asistan kısmını ayıkla
+    # Tam metni çözüp asistan kısmını ayıkla ve döndür
     full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
     return full_text.split("Asistan:")[-1].strip()
 
@@ -45,9 +43,9 @@ demo = gr.Interface(
     inputs=gr.Textbox(lines=3, placeholder="Sorunuzu buraya yazın..."),
     outputs="text",
     title="AR Güneş Sistemi Asistanı",
-    description="AR projeniz için Türkçe sohbet asistanı. Bir cümle yazıp Gönder’e tıklayın.",
+    description="AR projeniz için Türkçe sohbet asistanı.",
     allow_flagging="never"
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()