app.py

import gradio as gr
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# Kullanacağımız modelin adı
MODEL_NAME = "gorkemgoknar/gpt2-small-turkish"

# Cihaz ayarı: GPU varsa cuda, yoksa CPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# Tokenizer ve modeli yükle, cihaza taşı
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model     = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)

# Sistem mesajı ile asistanın tonunu belirle
SYSTEM_PROMPT = (
    "Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
    "Gereksiz tekrar yapmadan, kısa ve net şekilde cevap ver."
)

def respond(user_input: str) -> str:
    # Prompt’u oluştur: sistem mesajı + kullanıcı girişi
    prompt = SYSTEM_PROMPT + f"\nKullanıcı: {user_input}\nAsistan:"
    inputs = tokenizer(prompt, return_tensors="pt").to(device)

    # Yanıt üretimi: tekrarı azalt ve beam search kullan
    outputs = model.generate(
        **inputs,
        max_new_tokens=30,           # Maksimum 30 token üret
        no_repeat_ngram_size=4,      # 4-gram tekrarını engelle
        repetition_penalty=1.5,      # Tekrar cezalandırma gücünü artır
        num_beams=3,                 # Beam search ışın sayısı
        early_stopping=True,         # EOS token’ı geldiğinde dur
        temperature=0.6,             # Daha düşük sıcaklık
        top_k=50,                    # Top-k sampling
        top_p=0.85,                  # Nucleus sampling
        pad_token_id=tokenizer.eos_token_id
    )

    # Tam metni çözüp asistan kısmını ayıkla ve döndür
    full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return full_text.split("Asistan:")[-1].strip()

# Gradio arayüzü tanımı
demo = gr.Interface(
    fn=respond,
    inputs=gr.Textbox(lines=3, placeholder="Sorunuzu buraya yazın..."),
    outputs="text",
    title="AR Güneş Sistemi Asistanı",
    description="AR projeniz için Türkçe sohbet asistanı.",
    allow_flagging="never"
)

if __name__ == "__main__":
    demo.launch()