flamedell commited on
Commit
e8e9379
·
verified ·
1 Parent(s): 8370ec2

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -6
app.py CHANGED
@@ -2,21 +2,25 @@ import gradio as gr
2
  import torch
3
  from transformers import AutoTokenizer, AutoModelForCausalLM
4
 
5
- # Kullanacağımız modelin adı\ nMODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
 
6
 
 
7
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
8
  # Tokenizer ve modeli yükle, cihaza taşı
9
  tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
10
- model = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
11
 
12
- # Sistem mesajı ile asistanın tonunu belirle\ nSYSTEM_PROMPT = (
 
13
  "Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
14
- "Gereksiz tekrar yapmadan, kısa ve net şekilde cevap ver."
15
  )
16
 
17
  def respond(user_input: str) -> str:
18
  # Prompt’u oluştur: sistem mesajı + kullanıcı girişi
19
- prompt = SYSTEM_PROMPT + f"Kullanıcı: {user_input}\nAsistan:"
20
  inputs = tokenizer(prompt, return_tensors="pt").to(device)
21
 
22
  # Yanıt üretimi: tekrarı azalt ve beam search kullan
@@ -48,4 +52,4 @@ demo = gr.Interface(
48
  )
49
 
50
  if __name__ == "__main__":
51
- demo.launch()
 
2
  import torch
3
  from transformers import AutoTokenizer, AutoModelForCausalLM
4
 
5
+ # Kullanacağımız modelin adı
6
+ MODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
7
 
8
+ # Cihaz ayarı: GPU varsa cuda, yoksa CPU
9
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
10
+
11
  # Tokenizer ve modeli yükle, cihaza taşı
12
  tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
13
+ model = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
14
 
15
+ # Sistem mesajı ile asistanın tonunu belirle
16
+ SYSTEM_PROMPT = (
17
  "Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
18
+ "Gereksiz tekrar yapmadan, kısa ve net şekilde cevap ver."
19
  )
20
 
21
  def respond(user_input: str) -> str:
22
  # Prompt’u oluştur: sistem mesajı + kullanıcı girişi
23
+ prompt = SYSTEM_PROMPT + f"\nKullanıcı: {user_input}\nAsistan:"
24
  inputs = tokenizer(prompt, return_tensors="pt").to(device)
25
 
26
  # Yanıt üretimi: tekrarı azalt ve beam search kullan
 
52
  )
53
 
54
  if __name__ == "__main__":
55
+ demo.launch()