Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -2,21 +2,25 @@ import gradio as gr
|
|
| 2 |
import torch
|
| 3 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
| 4 |
|
| 5 |
-
# Kullanacağımız modelin
|
|
|
|
| 6 |
|
|
|
|
| 7 |
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
|
|
|
| 8 |
# Tokenizer ve modeli yükle, cihaza taşı
|
| 9 |
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
|
| 10 |
-
model
|
| 11 |
|
| 12 |
-
# Sistem mesajı ile asistanın tonunu belirle
|
|
|
|
| 13 |
"Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
|
| 14 |
-
"Gereksiz tekrar yapmadan, kısa ve net şekilde cevap ver."
|
| 15 |
)
|
| 16 |
|
| 17 |
def respond(user_input: str) -> str:
|
| 18 |
# Prompt’u oluştur: sistem mesajı + kullanıcı girişi
|
| 19 |
-
prompt = SYSTEM_PROMPT + f"
|
| 20 |
inputs = tokenizer(prompt, return_tensors="pt").to(device)
|
| 21 |
|
| 22 |
# Yanıt üretimi: tekrarı azalt ve beam search kullan
|
|
@@ -48,4 +52,4 @@ demo = gr.Interface(
|
|
| 48 |
)
|
| 49 |
|
| 50 |
if __name__ == "__main__":
|
| 51 |
-
demo.launch()
|
|
|
|
| 2 |
import torch
|
| 3 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
| 4 |
|
| 5 |
+
# Kullanacağımız modelin adı
|
| 6 |
+
MODEL_NAME = "gorkemgoknar/gpt2-small-turkish"
|
| 7 |
|
| 8 |
+
# Cihaz ayarı: GPU varsa cuda, yoksa CPU
|
| 9 |
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
| 10 |
+
|
| 11 |
# Tokenizer ve modeli yükle, cihaza taşı
|
| 12 |
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
|
| 13 |
+
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
|
| 14 |
|
| 15 |
+
# Sistem mesajı ile asistanın tonunu belirle
|
| 16 |
+
SYSTEM_PROMPT = (
|
| 17 |
"Sen Türkçe konuşan, nazik ve açıklayıcı bir yapay zeka asistanısın. "
|
| 18 |
+
"Gereksiz tekrar yapmadan, kısa ve net şekilde cevap ver."
|
| 19 |
)
|
| 20 |
|
| 21 |
def respond(user_input: str) -> str:
|
| 22 |
# Prompt’u oluştur: sistem mesajı + kullanıcı girişi
|
| 23 |
+
prompt = SYSTEM_PROMPT + f"\nKullanıcı: {user_input}\nAsistan:"
|
| 24 |
inputs = tokenizer(prompt, return_tensors="pt").to(device)
|
| 25 |
|
| 26 |
# Yanıt üretimi: tekrarı azalt ve beam search kullan
|
|
|
|
| 52 |
)
|
| 53 |
|
| 54 |
if __name__ == "__main__":
|
| 55 |
+
demo.launch()
|