Update app.py
Browse files
app.py
CHANGED
|
@@ -15,15 +15,9 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
| 15 |
device_map="auto",
|
| 16 |
)
|
| 17 |
|
| 18 |
-
def build_prompt(
|
| 19 |
mesajlar = []
|
| 20 |
|
| 21 |
-
if sistem_mesaji:
|
| 22 |
-
mesajlar.append({
|
| 23 |
-
"role": "system",
|
| 24 |
-
"content": sistem_mesaji
|
| 25 |
-
})
|
| 26 |
-
|
| 27 |
mesajlar.extend(gecmis)
|
| 28 |
|
| 29 |
mesajlar.append({
|
|
@@ -41,12 +35,11 @@ def build_prompt(sistem_mesaji, gecmis, kullanici_mesaji):
|
|
| 41 |
def respond(
|
| 42 |
mesaj,
|
| 43 |
gecmis: list[dict[str, str]],
|
| 44 |
-
sistem_mesaji,
|
| 45 |
max_tokens,
|
| 46 |
temperature,
|
| 47 |
top_p,
|
| 48 |
):
|
| 49 |
-
prompt = build_prompt(
|
| 50 |
|
| 51 |
girisler = tokenizer(prompt, return_tensors="pt").to(model.device)
|
| 52 |
|
|
@@ -78,10 +71,6 @@ chatbot = gr.ChatInterface(
|
|
| 78 |
respond,
|
| 79 |
type="messages",
|
| 80 |
additional_inputs=[
|
| 81 |
-
gr.Textbox(
|
| 82 |
-
value="Sen yardımsever, nazik ve açık şekilde cevap veren bir Türkçe yapay zekâ asistanısın.",
|
| 83 |
-
label="Sistem Mesajı",
|
| 84 |
-
),
|
| 85 |
gr.Slider(1, 4096, value=512, step=1, label="Maksimum Yeni Token"),
|
| 86 |
gr.Slider(0.1, 2.0, value=0.7, step=0.1, label="Sıcaklık (Temperature)"),
|
| 87 |
gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="Top-p"),
|
|
|
|
| 15 |
device_map="auto",
|
| 16 |
)
|
| 17 |
|
| 18 |
+
def build_prompt(gecmis, kullanici_mesaji):
|
| 19 |
mesajlar = []
|
| 20 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 21 |
mesajlar.extend(gecmis)
|
| 22 |
|
| 23 |
mesajlar.append({
|
|
|
|
| 35 |
def respond(
|
| 36 |
mesaj,
|
| 37 |
gecmis: list[dict[str, str]],
|
|
|
|
| 38 |
max_tokens,
|
| 39 |
temperature,
|
| 40 |
top_p,
|
| 41 |
):
|
| 42 |
+
prompt = build_prompt(gecmis, mesaj)
|
| 43 |
|
| 44 |
girisler = tokenizer(prompt, return_tensors="pt").to(model.device)
|
| 45 |
|
|
|
|
| 71 |
respond,
|
| 72 |
type="messages",
|
| 73 |
additional_inputs=[
|
|
|
|
|
|
|
|
|
|
|
|
|
| 74 |
gr.Slider(1, 4096, value=512, step=1, label="Maksimum Yeni Token"),
|
| 75 |
gr.Slider(0.1, 2.0, value=0.7, step=0.1, label="Sıcaklık (Temperature)"),
|
| 76 |
gr.Slider(0.1, 1.0, value=0.95, step=0.05, label="Top-p"),
|