Spaces:
Sleeping
Sleeping
Commit
·
90486e8
1
Parent(s):
7fe0df9
ok hông 2
Browse files
app.py
CHANGED
|
@@ -24,7 +24,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
|
|
| 24 |
# 2️⃣ Hàm chat theo template “### Câu hỏi / ### Trả lời”
|
| 25 |
PROMPT_TEMPLATE = "### Câu hỏi: {instruction}\n### Trả lời:"
|
| 26 |
|
| 27 |
-
def respond(message, history, system_message, max_tokens, temperature, top_p):
|
| 28 |
# 2.1 — Gom system message và history vào messages list
|
| 29 |
messages = [{"role": "system", "content": system_message}]
|
| 30 |
for u, b in history:
|
|
@@ -58,15 +58,16 @@ def respond(message, history, system_message, max_tokens, temperature, top_p):
|
|
| 58 |
|
| 59 |
# 2.5 — Decode và tách phần assistant trả lời
|
| 60 |
full = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
| 61 |
-
|
|
|
|
| 62 |
|
| 63 |
# 2.6 — Cập nhật history và trả về
|
| 64 |
-
history.append((message,
|
| 65 |
-
return history
|
| 66 |
|
| 67 |
# 3️⃣ Giao diện Gradio
|
| 68 |
demo = gr.ChatInterface(
|
| 69 |
-
|
| 70 |
additional_inputs=[
|
| 71 |
gr.Textbox("Bạn là một chatbot tiếng Việt thân thiện.", label="System message"),
|
| 72 |
gr.Slider(1, 2048, value=512, step=1, label="Max new tokens"),
|
|
|
|
| 24 |
# 2️⃣ Hàm chat theo template “### Câu hỏi / ### Trả lời”
|
| 25 |
PROMPT_TEMPLATE = "### Câu hỏi: {instruction}\n### Trả lời:"
|
| 26 |
|
| 27 |
+
def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p):
|
| 28 |
# 2.1 — Gom system message và history vào messages list
|
| 29 |
messages = [{"role": "system", "content": system_message}]
|
| 30 |
for u, b in history:
|
|
|
|
| 58 |
|
| 59 |
# 2.5 — Decode và tách phần assistant trả lời
|
| 60 |
full = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
| 61 |
+
response = full.replace(prompt, "").strip()
|
| 62 |
+
# yield response
|
| 63 |
|
| 64 |
# 2.6 — Cập nhật history và trả về
|
| 65 |
+
# history.append((message, response))
|
| 66 |
+
# return history
|
| 67 |
|
| 68 |
# 3️⃣ Giao diện Gradio
|
| 69 |
demo = gr.ChatInterface(
|
| 70 |
+
respond,
|
| 71 |
additional_inputs=[
|
| 72 |
gr.Textbox("Bạn là một chatbot tiếng Việt thân thiện.", label="System message"),
|
| 73 |
gr.Slider(1, 2048, value=512, step=1, label="Max new tokens"),
|