Create app.py

app.py

@@ -0,0 +1,66 @@
+import os
+import gradio as gr
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+# Bạn có thể đổi MODEL_NAME tại "Variables" của Space thay vì sửa code
+MODEL_NAME = os.getenv("MODEL_NAME", "tencent/Hunyuan-MT-Chimera-7B-fp8")
+
+# Tham số sinh khuyến nghị theo model card
+GEN_KW = dict(
+    max_new_tokens=256,  # giữ thấp để bản thử CPU tránh quá chậm/thiếu RAM
+    top_k=20,
+    top_p=0.6,
+    repetition_penalty=1.05,
+    temperature=0.7,
+    do_sample=True
+)
+
+# Load model/tokenizer (trust_remote_code cho phép dùng chat template do model cung cấp)
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
+# Trên CPU miễn phí, không có GPU → bỏ device_map="auto".
+# Nếu bạn đổi Space sang GPU về sau, có thể thêm device_map="auto".
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype="auto",
+    trust_remote_code=True
+)
+
+def _chat_translate(prompt: str) -> str:
+    messages = [{"role": "user", "content": prompt}]
+    inputs = tokenizer.apply_chat_template(
+        messages, tokenize=True, add_generation_prompt=False, return_tensors="pt"
+    )
+    device = getattr(model, "device", torch.device("cpu"))
+    outputs = model.generate(inputs.to(device), **GEN_KW)
+    return tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+def zh_to_vi(text: str) -> str:
+    return _chat_translate(
+        f"Translate the following segment into Vietnamese, without additional explanation.\n\n{text}"
+    )
+
+def vi_to_zh(text: str) -> str:
+    return _chat_translate(
+        f"Translate the following segment into Chinese, without additional explanation.\n\n{text}"
+    )
+
+# ===== Gradio UI (2 tab) + API endpoints =====
+with gr.Blocks() as demo:
+    gr.Markdown("## Hunyuan-MT Chimera-7B-fp8 (Trial on CPU) — ZH ⇄ VI\n⚠️ Bản thử nghiệm CPU: tốc độ chậm / có thể giới hạn độ dài.")
+
+    with gr.Tab("ZH → VI"):
+        inp_zh = gr.Textbox(label="Nhập tiếng Trung", lines=6, placeholder="Nhập đoạn tiếng Trung...")
+        out_vi = gr.Textbox(label="Bản dịch tiếng Việt", lines=6)
+        btn_zh = gr.Button("Dịch ZH→VI")
+        # api_name để client có thể gọi như một API
+        btn_zh.click(fn=zh_to_vi, inputs=inp_zh, outputs=out_vi, api_name="zh_vi")
+
+    with gr.Tab("VI → ZH"):
+        inp_vi = gr.Textbox(label="Nhập tiếng Việt", lines=6, placeholder="Nhập đoạn tiếng Việt...")
+        out_zh = gr.Textbox(label="Bản dịch tiếng Trung", lines=6)
+        btn_vi = gr.Button("Dịch VI→ZH")
+        btn_vi.click(fn=vi_to_zh, inputs=inp_vi, outputs=out_zh, api_name="vi_zh")
+
+# Giới hạn hàng đợi để demo ít user (tránh quá tải)
+demo.queue(concurrency_count=1, max_size=2).launch()