Update app.py

app.py

@@ -1,32 +1,36 @@
 import os
 import gradio as gr
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
-# 👇 import config lượng tử hoá cho compressed-tensors
-from transformers import CompressedTensorsQuantizationConfig
+from transformers import AutoTokenizer, AutoModelForCausalLM, CompressedTensorsQuantizationConfig
 
+# Model thử nghiệm (fp8). Nếu CPU free bị quá chậm/OOM, cân nhắc chuyển sang 7B-fp8.
 MODEL_NAME = os.getenv("MODEL_NAME", "tencent/Hunyuan-MT-Chimera-7B-fp8")
 
-# Tham số sinh gợi ý
+# Tham số sinh (giữ thấp để CPU Free đỡ nặng)
 GEN_KW = dict(
-    max_new_tokens=256,  # hạ thấp cho CPU free; có thể tăng nếu ổn
-    top_k=20, top_p=0.6, repetition_penalty=1.05, temperature=0.7, do_sample=True
+    max_new_tokens=256,
+    top_k=20,
+    top_p=0.6,
+    repetition_penalty=1.05,
+    temperature=0.7,
+    do_sample=True,
 )
 
+# Tải tokenizer
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
 
-# ✅ Truyền quantization_config và ép ignore=[] để tránh NoneType
+# ✅ Ghi đè quantization_config để tránh lỗi 'ignore' NoneType
 ctq = CompressedTensorsQuantizationConfig(
-    quantization_method="fp8",   # để transformers chọn đúng quantizer
-    ignore=[]                    # <-- chìa khoá sửa lỗi
+    quantization_method="fp8",
+    ignore=[]  # <-- chìa khoá tránh lỗi TypeError: 'NoneType' object is not iterable
 )
 
+# Tải model. Trên CPU Space, KHÔNG đặt device_map="auto".
+# Cảnh báo "torch_dtype deprecated" có thể bỏ qua; để dtype/torch_dtype="auto".
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_NAME,
     trust_remote_code=True,
-    quantization_config=ctq,     # <-- dùng ctq thay vì mặc định trong config
-    # Không đặt device_map="auto" nếu bạn đang ở CPU Space
-    # dtype có thể để "auto"; cảnh báo "torch_dtype deprecated" có thể bỏ qua
+    quantization_config=ctq,
 )
 
 def _chat_translate(prompt: str) -> str:
@@ -49,14 +53,15 @@ def vi_to_zh(text: str) -> str:
     )
 
 with gr.Blocks() as demo:
-    gr.Markdown("## Hunyuan-MT Chimera-7B-fp8 (Trial on CPU) — ZH ⇄ VI")
+    gr.Markdown("## Hunyuan-MT Chimera-7B-fp8 (Trial on CPU) — ZH ⇄ VI\n⚠️ Bản CPU free: chậm/giới hạn độ dài.")
     with gr.Tab("ZH → VI"):
-        inp_zh = gr.Textbox(label="Tiếng Trung", lines=6)
+        inp_zh = gr.Textbox(label="Tiếng Trung", lines=6, placeholder="Nhập đoạn tiếng Trung…")
         out_vi = gr.Textbox(label="Tiếng Việt", lines=6)
         gr.Button("Dịch ZH→VI").click(zh_to_vi, inputs=inp_zh, outputs=out_vi, api_name="zh_vi")
     with gr.Tab("VI → ZH"):
-        inp_vi = gr.Textbox(label="Tiếng Việt", lines=6)
+        inp_vi = gr.Textbox(label="Tiếng Việt", lines=6, placeholder="Nhập đoạn tiếng Việt…")
         out_zh = gr.Textbox(label="Tiếng Trung", lines=6)
         gr.Button("Dịch VI→ZH").click(vi_to_zh, inputs=inp_vi, outputs=out_zh, api_name="vi_zh")
 
+# Hạn chế tải để demo cho ít user
 demo.queue(concurrency_count=1, max_size=2).launch()