Update app.py

app.py

@@ -1,40 +1,46 @@
 import gradio as gr
-from transformers import MarianMTModel, MarianTokenizer
+from groq import Groq
+import os
 
-MODEL_NAME = "Helsinki-NLP/opus-mt-zh-vi"
+# Khởi tạo Groq client
+# Hệ thống sẽ tự động lấy GROQ_API_KEY từ mục Secrets của Hugging Face
+client = Groq(api_key=os.environ.get("GROQ_API_KEY"))
 
-print("Đang tải model...")
-tokenizer = MarianTokenizer.from_pretrained(MODEL_NAME)
-model = MarianMTModel.from_pretrained(MODEL_NAME)
-print("Tải model thành công!")
+def chat_with_qwen(message, history):
+    # Xây dựng lịch sử trò chuyện theo định dạng của Groq/OpenAI
+    messages = []
+    for user_msg, assistant_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": assistant_msg})
+    
+    # Thêm tin nhắn hiện tại của người dùng
+    messages.append({"role": "user", "content": message})
 
-def translate(text: str) -> str:
-    if not text.strip():
-        return ""
-    inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=512)
-    translated = model.generate(**inputs)
-    result = tokenizer.decode(translated[0], skip_special_tokens=True)
-    return result
+    try:
+        # Gọi API với model qwen/qwen3-32b
+        completion = client.chat.completions.create(
+            model="qwen/qwen3-32b",
+            messages=messages,
+            stream=True
+        )
+        
+        response = ""
+        for chunk in completion:
+            # Lấy từng đoạn text trả về để tạo hiệu ứng gõ chữ (streaming)
+            if chunk.choices[0].delta.content:
+                response += chunk.choices[0].delta.content
+                yield response
+                
+    except Exception as e:
+        yield f"Đã xảy ra lỗi: {str(e)}"
 
-demo = gr.Interface(
-    fn=translate,
-    inputs=gr.Textbox(
-        lines=5,
-        placeholder="Nhập văn bản tiếng Trung...",
-        label="📝 Văn bản tiếng Trung (中文)"
-    ),
-    outputs=gr.Textbox(
-        lines=5,
-        label="🇻🇳 Bản dịch tiếng Việt"
-    ),
-    title="🈶 Dịch Trung → Việt",
-    description="Sử dụng model Helsinki-NLP/opus-mt-zh-vi để dịch văn bản từ tiếng Trung sang tiếng Việt.",
-    examples=[
-        ["你好，世界！"],
-        ["今天天气很好。"],
-        ["我想学习越南语。"],
-    ],
-    flagging_mode="never"
+# Tạo giao diện ChatInterface của Gradio
+demo = gr.ChatInterface(
+    fn=chat_with_qwen,
+    title="Qwen3 32B Fast Chat (Powered by Groq)",
+    description="Chatbot tốc độ cao sử dụng model qwen/qwen3-32b qua API của Groq.",
+    fill_height=True
 )
 
-demo.launch()
+if __name__ == "__main__":
+    demo.launch()