Update app.py

app.py

@@ -1,40 +1,43 @@
-import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 import gradio as gr
+import requests
+import os
 
-model_id = "meta-llama/Llama-3.2-1B-Instruct"
+# Lấy key từ Secret
+API_TOKEN = os.environ.get("HF_KEY")
+API_URL = "https://api-inference.huggingface.co/models/meta-llama/Llama-3.2-1B-Instruct"
+HEADERS = {"Authorization": f"Bearer {API_TOKEN}"}
 
-# Load model
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    device_map="cpu",              
-    torch_dtype=torch.float32,     
-    low_cpu_mem_usage=True
+SYSTEM_PROMPT = (
+    "Bạn là một chatbot chuyên TÓM TẮT và TỔNG HỢP ý chính. "
+    "Nhiệm vụ: nhận câu hỏi hoặc đoạn văn bản và trả lời ngắn gọn, "
+    "liệt kê các điểm quan trọng nhất.\n\n"
 )
 
-pipe = pipeline(
-    "text-generation",
-    model=model,
-    tokenizer=tokenizer,
-    device=-1
-)
+def query(payload):
+    response = requests.post(API_URL, headers=HEADERS, json=payload)
+    return response.json()
 
-def chat_fn(prompt):
-    outputs = pipe(
-        prompt,
-        max_new_tokens=200,
-        do_sample=True,
-        temperature=0.7,
-        top_p=0.9,
-    )
-    return outputs[0]["generated_text"]
+def chat_fn(user_input):
+    prompt = SYSTEM_PROMPT + "Người dùng hỏi: " + user_input + "\n\nTóm tắt & tổng hợp:"
+    data = query({
+        "inputs": prompt,
+        "parameters": {
+            "max_new_tokens": 200,
+            "temperature": 0.7,
+            "top_p": 0.9,
+        }
+    })
+    # Trả về text
+    try:
+        return data[0]["generated_text"]
+    except Exception:
+        return str(data)
 
 iface = gr.Interface(
     fn=chat_fn,
-    inputs=gr.Textbox(lines=4, placeholder="Nhập câu hỏi..."),
+    inputs=gr.Textbox(lines=4, placeholder="Nhập đoạn văn hoặc câu hỏi..."),
     outputs="text",
-    title="Llama-3.2-1B-Instruct (CPU)"
+    title="🤖 Chatbot Tóm Tắt & Tổng Hợp Ý Chính (HF API)"
 )
 
 if __name__ == "__main__":