Update app.py

app.py

@@ -1,43 +1,62 @@
-import gradio as gr
-import requests
 import os
+import torch
+from huggingface_hub import login
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+import gradio as gr
+
+# 🔑 Lấy token từ Secret
+HF_TOKEN = os.environ.get("HF_KEY")
 
-# Lấy key từ Secret
-API_TOKEN = os.environ.get("HF_KEY")
-API_URL = "https://api-inference.huggingface.co/models/meta-llama/Llama-3.2-1B-Instruct"
-HEADERS = {"Authorization": f"Bearer {API_TOKEN}"}
+# 🔐 Login HF Hub (tương tự như chạy "huggingface-cli login")
+if HF_TOKEN:
+    print("🔑 Đang đăng nhập Hugging Face Hub...")
+    login(token=HF_TOKEN)
+    print("✅ Đăng nhập thành công!")
+else:
+    print("⚠️ Không tìm thấy HF_KEY trong Secrets!")
 
+# 🚀 Load model
+model_id = "meta-llama/Llama-3.2-1B-Instruct"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id, use_auth_token=True)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.float32,
+    low_cpu_mem_usage=True,
+    device_map="cpu"
+)
+
+pipe = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+    device=-1
+)
+
+# 📝 Prompt ngầm
 SYSTEM_PROMPT = (
     "Bạn là một chatbot chuyên TÓM TẮT và TỔNG HỢP ý chính. "
     "Nhiệm vụ: nhận câu hỏi hoặc đoạn văn bản và trả lời ngắn gọn, "
     "liệt kê các điểm quan trọng nhất.\n\n"
 )
 
-def query(payload):
-    response = requests.post(API_URL, headers=HEADERS, json=payload)
-    return response.json()
-
 def chat_fn(user_input):
     prompt = SYSTEM_PROMPT + "Người dùng hỏi: " + user_input + "\n\nTóm tắt & tổng hợp:"
-    data = query({
-        "inputs": prompt,
-        "parameters": {
-            "max_new_tokens": 200,
-            "temperature": 0.7,
-            "top_p": 0.9,
-        }
-    })
-    # Trả về text
-    try:
-        return data[0]["generated_text"]
-    except Exception:
-        return str(data)
+    outputs = pipe(
+        prompt,
+        max_new_tokens=200,
+        temperature=0.7,
+        top_p=0.9,
+        do_sample=True,
+    )
+    return outputs[0]["generated_text"]
 
+# 🎨 Gradio UI
 iface = gr.Interface(
     fn=chat_fn,
-    inputs=gr.Textbox(lines=4, placeholder="Nhập đoạn văn hoặc câu hỏi..."),
+    inputs=gr.Textbox(lines=4, placeholder="Nhập nội dung..."),
     outputs="text",
-    title="🤖 Chatbot Tóm Tắt & Tổng Hợp Ý Chính (HF API)"
+    title="🤖 Chatbot Tóm Tắt & Tổng Hợp Ý Chính (Llama-3.2-1B, CPU)"
 )
 
 if __name__ == "__main__":