Update app.py

app.py

@@ -3,7 +3,7 @@ from huggingface_hub import login
 login(token=os.environ["HF_TOKEN"])  # Dùng biến môi trường để lấy token
 
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+from transformers import AutoTokenizer, AutoModelForCausalLM
 import gradio as gr
 
 # Load model
@@ -13,11 +13,13 @@ tokenizer = AutoTokenizer.from_pretrained(model_id, token=os.environ["HF_TOKEN"]
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     device_map="auto",
-    torch_dtype=torch.float16,        # ✅ Chạy nhanh hơn, không dùng 4bit
+    torch_dtype=torch.float16,
     low_cpu_mem_usage=True,
     token=os.environ["HF_TOKEN"]
 )
 
+
+
 # Hàm xử lý yêu cầu
 def chat(prompt):
     input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to("cuda")