Update app.py

app.py

@@ -11,17 +11,18 @@ import torch
 # Load FLAN-T5 model
 @st.cache_resource
 def load_llm():
-    model_name = "google/flan-t5-xl"  # <-- Đã thay bằng FLAN-T5
+    model_name = "google/flan-t5-xl"
+    
     tokenizer = AutoTokenizer.from_pretrained(model_name)
     
-    model = AutoModelForCausalLM.from_pretrained(
+    model = AutoModelForSeq2SeqLM.from_pretrained(
         model_name,
-        torch_dtype=torch.float32,  # flan-t5 không hỗ trợ bfloat16 trên CPU
+        torch_dtype=torch.float32,  # T5 thường dùng float32 hoặc bfloat16 nếu có GPU hỗ trợ
         device_map="auto"
     )
     
     pipe = pipeline(
-        "text2text-generation",  # <-- Chú ý loại pipeline này dành cho T5
+        "text2text-generation",
         model=model,
         tokenizer=tokenizer,
         max_new_tokens=256,
@@ -30,6 +31,7 @@ def load_llm():
         repetition_penalty=1.15,
         do_sample=True
     )
+    
     return HuggingFacePipeline(pipeline=pipe)
 
 # Process PDF and create vectorstore