ivanhoang commited on
Commit
62477e6
·
verified ·
1 Parent(s): 1ad2e0c

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -4
app.py CHANGED
@@ -13,21 +13,21 @@ print(f"Đang sử dụng thiết bị: {device}")
13
 
14
  # 1. Tải mô hình OCR (Sử dụng phiên bản 'base' thay vì 'large')
15
  print("Đang tải mô hình OCR (Florence-2-base)...")
16
- ocr_model_id = "microsoft/Florence-2-base" # THAY ĐỔI 1: Dùng model base nhỏ hơn
17
  ocr_processor = AutoProcessor.from_pretrained(ocr_model_id, trust_remote_code=True)
18
  quantization_config = BitsAndBytesConfig(load_in_4bit=True)
19
  ocr_model = AutoModelForCausalLM.from_pretrained(
20
  ocr_model_id,
21
- device_map="auto", # Để transformers tự quyết định device map
22
  torch_dtype=torch.bfloat16,
23
  quantization_config=quantization_config,
24
- trust_remote_code=True
 
25
  )
26
  print("Tải xong mô hình OCR.")
27
 
28
  # 2. Tải mô hình LLM (Sử dụng phiên bản đã được nén sẵn)
29
  print("Đang tải mô hình LLM (Unsloth Llama 3 8B 4-bit)...")
30
- # THAY ĐỔI 2: Dùng phiên bản Llama-3 đã được nén sẵn của Unsloth, rất hiệu quả về bộ nhớ
31
  llm_model_id = "unsloth/llama-3-8b-Instruct-bnb-4bit"
32
  llm_pipeline = pipeline(
33
  "text-generation",
 
13
 
14
  # 1. Tải mô hình OCR (Sử dụng phiên bản 'base' thay vì 'large')
15
  print("Đang tải mô hình OCR (Florence-2-base)...")
16
+ ocr_model_id = "microsoft/Florence-2-base"
17
  ocr_processor = AutoProcessor.from_pretrained(ocr_model_id, trust_remote_code=True)
18
  quantization_config = BitsAndBytesConfig(load_in_4bit=True)
19
  ocr_model = AutoModelForCausalLM.from_pretrained(
20
  ocr_model_id,
21
+ device_map="auto",
22
  torch_dtype=torch.bfloat16,
23
  quantization_config=quantization_config,
24
+ trust_remote_code=True,
25
+ attn_implementation="eager" # <-- THÊM DÒNG NÀY ĐỂ SỬA LỖI
26
  )
27
  print("Tải xong mô hình OCR.")
28
 
29
  # 2. Tải mô hình LLM (Sử dụng phiên bản đã được nén sẵn)
30
  print("Đang tải mô hình LLM (Unsloth Llama 3 8B 4-bit)...")
 
31
  llm_model_id = "unsloth/llama-3-8b-Instruct-bnb-4bit"
32
  llm_pipeline = pipeline(
33
  "text-generation",