phamhoangf commited on
Commit
95c30e0
·
verified ·
1 Parent(s): ee39f4c

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -1
app.py CHANGED
@@ -1,16 +1,25 @@
1
  import gradio as gr
2
  import torch
3
  from transformers import pipeline, AutoTokenizer
 
 
 
 
4
 
5
  # Tải mô hình và tokenizer
6
  # device_map="auto" sẽ tự động sử dụng GPU nếu có
7
  model_id = "phamhoangf/struct-aware-baseline-qwen3-4b"
8
- tokenizer = AutoTokenizer.from_pretrained(model_id)
 
 
 
 
9
  pipe = pipeline(
10
  "text-generation",
11
  model=model_id,
12
  torch_dtype=torch.bfloat16,
13
  device_map="auto",
 
14
  )
15
 
16
  def predict(message, history):
 
1
  import gradio as gr
2
  import torch
3
  from transformers import pipeline, AutoTokenizer
4
+ import os # Thêm thư viện os
5
+
6
+ # Lấy token từ secrets của Space
7
+ hf_token = os.environ.get("HF_TOKEN")
8
 
9
  # Tải mô hình và tokenizer
10
  # device_map="auto" sẽ tự động sử dụng GPU nếu có
11
  model_id = "phamhoangf/struct-aware-baseline-qwen3-4b"
12
+
13
+ # Sử dụng token để xác thực khi tải tokenizer
14
+ tokenizer = AutoTokenizer.from_pretrained(model_id, token=hf_token)
15
+
16
+ # Sử dụng token để xác thực khi tải model thông qua pipeline
17
  pipe = pipeline(
18
  "text-generation",
19
  model=model_id,
20
  torch_dtype=torch.bfloat16,
21
  device_map="auto",
22
+ model_kwargs={"token": hf_token} # Rất quan trọng: truyền token cho model
23
  )
24
 
25
  def predict(message, history):