AxL95 commited on
Commit
6cf58b4
·
verified ·
1 Parent(s): 73e5ecf

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +12 -3
app.py CHANGED
@@ -33,16 +33,25 @@ app.add_middleware(
33
  allow_headers=["*"],
34
  )
35
 
 
 
 
 
 
 
 
36
  # Charge le tokenizer et le modèle
37
  tokenizer = AutoTokenizer.from_pretrained(
38
  "mistralai/Mistral-7B-Instruct-v0.3",
39
- trust_remote_code=True
 
40
  )
41
  model = AutoModelForCausalLM.from_pretrained(
42
  "mistralai/Mistral-7B-Instruct-v0.3",
43
  trust_remote_code=True,
44
- torch_dtype=torch.float32, # float32 sur CPU
45
- low_cpu_mem_usage=True # réduit l’empreinte mémoire
 
46
  )
47
  chat_pipeline = pipeline(
48
  "text-generation",
 
33
  allow_headers=["*"],
34
  )
35
 
36
+ HF_TOKEN = os.getenv("REACT_APP_HF_TOKEN")
37
+ if HF_TOKEN is None:
38
+ raise RuntimeError(
39
+ "Définis la variable d’environnement HF_TOKEN dans les Secrets de ton Space."
40
+ )
41
+ # équivalent de `huggingface-cli login`
42
+ login(token=HF_TOKEN)
43
  # Charge le tokenizer et le modèle
44
  tokenizer = AutoTokenizer.from_pretrained(
45
  "mistralai/Mistral-7B-Instruct-v0.3",
46
+ trust_remote_code=True,
47
+ use_auth_token=HF_TOKEN,
48
  )
49
  model = AutoModelForCausalLM.from_pretrained(
50
  "mistralai/Mistral-7B-Instruct-v0.3",
51
  trust_remote_code=True,
52
+ use_auth_token=HF_TOKEN,
53
+ torch_dtype=torch.float32,
54
+ low_cpu_mem_usage=True,
55
  )
56
  chat_pipeline = pipeline(
57
  "text-generation",