Vilyam888 commited on
Commit
f2b71b9
·
verified ·
1 Parent(s): b4003e4

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +13 -9
app.py CHANGED
@@ -11,15 +11,19 @@ import json
11
  MODEL_NAME = "Vilyam888/Code_analyze.1.0"
12
 
13
  def load_model():
14
- """Загружает модель один раз при старте"""
15
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
16
- model = AutoModelForCausalLM.from_pretrained(
17
- MODEL_NAME,
18
- torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,
19
- device_map="auto",
20
- trust_remote_code=True
21
- )
22
- return model, tokenizer
 
 
 
 
23
 
24
  # Глобальные переменные для модели
25
  model, tokenizer = None, None
 
11
  MODEL_NAME = "Vilyam888/Code_analyze.1.0"
12
 
13
  def load_model():
14
+ """Загружает модель один раз при старте и сохраняет в глобальные переменные"""
15
+ global model, tokenizer
16
+
17
+ if model is None or tokenizer is None:
18
+ print("Загрузка модели...")
19
+ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
20
+ model = AutoModelForCausalLM.from_pretrained(
21
+ MODEL_NAME,
22
+ torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,
23
+ device_map="auto",
24
+ trust_remote_code=True
25
+ )
26
+ print("Модель загружена успешно!")
27
 
28
  # Глобальные переменные для модели
29
  model, tokenizer = None, None