rafavidal1709 commited on
Commit
8eeb059
·
verified ·
1 Parent(s): 5e77219

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -5
app.py CHANGED
@@ -8,19 +8,21 @@ MODEL_NAME = "deepseek-ai/DeepSeek-R1"
8
  # Configuração segura para CPU
9
  tokenizer = AutoTokenizer.from_pretrained(
10
  MODEL_NAME,
11
- trust_remote_code=True # Removendo a revisão específica
12
  )
13
 
 
14
  model = AutoModelForCausalLM.from_pretrained(
15
  MODEL_NAME,
16
  trust_remote_code=True,
17
- torch_dtype=torch.float32, # Força o uso de float32 em CPU
18
- device_map="cpu", # Garante que o modelo rode na CPU
19
  low_cpu_mem_usage=True, # Otimiza uso de memória
20
- load_in_8bit=False, # Evita tentativas de quantização FP8
21
- offload_folder="offload" # Pasta para descarregar partes do modelo
22
  )
23
 
 
24
  def summarize_text(text):
25
  prompt = f"Resuma em português ({TARGET_LENGTH} caracteres): {text}"
26
  inputs = tokenizer(prompt, return_tensors="pt", max_length=2048, truncation=True)
 
8
  # Configuração segura para CPU
9
  tokenizer = AutoTokenizer.from_pretrained(
10
  MODEL_NAME,
11
+ trust_remote_code=True
12
  )
13
 
14
+ # Carregamento do modelo para CPU
15
  model = AutoModelForCausalLM.from_pretrained(
16
  MODEL_NAME,
17
  trust_remote_code=True,
18
+ torch_dtype=torch.float32, # Garante que usa float32 em CPU
19
+ device_map="cpu", # Força execução na CPU
20
  low_cpu_mem_usage=True, # Otimiza uso de memória
21
+ load_in_8bit=False, # Desativa FP8
22
+ load_in_4bit=False, # Garante que não tentará usar FP8/4bit
23
  )
24
 
25
+
26
  def summarize_text(text):
27
  prompt = f"Resuma em português ({TARGET_LENGTH} caracteres): {text}"
28
  inputs = tokenizer(prompt, return_tensors="pt", max_length=2048, truncation=True)