Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
|
@@ -8,19 +8,21 @@ MODEL_NAME = "deepseek-ai/DeepSeek-R1"
|
|
| 8 |
# Configuração segura para CPU
|
| 9 |
tokenizer = AutoTokenizer.from_pretrained(
|
| 10 |
MODEL_NAME,
|
| 11 |
-
trust_remote_code=True
|
| 12 |
)
|
| 13 |
|
|
|
|
| 14 |
model = AutoModelForCausalLM.from_pretrained(
|
| 15 |
MODEL_NAME,
|
| 16 |
trust_remote_code=True,
|
| 17 |
-
torch_dtype=torch.float32, #
|
| 18 |
-
device_map="cpu", #
|
| 19 |
low_cpu_mem_usage=True, # Otimiza uso de memória
|
| 20 |
-
load_in_8bit=False, #
|
| 21 |
-
|
| 22 |
)
|
| 23 |
|
|
|
|
| 24 |
def summarize_text(text):
|
| 25 |
prompt = f"Resuma em português ({TARGET_LENGTH} caracteres): {text}"
|
| 26 |
inputs = tokenizer(prompt, return_tensors="pt", max_length=2048, truncation=True)
|
|
|
|
| 8 |
# Configuração segura para CPU
|
| 9 |
tokenizer = AutoTokenizer.from_pretrained(
|
| 10 |
MODEL_NAME,
|
| 11 |
+
trust_remote_code=True
|
| 12 |
)
|
| 13 |
|
| 14 |
+
# Carregamento do modelo para CPU
|
| 15 |
model = AutoModelForCausalLM.from_pretrained(
|
| 16 |
MODEL_NAME,
|
| 17 |
trust_remote_code=True,
|
| 18 |
+
torch_dtype=torch.float32, # Garante que usa float32 em CPU
|
| 19 |
+
device_map="cpu", # Força execução na CPU
|
| 20 |
low_cpu_mem_usage=True, # Otimiza uso de memória
|
| 21 |
+
load_in_8bit=False, # Desativa FP8
|
| 22 |
+
load_in_4bit=False, # Garante que não tentará usar FP8/4bit
|
| 23 |
)
|
| 24 |
|
| 25 |
+
|
| 26 |
def summarize_text(text):
|
| 27 |
prompt = f"Resuma em português ({TARGET_LENGTH} caracteres): {text}"
|
| 28 |
inputs = tokenizer(prompt, return_tensors="pt", max_length=2048, truncation=True)
|