Update app.py

app.py

@@ -14,11 +14,11 @@ tokenizer = AutoTokenizer.from_pretrained(
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_NAME,
     trust_remote_code=True,
-    torch_dtype=torch.float32,
-    device_map="cpu",
-    low_cpu_mem_usage=True,
-    load_in_8bit=False,
-    offload_folder="offload"
+    torch_dtype=torch.float32,  # Força o uso de float32 em CPU
+    device_map="cpu",  # Garante que o modelo rode na CPU
+    low_cpu_mem_usage=True,  # Otimiza uso de memória
+    load_in_8bit=False,  # Evita tentativas de quantização FP8
+    offload_folder="offload"  # Pasta para descarregar partes do modelo
 )
 
 def summarize_text(text):