Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -571,10 +571,10 @@ ESTIMATED_BATCH_GB = 0.30 #0.4 llama
|
|
| 571 |
TARGET_ACCUMULATION_RAM_UTILIZATION = TARGET_RAM_UTILIZATION # Reutiliza a RAM geral
|
| 572 |
|
| 573 |
# --- 1.6 Parâmetros para MAX_LEN Dinâmico (ajustar_max_len) ---
|
| 574 |
-
BASE_MAX_LEN =
|
| 575 |
TARGET_MAX_LEN_UTILIZATION = 0.75 #0.65
|
| 576 |
-
MAX_LEN_INCREMENT =
|
| 577 |
-
MAX_LEN_CAP =
|
| 578 |
|
| 579 |
# Valores padrão ajustáveis
|
| 580 |
DEFAULT_FALLBACK_CAP = 8192 # ou MAX_LEN_CTX, se preferires
|
|
|
|
| 571 |
TARGET_ACCUMULATION_RAM_UTILIZATION = TARGET_RAM_UTILIZATION # Reutiliza a RAM geral
|
| 572 |
|
| 573 |
# --- 1.6 Parâmetros para MAX_LEN Dinâmico (ajustar_max_len) ---
|
| 574 |
+
BASE_MAX_LEN = 256
|
| 575 |
TARGET_MAX_LEN_UTILIZATION = 0.75 #0.65
|
| 576 |
+
MAX_LEN_INCREMENT = 256
|
| 577 |
+
MAX_LEN_CAP = 256
|
| 578 |
|
| 579 |
# Valores padrão ajustáveis
|
| 580 |
DEFAULT_FALLBACK_CAP = 8192 # ou MAX_LEN_CTX, se preferires
|