Upload training/NOTES.md with huggingface_hub
Browse files- training/NOTES.md +8 -0
training/NOTES.md
CHANGED
|
@@ -232,6 +232,14 @@ v2 encerrado no step ~3.5k (checkpoints 500-3500 + samples preservados no repo o
|
|
| 232 |
Novidade do f8561f6c: checkpoint sob demanda por arquivo-gatilho (parada graciosa a qualquer
|
| 233 |
momento — casa exatamente com o plano de parada manual do usuário).
|
| 234 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 235 |
## Publicação HF (resolvido 10/08)
|
| 236 |
Repo `AdwolfCzar/minih33-loop-i2v` — público (sem custo de cota privada) + gated manual
|
| 237 |
(arquivos só baixáveis com aprovação do dono). Regra do usuário: nunca mencionar "minimax" no
|
|
|
|
| 232 |
Novidade do f8561f6c: checkpoint sob demanda por arquivo-gatilho (parada graciosa a qualquer
|
| 233 |
momento — casa exatamente com o plano de parada manual do usuário).
|
| 234 |
|
| 235 |
+
## Incidente v3: OOM no step ~4.502 (12/08 15:1x UTC) — RECUPERADO
|
| 236 |
+
- CUDA OOM (alocação de 1,12 GiB com 30,08 GiB já alocados) após 11h de run — batch pesado
|
| 237 |
+
no pior bucket; expandable_segments estava ativo (fragmentação não era a causa; VRAM cheia real)
|
| 238 |
+
- Fix: blocks_to_swap 24→32 (~3 GiB a mais de folga; custo ~zero, H3 é compute-bound) +
|
| 239 |
+
autoresume do state 4500. Checkpoints 500-4500 + samples intactos no repo v3
|
| 240 |
+
- Lição p/ runbook: em runs >10h na 5090, swap 32 desde o início; monitores com `tail -n 0`
|
| 241 |
+
(log em append guarda Tracebacks antigos → falso alarme no relançamento)
|
| 242 |
+
|
| 243 |
## Publicação HF (resolvido 10/08)
|
| 244 |
Repo `AdwolfCzar/minih33-loop-i2v` — público (sem custo de cota privada) + gated manual
|
| 245 |
(arquivos só baixáveis com aprovação do dono). Regra do usuário: nunca mencionar "minimax" no
|