AdwolfCzar commited on
Commit
896283d
·
verified ·
1 Parent(s): 9e9e9e4

Upload training/NOTES.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. training/NOTES.md +8 -0
training/NOTES.md CHANGED
@@ -232,6 +232,14 @@ v2 encerrado no step ~3.5k (checkpoints 500-3500 + samples preservados no repo o
232
  Novidade do f8561f6c: checkpoint sob demanda por arquivo-gatilho (parada graciosa a qualquer
233
  momento — casa exatamente com o plano de parada manual do usuário).
234
 
 
 
 
 
 
 
 
 
235
  ## Publicação HF (resolvido 10/08)
236
  Repo `AdwolfCzar/minih33-loop-i2v` — público (sem custo de cota privada) + gated manual
237
  (arquivos só baixáveis com aprovação do dono). Regra do usuário: nunca mencionar "minimax" no
 
232
  Novidade do f8561f6c: checkpoint sob demanda por arquivo-gatilho (parada graciosa a qualquer
233
  momento — casa exatamente com o plano de parada manual do usuário).
234
 
235
+ ## Incidente v3: OOM no step ~4.502 (12/08 15:1x UTC) — RECUPERADO
236
+ - CUDA OOM (alocação de 1,12 GiB com 30,08 GiB já alocados) após 11h de run — batch pesado
237
+ no pior bucket; expandable_segments estava ativo (fragmentação não era a causa; VRAM cheia real)
238
+ - Fix: blocks_to_swap 24→32 (~3 GiB a mais de folga; custo ~zero, H3 é compute-bound) +
239
+ autoresume do state 4500. Checkpoints 500-4500 + samples intactos no repo v3
240
+ - Lição p/ runbook: em runs >10h na 5090, swap 32 desde o início; monitores com `tail -n 0`
241
+ (log em append guarda Tracebacks antigos → falso alarme no relançamento)
242
+
243
  ## Publicação HF (resolvido 10/08)
244
  Repo `AdwolfCzar/minih33-loop-i2v` — público (sem custo de cota privada) + gated manual
245
  (arquivos só baixáveis com aprovação do dono). Regra do usuário: nunca mencionar "minimax" no