Upload training/NOTES.md with huggingface_hub
Browse files- training/NOTES.md +11 -0
training/NOTES.md
CHANGED
|
@@ -60,5 +60,16 @@ Views por symlink em `/workspace/datasets/train_quick/`; manifest em `configs/bu
|
|
| 60 |
## Incidentes
|
| 61 |
- 2026-08-10 04:47: smoke #1 (buckets antigos c/ v576) caiu no step 1 com FileNotFoundError — causa: remoção do cache v576 com o processo ainda vivo (erro operacional meu, não bug do trainer). Antes de cair validou: carga DiT bf16→int8 convrot (~2 min), sampling i2v 3/3 (pico 14,8 GiB), 1 step com loss 0.546 a 4,8 s/it. Smoke #2 relançado com buckets novos.
|
| 62 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 63 |
## Pendências
|
| 64 |
- Nome do repositório HF para publicação dos checkpoints (workflow exige nome dado pelo usuário)
|
|
|
|
| 60 |
## Incidentes
|
| 61 |
- 2026-08-10 04:47: smoke #1 (buckets antigos c/ v576) caiu no step 1 com FileNotFoundError — causa: remoção do cache v576 com o processo ainda vivo (erro operacional meu, não bug do trainer). Antes de cair validou: carga DiT bf16→int8 convrot (~2 min), sampling i2v 3/3 (pico 14,8 GiB), 1 step com loss 0.546 a 4,8 s/it. Smoke #2 relançado com buckets novos.
|
| 62 |
|
| 63 |
+
## Smoke test (2026-08-10 ~05:10)
|
| 64 |
+
- Leg 1 (buckets novos 288/384/480): PASSOU exit 0 — 10 steps, loss 0.895→0.156, ~5-7 s/it
|
| 65 |
+
(inclui overhead de saves), VRAM pico 23,5 GiB c/ swap 24, RAM 26 GB
|
| 66 |
+
- Sampling i2v 3/3 nas 3 resoluções: denoising 13,5s (512×288), 21s (640×384), 33s (832×480) a 20 steps;
|
| 67 |
+
pico sampling 14-15 GiB; mp4+json escritos
|
| 68 |
+
- Checkpoint validado: 600 tensores LoRA, dim/alpha 32/32, 569 MB (fp32); state 859 MB
|
| 69 |
+
- Carga DiT bf16→int8: ~2 min sem contenção de CPU (com 24 ffmpeg paralelos: 6× mais lento — lição:
|
| 70 |
+
pausar normalização pesada durante fases de carga)
|
| 71 |
+
- Leg 2 (resume + swap 16) em execução: valida autoresume e mede ganho de velocidade com menos swap
|
| 72 |
+
- Uploader HF verificado durante smoke (NOTES/configs subiram para AdwolfCzar/minih33-loop-i2v, gated manual)
|
| 73 |
+
|
| 74 |
## Pendências
|
| 75 |
- Nome do repositório HF para publicação dos checkpoints (workflow exige nome dado pelo usuário)
|