Upload training/NOTES.md with huggingface_hub
Browse files- training/NOTES.md +9 -0
training/NOTES.md
CHANGED
|
@@ -60,6 +60,15 @@ Views por symlink em `/workspace/datasets/train_quick/`; manifest em `configs/bu
|
|
| 60 |
## Incidentes
|
| 61 |
- 2026-08-10 04:47: smoke #1 (buckets antigos c/ v576) caiu no step 1 com FileNotFoundError — causa: remoção do cache v576 com o processo ainda vivo (erro operacional meu, não bug do trainer). Antes de cair validou: carga DiT bf16→int8 convrot (~2 min), sampling i2v 3/3 (pico 14,8 GiB), 1 step com loss 0.546 a 4,8 s/it. Smoke #2 relançado com buckets novos.
|
| 62 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 63 |
## Smoke test (2026-08-10 ~05:10)
|
| 64 |
- Leg 1 (buckets novos 288/384/480): PASSOU exit 0 — 10 steps, loss 0.895→0.156, ~5-7 s/it
|
| 65 |
(inclui overhead de saves), VRAM pico 23,5 GiB c/ swap 24, RAM 26 GB
|
|
|
|
| 60 |
## Incidentes
|
| 61 |
- 2026-08-10 04:47: smoke #1 (buckets antigos c/ v576) caiu no step 1 com FileNotFoundError — causa: remoção do cache v576 com o processo ainda vivo (erro operacional meu, não bug do trainer). Antes de cair validou: carga DiT bf16→int8 convrot (~2 min), sampling i2v 3/3 (pico 14,8 GiB), 1 step com loss 0.546 a 4,8 s/it. Smoke #2 relançado com buckets novos.
|
| 62 |
|
| 63 |
+
## Extensão de loops (decisão do usuário, 2026-08-10 ~05:30)
|
| 64 |
+
Faixa publicada do H3 começa em ~124 frames (5,17s); mediana do dataset era 42f. Como os clipes são
|
| 65 |
+
loops seamless, cada clipe é estendido por tiling do ciclo até um alvo sorteado (seed determinística):
|
| 66 |
+
124f 55% / 90f 20% / 73f 15% / 56f 10%. Clipes já maiores que o alvo ficam no comprimento natural
|
| 67 |
+
(cap 124, symlink sem re-encode). Ensina movimento cíclico no regime real de geração (~5s).
|
| 68 |
+
`scripts/extend_loops.py` → `/workspace/datasets/mega_24_ext`; max_frames=124; sampling --f 124.
|
| 69 |
+
Custo: step médio ~2x vs regime 73f. Block swap mantido em 24 (teste com 16 não mostrou ganho;
|
| 70 |
+
folga de VRAM protege contra freeze near-OOM, e o custo do swap no H3 é ~5% — compute-bound).
|
| 71 |
+
|
| 72 |
## Smoke test (2026-08-10 ~05:10)
|
| 73 |
- Leg 1 (buckets novos 288/384/480): PASSOU exit 0 — 10 steps, loss 0.895→0.156, ~5-7 s/it
|
| 74 |
(inclui overhead de saves), VRAM pico 23,5 GiB c/ swap 24, RAM 26 GB
|