AdwolfCzar commited on
Commit
d235fdc
·
verified ·
1 Parent(s): 8ea062a

Upload training/NOTES.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. training/NOTES.md +11 -5
training/NOTES.md CHANGED
@@ -47,7 +47,7 @@ Views por symlink em `/workspace/datasets/train_quick/`; manifest em `configs/bu
47
  - batch físico 1 (obrigatório no H3), **gradient_accumulation = 1**
48
  - 5090 32 GB: blocks_to_swap 24 h2d_only ring 2 pinned; PYTORCH_ALLOC_CONF=expandable_segments:True
49
  - Sampling i2v durante treino: 3 primeiros-frames do próprio dataset + captions como estão (`--i`), TE nvfp4
50
- - max_frames 73 na fase quick (mediana do dataset é 42 frames; fase 2 avalia 124)
51
 
52
  ## Fase 2 — dimensionamento (medido)
53
  - loopcut_000..005: **19.747 mp4** (~50 GB descomprimido), zero overlap de nomes com mega_curated
@@ -60,10 +60,14 @@ Views por symlink em `/workspace/datasets/train_quick/`; manifest em `configs/bu
60
  ## Incidentes
61
  - 2026-08-10 04:47: smoke #1 (buckets antigos c/ v576) caiu no step 1 com FileNotFoundError — causa: remoção do cache v576 com o processo ainda vivo (erro operacional meu, não bug do trainer). Antes de cair validou: carga DiT bf16→int8 convrot (~2 min), sampling i2v 3/3 (pico 14,8 GiB), 1 step com loss 0.546 a 4,8 s/it. Smoke #2 relançado com buckets novos.
62
 
63
- ## Extensão de loops (decisão do usuário, 2026-08-10 ~05:30)
64
  Faixa publicada do H3 começa em ~124 frames (5,17s); mediana do dataset era 42f. Como os clipes são
65
  loops seamless, cada clipe é estendido por tiling do ciclo até um alvo sorteado (seed determinística):
66
- 124f 55% / 90f 20% / 73f 15% / 56f 10%. Clipes maiores que o alvo ficam no comprimento natural
 
 
 
 
67
  (cap 124, symlink sem re-encode). Ensina movimento cíclico no regime real de geração (~5s).
68
  `scripts/extend_loops.py` → `/workspace/datasets/mega_24_ext`; max_frames=124; sampling --f 124.
69
  Custo: step médio ~2x vs regime 73f. Block swap mantido em 24 (teste com 16 não mostrou ganho;
@@ -80,5 +84,7 @@ folga de VRAM protege contra freeze near-OOM, e o custo do swap no H3 é ~5% —
80
  - Leg 2 (resume + swap 16) em execução: valida autoresume e mede ganho de velocidade com menos swap
81
  - Uploader HF verificado durante smoke (NOTES/configs subiram para AdwolfCzar/minih33-loop-i2v, gated manual)
82
 
83
- ## Pendências
84
- - Nome do repositório HF para publicação dos checkpoints (workflow exige nome dado pelo usuário)
 
 
 
47
  - batch físico 1 (obrigatório no H3), **gradient_accumulation = 1**
48
  - 5090 32 GB: blocks_to_swap 24 h2d_only ring 2 pinned; PYTORCH_ALLOC_CONF=expandable_segments:True
49
  - Sampling i2v durante treino: 3 primeiros-frames do próprio dataset + captions como estão (`--i`), TE nvfp4
50
+ - max_frames 124 (regime de extensão de loops ver seção Extensão de loops)
51
 
52
  ## Fase 2 — dimensionamento (medido)
53
  - loopcut_000..005: **19.747 mp4** (~50 GB descomprimido), zero overlap de nomes com mega_curated
 
60
  ## Incidentes
61
  - 2026-08-10 04:47: smoke #1 (buckets antigos c/ v576) caiu no step 1 com FileNotFoundError — causa: remoção do cache v576 com o processo ainda vivo (erro operacional meu, não bug do trainer). Antes de cair validou: carga DiT bf16→int8 convrot (~2 min), sampling i2v 3/3 (pico 14,8 GiB), 1 step com loss 0.546 a 4,8 s/it. Smoke #2 relançado com buckets novos.
62
 
63
+ ## Extensão de loops (decisão técnica minha após pergunta do usuário, 2026-08-10 ~05:30)
64
  Faixa publicada do H3 começa em ~124 frames (5,17s); mediana do dataset era 42f. Como os clipes são
65
  loops seamless, cada clipe é estendido por tiling do ciclo até um alvo sorteado (seed determinística):
66
+ 124f 55% / 90f 20% / 73f 15% / 56f 10%. Justificativa: canvas publicado do H3 comeca em ~124f;
67
+ 44% do dataset natural estava em 22f (nunca validado por ninguem no canal); caso worldx documenta
68
+ acao esticada ao gerar mais longo que o treinado. Contra: custo ~2,4x/step; canal treina 39-73f sem
69
+ quebra especifica de duracao. Decisao: casar treino com regime de geracao (~5s) vence o custo.
70
+ Clipes ja maiores que o alvo ficam no comprimento natural
71
  (cap 124, symlink sem re-encode). Ensina movimento cíclico no regime real de geração (~5s).
72
  `scripts/extend_loops.py` → `/workspace/datasets/mega_24_ext`; max_frames=124; sampling --f 124.
73
  Custo: step médio ~2x vs regime 73f. Block swap mantido em 24 (teste com 16 não mostrou ganho;
 
84
  - Leg 2 (resume + swap 16) em execução: valida autoresume e mede ganho de velocidade com menos swap
85
  - Uploader HF verificado durante smoke (NOTES/configs subiram para AdwolfCzar/minih33-loop-i2v, gated manual)
86
 
87
+ ## Publicação HF (resolvido 10/08)
88
+ Repo `AdwolfCzar/minih33-loop-i2v` público (sem custo de cota privada) + gated manual
89
+ (arquivos só baixáveis com aprovação do dono). Regra do usuário: nunca mencionar "minimax" no
90
+ nome/card público; identificador: minih33. Uploader: `scripts/hf_uploader.py` (watch em output/).