Upload PROGRESSO.md with huggingface_hub

PROGRESSO.md

@@ -1,5 +1,13 @@
 # smoothloopv3 — diário de bordo (LoRA MiniMax H3)
 
+> **ESTADO EM 2026-09-19 09:5x** — pipeline de dados 100% concluído e espelhado no HF.
+> Treino lançado às 08:4x, morreu no step 191 às 09:38 por **falha de host** (a GPU sumiu do
+> barramento; `actual_status: offline` na Vast). Aguardando a GPU voltar, com watchdog armado
+> para relançar sozinho. Nenhum checkpoint tinha sido salvo ainda.
+>
+> **Para retomar em outra máquina: vá direto para a seção "RETOMADA EM OUTRA MÁQUINA" no fim
+> deste arquivo.** Não refaça captions, conversão, views nem cache — tudo está pronto no HF.
+
 Início: 2026-09-19. GPU: RTX 5090 32 GB (driver 595.91.07, CUDA 13.2).
 Disco: overlay 350 GB, **NÃO é volume persistente** (`df` mostra overlay em /workspace).
 → Tudo que importa precisa ir para o HF. Recycle/destroy apaga tudo.
@@ -119,7 +127,25 @@ Disco: overlay 350 GB, **NÃO é volume persistente** (`df` mostra overlay em /w
 |   |        | e apaga states locais antigos (mantem 2). Samples do step 0 ja no HF. |
 
 ## Bugs / incidentes
-(nenhum ainda)
+
+### 2026-09-19 09:38 — GPU caiu do barramento durante o treino (NAO resolvido de dentro)
+Treino morreu no **step 191** (11,59 s/it, loss 0,0795). `nvidia-smi` passou a responder
+`Unable to determine the device handle for GPU0: 0000:81:00.0: Unknown Error / No devices were found`.
+Os device nodes (`/dev/nvidia*`) continuavam existindo, mas o driver nao falava mais com a placa.
+`vastai show instance` reportou `actual_status: offline` com `cur_state: running` — ou seja, a
+propria Vast perdeu contato: **falha de host, nao do treino** (nao houve OOM, nao houve erro CUDA).
+
+Num container sem privilegios nao da para resetar a GPU, recarregar o modulo nem re-escanear o
+barramento PCI. Unica recuperacao seria reiniciar a instancia pela API da Vast (preserva o
+filesystem do container); o usuario optou por esperar, dizendo que isso as vezes acontece e volta.
+
+Perda: 191 steps (~37 min). Nenhum checkpoint existia ainda porque o primeiro save era no 500.
+**Acao tomada:** `SAVE_EVERY` baixado de 500 para **250** no relancamento, e um watchdog
+(`/workspace/scripts/watch_gpu_relaunch.sh`) que testa a GPU a cada 60 s, exige 45 s de
+estabilidade e relanca o treino sozinho.
+
+Nada mais foi perdido: dataset, captions, cache (22 GB) e samples sobreviveram, e desde entao
+estao todos espelhados no HF.
 
 ## Progresso
 - [x] Ler relatório + NOTES + handoff
@@ -133,3 +159,232 @@ Disco: overlay 350 GB, **NÃO é volume persistente** (`df` mostra overlay em /w
 - [x] Smoke test + resume (leg1 10 steps + leg2 resume ate 15, ambos exit 0)
 - [x] Cache completo (21,5 GB)
 - [x] Treino lancado + uploader em tempo real ativo
+
+---
+
+# RETOMADA EM OUTRA MÁQUINA — runbook completo
+
+Escrito em 2026-09-19 depois que a GPU desta instância caiu do barramento no step 191.
+**Tudo que está abaixo já foi decidido, executado e verificado. Não refaça nada disso.**
+
+## 0. O que NÃO precisa ser refeito
+
+| Etapa | Situação | Onde está |
+|---|---|---|
+| Download do dataset do Mega | pronto | zip no HF |
+| Normalização 24 fps CFR + tiling de loop + max_edge 1280 | pronto | dentro do zip |
+| Correção dos 70 clipes <124f | pronto | dentro do zip |
+| Captions H3 (1752/1752, $0,65) | pronto | dentro do zip, sidecar `.txt` |
+| Escolha das views e quotas | **decidida** | `manifest_views.csv` |
+| TOMLs de cache e treino | prontos | `configs/` no repo do modelo |
+| 3 imagens de sample + prompts + seeds | prontos | `samples/` no repo do modelo |
+| Cache de latentes + text encoder (22 GB, ~2,5 h de GPU) | pronto | tar no repo do dataset |
+| Smoke test (10 steps + resume até 15) | passou | — |
+
+Só falta **rodar o treino**.
+
+## 1. Artefatos no Hugging Face
+
+Repo do dataset — `AdwolfCzar/smoothloopv3_dataset` (público, gated manual):
+- `smoothloopv3_dataset.zip` (3,88 GB) — 1752 mp4 já convertidos + 1752 `.txt` com as captions H3
+- `cache/cache_smoothloopv3_pin_ede9ed9f.tar` (22,81 GB) — latentes + TE, **amarrado ao pin `ede9ed9f`**
+- `tags_danbooru_originais.tar.gz` — tags originais que o captioner sobrescreveu (não são usadas no treino)
+
+Repo do modelo — `AdwolfCzar/minih33-smoothloopv3` (público, gated manual):
+- `configs/` — TOMLs, scripts de cache/treino, uploader, scripts auxiliares
+- `samples/previews_20260919/` — 3 PNGs, `sample_prompts.txt`, `sample_manifest.json`
+- `manifest_views.csv` — **congela qual clipe vai para qual view** (crítico, ver §4)
+- `PROGRESSO.md` — este diário
+
+## 2. Ambiente exato que funcionou
+
+```
+GPU        RTX 5090 32 GB (sm_120 / cc 12.0), driver 595.91.07, CUDA 13.2
+python     3.12.14 em /venv/main
+torch      2.10.0+cu130     <- NÃO troque; instale com --index-url .../whl/cu130
+transformers 4.57.6   accelerate 1.6.0   safetensors 0.4.5   hf_hub 0.34.3
+av 14.0.1   bitsandbytes 0.50.2   diffusers 0.32.1   einops 0.7.0
+tensorboard 2.21.0   toml 0.10.2   voluptuous 0.15.2   hf-xet 1.6.0
+ffmpeg     6.1.1
+trainer    AkaneTendo25/musubi-tuner, branch minimax-h3, commit ede9ed9f769d605db32d37e32243d4c979f9eee3
+```
+
+Se `/venv/main` der `Permission denied` ao instalar: `sudo chown -R claude:claude /venv/main`.
+
+## 3. Montagem da máquina nova
+
+```bash
+export HF_TOKEN=<token da conta AdwolfCzar>
+source /venv/main/bin/activate
+sudo chown -R claude:claude /venv/main   # se necessário
+
+# 3.1 trainer no pin auditado
+git clone https://github.com/AkaneTendo25/musubi-tuner.git /workspace/projects/musubi-tuner
+cd /workspace/projects/musubi-tuner
+git fetch origin minimax-h3 && git checkout ede9ed9f769d605db32d37e32243d4c979f9eee3
+uv pip install torch==2.10.0 torchvision --index-url https://download.pytorch.org/whl/cu130
+uv pip install -e . && uv pip install tensorboard
+
+# 3.2 pesos (~88 GB, xet é rápido) — SÓ estes 4 arquivos
+python - <<'PY'
+from huggingface_hub import hf_hub_download
+for f in ["diffusion_models/minimax_h3_fl2va_bf16.safetensors",
+          "text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors",
+          "vae/minimax_h3_video_vae_fp16.safetensors",
+          "vae/minimax_h3_audio_vae_fp32.safetensors"]:
+    hf_hub_download("Comfy-Org/MiniMax-H3", f, local_dir="/workspace/models/MiniMax-H3")
+PY
+
+# 3.3 dataset pronto (NÃO recaptionar, NÃO reconverter)
+python - <<'PY'
+from huggingface_hub import hf_hub_download
+hf_hub_download("AdwolfCzar/smoothloopv3_dataset","smoothloopv3_dataset.zip",
+                repo_type="dataset", local_dir="/workspace/datasets")
+PY
+cd /workspace/datasets && unzip -q smoothloopv3_dataset.zip   # cria smoothloopv3_work/{1..6}
+
+# 3.4 cache pronto (pula ~2,5 h de GPU)
+python - <<'PY'
+from huggingface_hub import hf_hub_download
+hf_hub_download("AdwolfCzar/smoothloopv3_dataset","cache/cache_smoothloopv3_pin_ede9ed9f.tar",
+                repo_type="dataset", local_dir="/workspace/dl")
+PY
+mkdir -p /workspace/cache && tar xf /workspace/dl/cache/cache_smoothloopv3_pin_ede9ed9f.tar -C /workspace/cache
+
+# 3.5 configs, scripts e samples
+python - <<'PY'
+from huggingface_hub import snapshot_download
+snapshot_download("AdwolfCzar/minih33-smoothloopv3",
+                  allow_patterns=["configs/*","samples/*","manifest_views.csv"],
+                  local_dir="/workspace/restore")
+PY
+mkdir -p /workspace/projects/h3_smoothloopv3/{configs,output,samples} /workspace/scripts /workspace/notes
+cp /workspace/restore/configs/*.toml /workspace/projects/h3_smoothloopv3/configs/
+cp /workspace/restore/configs/*.sh /workspace/restore/configs/*.py /workspace/scripts/
+cp /workspace/restore/manifest_views.csv /workspace/notes/
+cp -r /workspace/restore/samples/previews_20260919 /workspace/projects/h3_smoothloopv3/samples/
+chmod +x /workspace/scripts/*.sh
+```
+
+**Os caminhos acima não são sugestão, são requisito.** `sample_prompts.txt` e os TOMLs guardam
+caminhos absolutos; se a árvore mudar, o sampling não acha as PNGs e o trainer não acha o cache.
+
+## 4. Religar as views — o passo que não pode ser improvisado
+
+Os arquivos de cache são indexados pelo **stem** do item (`1_8xsg9eu5sz`). Rodar
+`assign_views.py` de novo re-sorteia a distribuição e **invalida os 22 GB de cache**.
+Use sempre o manifesto congelado:
+
+```bash
+python /workspace/scripts/rebuild_views_from_manifest.py \
+  --manifest /workspace/notes/manifest_views.csv \
+  --dataset  /workspace/datasets/smoothloopv3_work \
+  --out      /workspace/datasets/views_smoothloopv3
+```
+
+Deve imprimir exatamente `v288: 963 · v384: 491 · v480: 298` (1752 itens) e sair com código 0.
+O script falha de propósito se algum arquivo faltar, porque nesse caso o cache não casaria.
+Verificado nesta máquina: a reconstrução pelo manifesto bate 100% com as views originais
+(hash idêntico das três listas).
+
+## 5. Lançar o treino
+
+```bash
+cd /workspace
+DATASET_CONFIG=/workspace/projects/h3_smoothloopv3/configs/dataset_smoothloopv3_train.toml \
+SAMPLE_PROMPTS=/workspace/projects/h3_smoothloopv3/samples/previews_20260919/sample_prompts.txt \
+RUN_NAME=minih33_smoothloopv3 MAX_STEPS=6000 SAVE_EVERY=250 SAMPLE_EVERY=500 \
+nohup bash /workspace/scripts/train_smoothloopv3.sh > /workspace/logs/train.log 2>&1 &
+
+# uploader em tempo real (obrigatório: /workspace não é volume, some no recycle)
+nohup python /workspace/scripts/hf_uploader.py \
+  --output-dir /workspace/projects/h3_smoothloopv3/output/minih33_smoothloopv3 \
+  --repo AdwolfCzar/minih33-smoothloopv3 --interval 60 --keep-states 2 \
+  > /workspace/logs/uploader.log 2>&1 &
+```
+
+Se já existir checkpoint no HF e você quiser continuar de onde parou, baixe o `*-state`
+correspondente para dentro do `output/` e acrescente `RESUME=1`.
+
+Parada graciosa a qualquer momento (salva e encerra no próximo optimizer step):
+```bash
+touch /workspace/projects/h3_smoothloopv3/output/minih33_smoothloopv3/save-and-stop.flag
+```
+Salvar sem parar: `touch .../save-now.flag`.
+
+## 6. Configuração, e por que ela é assim
+
+| Item | Valor | Motivo |
+|---|---|---|
+| Base | FL2VA BF16 → ConvRot INT8 na carga, fwd BF16 | pipeline histórico do projeto |
+| Condicionamento | `--task i2va`, `target_modalities = ["video"]` | preserva o experimento anterior; áudio é ignorado |
+| LoRA | dim 32 / alpha 32 | histórico v3 |
+| Otimizador / LR | AdamW8bit, **5e-5**, constant_with_warmup 50 | v3 revisou 1e-4 → 5e-5 para H3 destilado |
+| Batch / acumulação | 1 / 1 | obrigatório no H3 |
+| Guidance | escala 4, schedule `sigma`, form `normalized` | receita v3 |
+| Jitter de densidade espacial | 0,2 | receita v3 |
+| Base preservation | **0 (desligada)** | decisão explícita do v3 |
+| Atenção / precisão | SDPA / BF16 | flash_attn quebra o ConvRot INT8 |
+| AdaLN | rank 16 | histórico |
+| Block swap | 32, h2d_only, ring 2, pinned | OOM histórico no step 4502 com swap 24 |
+| Views | 3 áreas (512×288 / 640×384 / 832×480), quotas 55/28/17, **todas `max_frames = 124`** | ver abaixo |
+| Samples | 3 previews, seeds 42/43/44, 124f, 20 passos, ~480p | ver abaixo |
+
+**Por que todas as views em 124 frames:** decisão do Cesar de respeitar o mínimo do H3 de 5 s.
+No grid `17k+5` o primeiro valor acima de 5 s é **124** (5,17 s), então nenhuma view pode ficar
+abaixo disso. Isso descartou a receita do smoothloop histórico (que usava f124/90/73) e a escada
+do videovibe (f192/141/107). 124 também é exatamente o regime de geração alvo. Multi-resolução
+foi mantida porque o RoPE do H3 é normalizado por área — treinar numa área só deixa a LoRA
+frágil fora dela. Como a duração deixou de diferenciar as views, a área é estratificada pela
+resolução da fonte (as fontes mais densas ancoram a área maior), como o `assign_buckets.py`
+histórico fazia.
+
+**Samples:** 3 clipes reais do próprio dataset, **primeiro frame** como condição (a caption H3
+ancora `<Picture 1>` em 0.00 s, então um frame do meio contradiria o texto). Cobrem paisagem /
+quase-quadrado / retrato e os tipos smooth / slow / static. Seeds, dimensões e passos são fixos
+entre checkpoints de propósito: é o que isola a evolução da LoRA de mudanças na avaliação.
+São clipes do treino, então servem para **acompanhamento visual**, não como validação independente.
+
+## 7. Números medidos nesta máquina
+
+| | |
+|---|---|
+| Velocidade | **11,6–12,4 s/it** (smoke nos itens mais pesados: ~10 s/it) |
+| Loss | 0,0996 → 0,0795 nos primeiros 191 steps |
+| VRAM | **25,1 GB / 32 GB** durante os steps; pico 15,1 GiB no sampling |
+| Sampling | ~113 s por preview (101,6 s denoising + 11,7 s decode) → ~6 min por evento de 3 |
+| Cache | latentes ~2,5 h (GPU 100%, VAE-bound) + TE ~20 min = 21,5 GB |
+| 1 época | 1752 steps ≈ 5,7 h |
+
+Âncoras históricas para comparação: quick (124f multi-res) 12,8 s/it · v2 10,15 · smoothloop 8,7 ·
+videovibe 12,4. Estamos na faixa esperada.
+
+**Orçamento de steps:** 6000 é teto, não alvo. O histórico parou o smoothloop em 2100 (966 clipes)
+e o jiggle em 2500 (1232 clipes) — ambos ~2 épocas. Com 1752 clipes, 2 épocas ≈ 3500 steps.
+A decisão é visual, comparando os previews de seed fixa entre checkpoints, não pela loss.
+
+## 8. Armadilhas desta máquina que valem para a próxima
+
+1. **`pgrep -f` / `pkill -f` casam com o próprio shell** e matam a sessão. Aconteceu 2×. Grave o
+   PID num arquivo ao lançar (`echo $! > /workspace/logs/x.pid`) e mate por PID.
+2. **`captioner` consome stdin.** Dentro de `while read -r f` ele come caracteres do caminho lido
+   (viravam `orkspace/...`). Use `</dev/null` no comando interno.
+3. **`--save_last_n_steps_state` NÃO existe no pin `ede9ed9f`.** O template do handoff de 18/09
+   usa esse argumento e falharia. A única retenção é `--save_last_n_checkpoints N`, que apaga
+   LoRAs antigos junto com os states e quebraria o checkpoint picking — por isso **não passamos
+   retenção nenhuma**; o uploader sobe tudo e limpa só os states locais (mantém 2).
+4. **Jupyter cria `.ipynb_checkpoints` dentro de `output/`** quando alguém navega pela pasta. O
+   uploader já ignora esse padrão; se escrever outro, ignore também.
+5. **`/workspace` é overlay, não volume.** Confirme com
+   `vast-capabilities | jq '.instance.workspace_is_volume'`. Se for `false`, o upload em tempo
+   real não é conforto, é requisito.
+6. **Não rode ComfyUI junto com o treino.** O gargalo é VRAM (25,1 de 32 GB), não disco.
+7. **Falha de GPU não é OOM.** Se `nvidia-smi` responder `Unable to determine the device handle
+   ... No devices were found`, a GPU caiu do barramento — não dá para consertar de dentro de um
+   container sem privilégios. Confira `vastai show instance $CONTAINER_ID`: `actual_status:
+   offline` confirma que é host. Foi o que matou o run no step 191.
+8. **captionkreator precisa do fix de fps baixo** se for recaptionar qualquer coisa: fontes de
+   4–16 fps falhavam a conversão com `duration changed from X to Y` (~11% deste dataset).
+   Branch `fix/low-fps-duration`, commit `8c6f813` em `github.com/adbrasi/captionkreator`
+   (local, sem push até agora). Duas causas: `-stream_loop` com uma cópia a menos do que o `-t`
+   precisa, e tolerância medida no fps do alvo em vez do da fonte.