DMD2 完走、3 手法 + Turbo 比較反映
Browse files- .gitattributes +1 -0
- README.md +7 -8
- docs/dmd2.md +20 -5
- samples/dmd2_final.png +3 -0
.gitattributes
CHANGED
|
@@ -37,3 +37,4 @@ samples/dmd2_step500.png filter=lfs diff=lfs merge=lfs -text
|
|
| 37 |
samples/dmdx_step500.png filter=lfs diff=lfs merge=lfs -text
|
| 38 |
samples/dmdx_final.png filter=lfs diff=lfs merge=lfs -text
|
| 39 |
samples/turbo_baseline.png filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
| 37 |
samples/dmdx_step500.png filter=lfs diff=lfs merge=lfs -text
|
| 38 |
samples/dmdx_final.png filter=lfs diff=lfs merge=lfs -text
|
| 39 |
samples/turbo_baseline.png filter=lfs diff=lfs merge=lfs -text
|
| 40 |
+
samples/dmd2_final.png filter=lfs diff=lfs merge=lfs -text
|
README.md
CHANGED
|
@@ -36,7 +36,7 @@ CircleStone Labs の [Anima](https://huggingface.co/circlestone-labs/Anima)
|
|
| 36 |
|---|---|---|---|---|
|
| 37 |
| [`pcm/`](https://huggingface.co/darask0/anima-distill-loras/tree/main/pcm) | Phased Consistency Model | 4-step / CFG=1.0 | ❌ **非推奨** (cold-start、生成品質が低い) | [docs/pcm.md](docs/pcm.md) |
|
| 38 |
| [`dmdx/`](https://huggingface.co/darask0/anima-distill-loras/tree/main/dmdx) | DMDX (ADM) | 4-step / CFG=1.0 | ⚠️ 配布中 (warm-start dominance、Turbo と視覚同等、独自性なし) | [docs/dmdx.md](docs/dmdx.md) |
|
| 39 |
-
| `dmd2/`
|
| 40 |
|
| 41 |
将来追加検討: LADD / Reflow / Z-Image trajectory / SiD2 など。
|
| 42 |
|
|
@@ -52,16 +52,15 @@ CircleStone Labs の [Anima](https://huggingface.co/circlestone-labs/Anima)
|
|
| 52 |
|
| 53 |
同 prompt (`2girls, flandre scarlet, remilia scarlet, touhou, ...`)、同 seed=42、Anima v1.0 base。
|
| 54 |
|
| 55 |
-
| Civitai Anima Turbo (baseline) |
|
| 56 |
-
|---|---|
|
| 57 |
-
|  |  |
|
| 58 |
|
| 59 |
**主要な発見**:
|
| 60 |
-
- **DMDX
|
| 61 |
-
- **PCM** (cold-start) は別 trajectory に乗っているが **生成品質が低い** — Anima Turbo / DMDX に劣る ❌ 非推奨
|
| 62 |
- 教訓: **「numerical 収束 ≠ 生成品質」**。loss が健全でも visual で要検証 ([distillation.md §4](docs/distillation.md) の Phase A 失敗と同根)
|
| 63 |
-
|
| 64 |
-
DMD2 訓練完走後に追加比較予定だが、現状は **公式 Civitai Anima Turbo を直接使うのが best**。
|
| 65 |
|
| 66 |
## ディレクトリ構成 (簡略)
|
| 67 |
|
|
|
|
| 36 |
|---|---|---|---|---|
|
| 37 |
| [`pcm/`](https://huggingface.co/darask0/anima-distill-loras/tree/main/pcm) | Phased Consistency Model | 4-step / CFG=1.0 | ❌ **非推奨** (cold-start、生成品質が低い) | [docs/pcm.md](docs/pcm.md) |
|
| 38 |
| [`dmdx/`](https://huggingface.co/darask0/anima-distill-loras/tree/main/dmdx) | DMDX (ADM) | 4-step / CFG=1.0 | ⚠️ 配布中 (warm-start dominance、Turbo と視覚同等、独自性なし) | [docs/dmdx.md](docs/dmdx.md) |
|
| 39 |
+
| [`dmd2/`](https://huggingface.co/darask0/anima-distill-loras/tree/main/dmd2) | DMD2 + TrigFlow | 4-step / CFG=1.0 | ⚠️ 配布中 (DMDX 同様の warm-start dominance) | [docs/dmd2.md](docs/dmd2.md) |
|
| 40 |
|
| 41 |
将来追加検討: LADD / Reflow / Z-Image trajectory / SiD2 など。
|
| 42 |
|
|
|
|
| 52 |
|
| 53 |
同 prompt (`2girls, flandre scarlet, remilia scarlet, touhou, ...`)、同 seed=42、Anima v1.0 base。
|
| 54 |
|
| 55 |
+
| Civitai Anima Turbo (baseline) | DMD2 final | DMDX final |
|
| 56 |
+
|---|---|---|
|
| 57 |
+
|  |  |  |
|
| 58 |
|
| 59 |
**主要な発見**:
|
| 60 |
+
- **DMD2 / DMDX いずれも warm-start (Civitai Turbo) からほぼ移動せず**、視覚的に Turbo と同等。手法による差なし
|
| 61 |
+
- **PCM** (cold-start) は別 trajectory に乗っているが **生成品質が低い** — Anima Turbo / DMD2 / DMDX に劣る ❌ 非推奨
|
| 62 |
- 教訓: **「numerical 収束 ≠ 生成品質」**。loss が健全でも visual で要検証 ([distillation.md §4](docs/distillation.md) の Phase A 失敗と同根)
|
| 63 |
+
- 核心の結論: 本データセット規模 (5000 サンプル) + 標準ハイパラでは Civitai Anima Turbo を超えるのは困難、**実用は公式 Turbo 推奨**
|
|
|
|
| 64 |
|
| 65 |
## ディレクトリ構成 (簡略)
|
| 66 |
|
docs/dmd2.md
CHANGED
|
@@ -48,7 +48,13 @@ NVIDIA cosmos-predict2.5 公式の **DMD2 + TrigFlow** 流派を Anima 移植。
|
|
| 48 |
### Resume (`/output/dmd2_v1_resume/`)
|
| 49 |
- 設定: step 500 ckpt を warm-lora、残り 4500 outer
|
| 50 |
- warm-load: **980/980 keys 完全一致** (自前 LoRA 同 architecture)
|
| 51 |
-
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
|
| 53 |
## Loss 推移 (順調)
|
| 54 |
|
|
@@ -64,19 +70,28 @@ NVIDIA cosmos-predict2.5 公式の **DMD2 + TrigFlow** 流派を Anima 移植。
|
|
| 64 |
|
| 65 |
magnitude (x_hat / teacher / fake): ~0.3-0.5 範囲で揃って distill 方向収束。
|
| 66 |
|
| 67 |
-
## 検証結果
|
| 68 |
|
| 69 |
-
|
| 70 |
|
| 71 |
- 2 キャラ (Flandre / Remilia) 正確分離
|
| 72 |
- Civitai Turbo に近い品質 (warm-start 支配的、step 500 で大幅変化なし)
|
| 73 |
-
- 生成時間 10.95s
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 74 |
|
| 75 |
ローカル DL 済: `~/Downloads/anima_loras/dmd2/dmd2_v1_step00500.safetensors`
|
| 76 |
|
| 77 |
## 配布
|
| 78 |
|
| 79 |
-
|
|
|
|
|
|
|
|
|
|
| 80 |
|
| 81 |
## ComfyUI 推奨設定
|
| 82 |
|
|
|
|
| 48 |
### Resume (`/output/dmd2_v1_resume/`)
|
| 49 |
- 設定: step 500 ckpt を warm-lora、残り 4500 outer
|
| 50 |
- warm-load: **980/980 keys 完全一致** (自前 LoRA 同 architecture)
|
| 51 |
+
- **完走済** (outer 4500/4500、累計 ~7.7h、~$48): `dmd2_student_final.safetensors` + 9 個の intermediate ckpt 保存
|
| 52 |
+
- 中断による rate slowdown あり (3.66s → 6.15s/outer、並列実行 + Modal capacity の影響)
|
| 53 |
+
|
| 54 |
+
### 結論: warm-start dominance (DMDX と同じ問題)
|
| 55 |
+
|
| 56 |
+
5000 outer 完走したが、student LoRA は **warm-start (Civitai Anima Turbo) からほぼ移動せず**、
|
| 57 |
+
視覚的に Turbo と区別困難。DMDX と全く同じ症状で、手法ではなく **warm-start anchor が支配的**。
|
| 58 |
|
| 59 |
## Loss 推移 (順調)
|
| 60 |
|
|
|
|
| 70 |
|
| 71 |
magnitude (x_hat / teacher / fake): ~0.3-0.5 範囲で揃って distill 方向収束。
|
| 72 |
|
| 73 |
+
## 検証結果
|
| 74 |
|
| 75 |
+
### step 500 (resume 開始時、4-step / er_sde+simple)
|
| 76 |
|
| 77 |
- 2 キャラ (Flandre / Remilia) 正確分離
|
| 78 |
- Civitai Turbo に近い品質 (warm-start 支配的、step 500 で大幅変化なし)
|
| 79 |
+
- 生成時間 10.95s
|
| 80 |
+
|
| 81 |
+
### final (5000 outer 完走、4-step / er_sde+simple)
|
| 82 |
+
|
| 83 |
+
- step 500 と視覚的にほぼ同一
|
| 84 |
+
- Civitai Anima Turbo baseline と区別困難
|
| 85 |
+
- 5000 outer 訓練を完走したが student LoRA の重みが warm-start からほぼ動かなかった
|
| 86 |
|
| 87 |
ローカル DL 済: `~/Downloads/anima_loras/dmd2/dmd2_v1_step00500.safetensors`
|
| 88 |
|
| 89 |
## 配布
|
| 90 |
|
| 91 |
+
[HF: darask0/anima-distill-loras/dmd2/](https://huggingface.co/darask0/anima-distill-loras/tree/main/dmd2)
|
| 92 |
+
|
| 93 |
+
PEFT + ComfyUI 両形式 + 専用 README + 比較サンプル画像 (Turbo vs DMD2 final) を upload 済。
|
| 94 |
+
実用としては Civitai Anima Turbo と差異なし、研究目的の配布。
|
| 95 |
|
| 96 |
## ComfyUI 推奨設定
|
| 97 |
|
samples/dmd2_final.png
ADDED
|
Git LFS Details
|