Phased Consistency Model
Paper • 2405.18407 • Published • 48
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("circlestone-labs/Anima", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("darask0/anima-distill-loras")
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]Anima Distillation LoRAs
CircleStone Labs / Anima v1.0 (2B パラメータ DiT、Cosmos-Predict2 派生) 用の 蒸留 LoRA コレクション。 4-step / CFG=1.0 で teacher 品質に近づける各手法を順次追加していく。
Available LoRAs
⚠️ 重要: 本リポジトリの LoRA はいずれも 実用品質が公式 Civitai Anima Turbo に及ばず、 研究 / 学習 / 失敗事例の参照用です。実用は 公式 Civitai Anima Turbo を推奨します。
| サブディレクトリ | 手法 | 推奨 step / CFG | ステータス | 詳細 |
|---|---|---|---|---|
pcm/ |
Phased Consistency Model | 4-step / CFG=1.0 | ❌ 非推奨 (5000 step / cold-start、生成品質が低い) | pcm/README.md |
dmdx/ |
DMDX (ADM、arxiv 2507.18569v1) | 4-step / CFG=1.0 | ⚠️ 配布中 (warm-start dominance、Turbo と視覚同等、独自性なし) | dmdx/README.md |
dmd2/ |
DMD2 + TrigFlow (cosmos-predict2.5) | 4-step / CFG=1.0 | ⚠️ 配布中 (DMDX 同様、warm-start dominance) | dmd2/README.md |
将来追加検討: LADD / Reflow / Z-Image trajectory / SiD2 など。
ソースコード
訓練コード・データセット生成・Modal 実装一式:
- HF (同アカウント上): darask0/rapid-anima
- GitHub: daraskme/rapid-anima
両 repo は同内容のミラー。Issue / PR は GitHub 側で対応推奨。
File Formats
各サブディレクトリには 2 種類のフォーマットで同じ重みを配布:
| 拡張子 | 用途 |
|---|---|
*_peft.safetensors |
PEFT (diffusers) — 自前推論スクリプト、peft library |
*_comfy.safetensors |
ComfyUI — LoraLoaderModelOnly で直接ロード可 |
ComfyUI 最短手順
*_comfy.safetensorsをComfyUI/models/loras/に配置- Anima v1.0 base workflow に
LoraLoaderModelOnlyを挿入、strength_model: 1.0 - KSampler を設定:
- steps: 4
- cfg: 1.0
- sampler / scheduler:
er_sde + simple(Anima 公式デフォルト、安定) またはres_multistep + beta(anime style 強め)
ModelSamplingAuraFlowでsigma_shift: 3.0(Anima 公式必須)
詳細な使い方・訓練ハイパーパラメータは各サブディレクトリの README.md を参照。
サンプル比較 (4-step / CFG=1.0 / er_sde + simple / Anima v1.0)
3 手法 + Civitai Anima Turbo (warm-start) を同 prompt × seed=42 で生成:
| Civitai Anima Turbo (baseline) | DMD2 final | DMDX final |
|---|---|---|
 |
 |
 |
→ DMD2 / DMDX いずれも Civitai Turbo と視覚的に同等 (warm-start dominance、独自性なし)。
PCM の生成画像は user 評価で品質不足のため掲載省略。詳細は pcm/README.md。
核心の結論: Civitai Anima Turbo の warm-start が強すぎて、本データセット規模 (5000 サンプル)
- 標準ハイパーパラメータでは student LoRA が warm-start から離脱できない。
訓練手法の概要
PCM (Phased Consistency Model) — ❌ 非推奨
- num_euler_timesteps N=50 を K=4 phase に分割、4-step inference に最適化
- pseudo-Huber loss + CFG-augmentation (w∈[4.0, 5.0]) を訓練に embed
- cold-start で 数値的に安定収束 (loss 健全、divergence なし)、5000 step / B200 で ~$22
- ただし 生成品質が公式 Turbo / DMDX に劣る — numerical 収束 ≠ 品質、cold-start strategy が Anima では機能せず
DMD2 + TrigFlow ⚠ warm-start dominance
- NVIDIA cosmos-predict2.5 公式系統、2 PEFT adapter (student + fake_score) を runtime 切替
- 逆 KL gradient trick で score matching、TTUR (5 critic : 1 generator)
- warm-start = Civitai Anima Turbo、teacher_cfg=4.5 / shift=3.0 (Anima 整合)
- 5000 outer / ~$48 で完走したが、student LoRA は warm-start からほぼ移動せず、視覚的に Turbo と同等
DMDX (進行中、新規実装)
- 論文 arxiv 2507.18569v1 (ByteDance Seed Vision) の ADM-only 移植
- DMD2 の逆 KL を 学習可能 discriminator による hinge GAN (TVD) に置換
- cubic time schedule + teacher Δt evolution で時刻情報を D に与える
- LADD-style discriminator (teacher frozen backbone + spectral norm heads) を流用
- DMD2 比 訓練効率 明確に優位:
- critic 数: 5 → 2 (-60%、generator update 頻度 2.5x↑)
- forwards / outer step:
32 → **23** (-28%) - LoRA adapter: 2 → 1 (
set_adapter()切替不要) - 並列訓練 slowdown: ~1.7x → ほぼなし (3.6s/outer 維持)
License
- 本リポジトリの LoRA 重み: Apache-2.0
- Base model (Anima v1.0) には別途以下のライセンスが適用される (派生モデルも縛り受ける):
- CircleStone Labs Non-Commercial License
- NVIDIA Open Model License (Derivative Model 条項)
- 非商用利用のみ可能。商用利用は Anima 公式に問い合わせ: circlestone-labs/Anima
References
- PCM: Wang et al. NeurIPS 2024 / G-U-N/Phased-Consistency-Model
- DMD2: Yin et al. 2024 / NVIDIA cosmos-predict2.5
- DMDX: Lu et al. 2025 (ByteDance Seed Vision)
- Anima base: circlestone-labs/Anima
- Downloads last month
- -
Model tree for darask0/anima-distill-loras
Base model
circlestone-labs/Anima