darask0/anima-distill-loras

Anima Distillation LoRAs

CircleStone Labs / Anima v1.0 (2B パラメータ DiT、Cosmos-Predict2 派生) 用の 蒸留 LoRA コレクション。 4-step / CFG=1.0 で teacher 品質に近づける各手法を順次追加していく。

Available LoRAs

⚠️ 重要: 本リポジトリの LoRA はいずれも 実用品質が公式 Civitai Anima Turbo に及ばず、 研究 / 学習 / 失敗事例の参照用です。実用は 公式 Civitai Anima Turbo を推奨します。

サブディレクトリ	手法	推奨 step / CFG	ステータス	詳細
pcm/	Phased Consistency Model	4-step / CFG=1.0	❌ 非推奨 (5000 step / cold-start、生成品質が低い)	pcm/README.md
dmdx/	DMDX (ADM、arxiv 2507.18569v1)	4-step / CFG=1.0	⚠️ 配布中 (warm-start dominance、Turbo と視覚同等、独自性なし)	dmdx/README.md
dmd2/	DMD2 + TrigFlow (cosmos-predict2.5)	4-step / CFG=1.0	⚠️ 配布中 (DMDX 同様、warm-start dominance)	dmd2/README.md

将来追加検討: LADD / Reflow / Z-Image trajectory / SiD2 など。

ソースコード

訓練コード・データセット生成・Modal 実装一式:

• HF (同アカウント上): darask0/rapid-anima
• GitHub: daraskme/rapid-anima

両 repo は同内容のミラー。Issue / PR は GitHub 側で対応推奨。

File Formats

各サブディレクトリには 2 種類のフォーマットで同じ重みを配布:

拡張子	用途
*_peft.safetensors	PEFT (diffusers) — 自前推論スクリプト、peft library
*_comfy.safetensors	ComfyUI — LoraLoaderModelOnly で直接ロード可

ComfyUI 最短手順

1. *_comfy.safetensors を ComfyUI/models/loras/ に配置
2. Anima v1.0 base workflow に LoraLoaderModelOnly を挿入、strength_model: 1.0
3. KSampler を設定:
   • steps: 4
   • cfg: 1.0
   • sampler / scheduler: er_sde + simple (Anima 公式デフォルト、安定) または res_multistep + beta (anime style 強め)
4. ModelSamplingAuraFlow で sigma_shift: 3.0 (Anima 公式必須)

詳細な使い方・訓練ハイパーパラメータは各サブディレクトリの README.md を参照。

サンプル比較 (4-step / CFG=1.0 / er_sde + simple / Anima v1.0)

3 手法 + Civitai Anima Turbo (warm-start) を同 prompt × seed=42 で生成:

Civitai Anima Turbo (baseline)	DMD2 final	DMDX final

→ DMD2 / DMDX いずれも Civitai Turbo と視覚的に同等 (warm-start dominance、独自性なし)。

PCM の生成画像は user 評価で品質不足のため掲載省略。詳細は pcm/README.md。

核心の結論: Civitai Anima Turbo の warm-start が強すぎて、本データセット規模 (5000 サンプル)

• 標準ハイパーパラメータでは student LoRA が warm-start から離脱できない。

訓練手法の概要

PCM (Phased Consistency Model) — ❌ 非推奨

• num_euler_timesteps N=50 を K=4 phase に分割、4-step inference に最適化
• pseudo-Huber loss + CFG-augmentation (w∈[4.0, 5.0]) を訓練に embed
• cold-start で 数値的に安定収束 (loss 健全、divergence なし)、5000 step / B200 で ~$22
• ただし 生成品質が公式 Turbo / DMDX に劣る — numerical 収束 ≠ 品質、cold-start strategy が Anima では機能せず

DMD2 + TrigFlow ⚠ warm-start dominance

• NVIDIA cosmos-predict2.5 公式系統、2 PEFT adapter (student + fake_score) を runtime 切替
• 逆 KL gradient trick で score matching、TTUR (5 critic : 1 generator)
• warm-start = Civitai Anima Turbo、teacher_cfg=4.5 / shift=3.0 (Anima 整合)
• 5000 outer / ~$48 で完走したが、student LoRA は warm-start からほぼ移動せず、視覚的に Turbo と同等

DMDX (進行中、新規実装)

• 論文 arxiv 2507.18569v1 (ByteDance Seed Vision) の ADM-only 移植
• DMD2 の逆 KL を 学習可能 discriminator による hinge GAN (TVD) に置換
• cubic time schedule + teacher Δt evolution で時刻情報を D に与える
• LADD-style discriminator (teacher frozen backbone + spectral norm heads) を流用
• DMD2 比 訓練効率 明確に優位:
  • critic 数: 5 → 2 (-60%、generator update 頻度 2.5x↑)
  • forwards / outer step: 32 → **23** (-28%)
  • LoRA adapter: 2 → 1 (set_adapter() 切替不要)
  • 並列訓練 slowdown: ~1.7x → ほぼなし (3.6s/outer 維持)

License

• 本リポジトリの LoRA 重み: Apache-2.0
• Base model (Anima v1.0) には別途以下のライセンスが適用される (派生モデルも縛り受ける):
  • CircleStone Labs Non-Commercial License
  • NVIDIA Open Model License (Derivative Model 条項)
• 非商用利用のみ可能。商用利用は Anima 公式に問い合わせ: circlestone-labs/Anima

References

• PCM: Wang et al. NeurIPS 2024 / G-U-N/Phased-Consistency-Model
• DMD2: Yin et al. 2024 / NVIDIA cosmos-predict2.5
• DMDX: Lu et al. 2025 (ByteDance Seed Vision)
• Anima base: circlestone-labs/Anima