kawaimasa/Anima_Kawai_Inpaint_ControlNet-LLLite

Anima Kawai Inpaint ControlNet-LLLite

Anima-Base v1.0系統向けに学習した、アニメ・イラスト画像用のインペイントControlNet-LLLiteです。

マスク外の画風・構図・配色を維持しながら、マスクした部分を周囲へ馴染むように描き直すことを目的としています。髪色や服色の変更、服装の変更、物体の追加・除去、背景の置換などに利用できます。

公開ファイルのanima_kawai_inpaint_lllite.safetensorsには、複数チェックポイントの実画像評価で総合性能が最も良かった12,000ステップ版を採用しています。

モデル構成

• 対象モデル：Anima-Base v1.0
• 種類：インペイント用ControlNet-LLLite
• 条件入力：4チャンネル（マスク部分を黒くしたRGB画像＋1チャンネルのバイナリマスク）
• 学習可能パラメータ数：約7,416万
• Target layers: Self-Attention Q, K/V, and MLP fc1
• Conditioning ResBlocks: 6
• Conditioning embedding dimension: 128
• LLLite conditioning dimension: 256
• LLLite MLP dimension: 128

学習データ

データは約36000枚のデータを512、768、1024、1536のマルチスケール・アスペクト比バケットで学習しています。画像の面積が各学習解像度より大きい画像だけを使用しました。

キャプションはDanbooruタグを主体とし、一部自然言語キャプションを使用しています。

学習時には毎回動的にマスクを生成しています。通常のランダムマスクを70%、画像面積の40～80%を覆う連結した大きなマスクを30%使用しました。このため、小さな修正だけでなく、髪全体・服全体・背景などの広い領域にも対応できます。

使用方法

重みをComfyUIのmodels/controlnetへ配置してください。推論にはkohya-ss/ComfyUI-Anima-LLLiteを使用できます。詳しいノード構成や4チャンネル・インペイント条件画像の扱いは、kohya氏のAnima-LLLiteモデルカードおよびsd-scriptsの学習・推論ガイドを参照してください。

確認時の設定は以下です。

• ステップ数：30
• CFG：4.0
• サンプラー：Euler ancestral
• スケジューラー：simple
• denoise：0.8
• LLLite強度：1.0
• プロンプト：Danbooruタグ形式

特性

• 元画像の線、塗り、画風を維持しやすい
• 境界の目立ちにくいシームレスなインペイントが可能
• 1024および1536解像度、縦長・横長を含む複数のアスペクト比で動作確認済み

既知の制限

• 元画像の色や属性が強い場合、指定した色へ十分に変化しないことがあります。変更箇所のプロンプトを強調することを推奨します。
• 手や複雑な衣服などを大きく再構成すると、形状やポーズが変化する場合があります。
• マスクが変更範囲の一部だけの場合、未マスク部分に引かれて編集が不完全になりやすいため、できるだけ変更範囲全体をマスクしてください。

謝辞

ControlNet-LLLiteの学習・推論実装、公開重み、詳細な技術資料を提供されたkohya-ss氏に深く感謝します。本モデルはkohya氏のsd-scriptsおよびAnima-LLLiteを参考に学習しました。

また、基盤モデルAnimaを公開されたCircleStone LabsおよびComfy Orgに感謝します。

ライセンス

本重みは基盤モデルAnimaの派生物であり、CircleStone Labs Non-Commercial Licenseに従います。