Nz-LTX23-weights / README.md
Rootport's picture
Add README.md
28c2e5d verified
|
Raw
History Blame Contribute Delete
12.6 kB
---
license: other
license_name: ltx-2-community-license-agreement
license_link: LICENSE
base_model:
- Lightricks/LTX-2.3
tags: [ltx-2, ltxv, text-to-video, gguf, aviutl2]
language: [ja, en]
---
# Nz-LTX23-weights
動画編集ソフト **AviUtl2** 用のプラグイン **Nz-LTX23** の動画生成を担う
**[Nz-Videomni](https://github.com/Rootport-AI/Nz-Videomni)**(旧 Nz-LTX23-backend)を動かすための、
モデル重みファイル一式です。Nz-LTX23 は、Lightricks社の動画生成AIモデル **LTX 2.3**
AviUtl2 のタイムライン上からそのまま使えるようにするプラグインです。
ここにあるのは**上流の配布物をそのままコピーしたもの**で、独自に学習・改変したモデルでは
ありません。変えてあるのはディレクトリの配置だけです(プラグインの `models/` フォルダへ
そのまま展開できるようにするため)。必要なファイルには上流が Gated(ダウンロードに
アカウント登録と承認が必要な状態)のものが含まれるため、一式をここへまとめ、認証なしで
取得できるようにしています。
---
## ファイル一覧
| パス | 役割 |
|---|---|
| `ltx-2.3-gguf/LTX-2.3-22B-distilled-1.1-Q4_K_M.gguf` | 動画を生成する本体。GGUF形式(モデル重みを1ファイルにまとめ、量子化に対応した保存形式)のQ4_K_Mへ圧縮した約17.8GBの蒸留版で、一般的なゲーミングPCのビデオメモリでも動きます |
| `ltx-2.3-components/vae/LTX23_video_vae_bf16.safetensors` | 映像用のVAE(潜在空間と実際の映像とを相互に変換する部品) |
| `ltx-2.3-components/vae/LTX23_audio_vae_bf16.safetensors` | 音声用のVAE。LTX 2.3 は映像と音声を同時に生成します |
| `ltx-2.3-components/vae/prunavaed/PrunaVAED-decoder-bf16.safetensors` | 映像VAEのデコーダ部分だけを枝刈り・軽量化した差し替え版(Pruna AI 提供)。設定で選択できる高速な代替デコーダです。**上の LTX23_video_vae_bf16.safetensors とは違い、そのままの再配布ではなく私たちが変換したファイルです**(詳細は下記「PrunaVAED デコーダの出所」) |
| `ltx-2.3-components/text_encoders/ltx-2.3_text_projection_bf16.safetensors` | プロンプト(生成したい内容を書いた指示文)を、動画生成側が扱える形へ変換する層 |
| `ltx-2.3/ltx-2.3-spatial-upscaler-x2-1.1.safetensors` | 生成した動画の解像度を縦横2倍へ引き上げるアップスケーラー |
| `ltx-2.3-ic-lora/pixel-spatial-upscaler/ltx-2.3-22b-ic-lora-pixel-spatial-upscaler-x2-0.9.safetensors` | 解像度を縦横2倍へ引き上げるIC-LoRA(In-Context LoRA。本体モデルに差し込んで用途を足す小型の追加重み)。上のアップスケーラーとは別方式です |
| `ltx-2.3-ic-lora/union-control/ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors` | Canny(輪郭線を抽出する画像処理)で取り出した線画や、人物のポーズ、深度(カメラからの遠近を濃淡で表した画像)で生成を制御するIC-LoRA |
| `ltx-2.3-ic-lora-deblur/ltx-2.3-22b-ic-lora-deblur-0.9.safetensors` | ぼけた動画を鮮明にするIC-LoRA。前処理は不要で、ぼけたままの動画をそのまま参照として渡します |
| `preprocessors-vda/video_depth_anything_vits.pth` | Video Depth Anything の Small版(vits)チェックポイント。参照動画から深度マップを作る前処理器で、その出力を上の union-control IC-LoRA へ渡します。**このファイルだけは Apache License 2.0** です(下記「ライセンス」参照) |
| `preprocessors-vda/LICENSE` | 直上のチェックポイントに適用される Apache License 2.0 の全文 |
上流での正確なパス・コミットハッシュ・SHA-256は [`NOTICE.md`](NOTICE.md) にあります。
---
## 使い方
**通常、このページから手動でダウンロードする必要はありません。** Nz-LTX23 に同梱の
`setup.bat` が、必要なファイルを自動でここから取得して `models/` フォルダへ配置します。
手動で入れる場合は、下記の構成で `models/LTX23/` の下へ展開してください(リポジトリ内の
フォルダ名とは異なります)。`preprocessors-vda/` だけは LTX23 専用ではなく、共通の前処理器置き場
`models/Preprocessors/VDA/` へ入ります。
```
models/
├ LTX23/
│ ├ Weights/
│ │ └ LTX-2.3-22B-distilled-1.1-Q4_K_M.gguf
│ ├ VAE/
│ │ ├ LTX23_video_vae_bf16.safetensors
│ │ ├ LTX23_audio_vae_bf16.safetensors
│ │ └ prunavaed/
│ │ └ PrunaVAED-decoder-bf16.safetensors
│ ├ TextEncoder/
│ │ └ ltx-2.3_text_projection_bf16.safetensors
│ ├ Upscaler/
│ │ └ ltx-2.3-spatial-upscaler-x2-1.1.safetensors
│ └ IC-LoRA/
│ ├ pixel-spatial-upscaler/
│ │ └ ltx-2.3-22b-ic-lora-pixel-spatial-upscaler-x2-0.9.safetensors
│ ├ union-control/
│ │ └ ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors
│ └ deblur/
│ └ ltx-2.3-22b-ic-lora-deblur-0.9.safetensors
└ Preprocessors/
└ VDA/
├ video_depth_anything_vits.pth
└ LICENSE
```
---
## 上流の原典と謝辞
次の方々の成果をそのまま再配布しているにすぎません。心より感謝します。
- **[Lightricks Ltd.](https://huggingface.co/Lightricks)** — LTX-2 / LTX 2.3 の開発元であり原著作者
([Lightricks/LTX-2.3](https://huggingface.co/Lightricks/LTX-2.3)、
[IC-LoRA Pixel-Spatial-Upscaler](https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-Pixel-Spatial-Upscaler)、
[IC-LoRA Union-Control](https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control)、
[IC-LoRA Deblur](https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-Deblur))
- **[QuantStack](https://huggingface.co/QuantStack)** — GGUF形式への量子化変換
([QuantStack/LTX-2.3-GGUF](https://huggingface.co/QuantStack/LTX-2.3-GGUF))
- **[Kijai](https://huggingface.co/Kijai)** — VAEとテキスト投影層の切り出しおよびbf16変換
([Kijai/LTX2.3_comfy](https://huggingface.co/Kijai/LTX2.3_comfy))
- **Bytedance Ltd. および [DepthAnything](https://github.com/DepthAnything/Video-Depth-Anything)**
Video Depth Anything(深度推定モデル)の開発元であり原著作者
([depth-anything/Video-Depth-Anything-Small](https://huggingface.co/depth-anything/Video-Depth-Anything-Small))。
LTX 2.3 とは無関係の別プロジェクトで、ライセンスも別(Apache-2.0)です
- **[Pruna AI](https://huggingface.co/PrunaAI)** — LTX 2.3 映像VAEデコーダの枝刈り・蒸留版
**PrunaVAED** の開発元([PrunaAI/PrunaVAED](https://huggingface.co/PrunaAI/PrunaVAED))。
ここではその中からデコーダ部分だけを取り出し、キー名を作り替えて配布しています
(詳細は下記「PrunaVAED デコーダの出所」)
本リポジトリは Lightricks Ltd. の公式配布物ではなく、同社の承認や推奨を受けたものでもありません。
---
## PrunaVAED デコーダの出所
`ltx-2.3-components/vae/prunavaed/PrunaVAED-decoder-bf16.safetensors` は、他のファイルと違い
**そのままの再配布ではありません**。以下の手順で私たちが変換したファイルです。
- 変換元: **[PrunaAI/PrunaVAED](https://huggingface.co/PrunaAI/PrunaVAED)**
(revision `4baacd7ef66a6131439542c1f05872afe042e128`、ファイル `vae/diffusion_pytorch_model.safetensors`
SHA-256 `4cbf0cbe6c185514d62c6c58c35dc42d7ea15924f34391e08be12f44bfccdf1d`
- 変換内容: デコーダ部分だけを抽出し、`Nz-Videomni` がそのまま読み込める state_dict の
キー名へ作り替えました。重みの値そのもの(学習されたパラメータ)は一切変更していません。
エンコーダ部分は元から変更されておらず、既存の `LTX23_video_vae_bf16.safetensors` と共用します
- 変換ツール: **[Nz-GGUF-Converter-LTX23](https://github.com/Rootport-AI/Nz-GGUF-Converter-LTX23)**
`convert-vae` コマンド(v1.1.0)
- 出力ファイルの SHA-256: `48453517849dd8c0de0d56177d8643c9fb783228d2c7ffc4286a20dfaf7dde40`
- ライセンス: PrunaVAED は LTX 2.3 の派生物であるため、他のファイルと同じ
**LTX-2 Community License Agreement** の下で配布します(上記「ライセンス」章を参照)
---
## ライセンス
本リポジトリには**ライセンスの異なる2系統**のファイルが入っています。
**(1)`preprocessors-vda/` を除くすべて****LTX-2 Community License Agreement** に基づいて
配布しています(全文はリポジトリ直下の [`LICENSE`](LICENSE)。ダウンロードして使用した時点で
同意したものとみなされます)。使用制限(第4条および ATTACHMENT A)に従う必要があり、
年間売上高が1,000万米ドル以上の事業者は別途 Lightricks Ltd. から商用利用ライセンスを
取得してください。使用制限の全文・帰属表示・出自・変更点は [`NOTICE.md`](NOTICE.md)
にまとめてあります。
**(2)`preprocessors-vda/` の中身** — Video Depth Anything は Lightricks 社とは無関係の
別プロジェクトであり、**Apache License 2.0** で配布されています。全文は同じフォルダの
[`preprocessors-vda/LICENSE`](preprocessors-vda/LICENSE) に同梱しました。上の LTX-2
Community License はこのファイルには適用されません。
ページ上部のライセンス表示は、ファイル数の多い(1)に合わせてあります。
---
## English summary
Model weights for **[Nz-Videomni](https://github.com/Rootport-AI/Nz-Videomni)** (formerly
Nz-LTX23-backend), the video-generation backend of **Nz-LTX23**, a plugin for the video editor
**AviUtl2**.
A **verbatim re-host** of upstream LTX 2.3 files, plus one third-party depth-estimation checkpoint
(Video Depth Anything Small) used as a preprocessor — nothing trained or modified here; only the directory
layout differs, so the tree extracts straight into the plugin's `models/` folder. Re-hosted so `setup.bat`
can fetch everything without a HuggingFace account (some upstream sources are gated).
**Attribution:** LTX-2 / LTX 2.3 by **Lightricks Ltd.**; GGUF quantization by **QuantStack**; component
extraction and bf16 conversion by **Kijai**; Video Depth Anything by **Bytedance Ltd. / DepthAnything**;
the pruned/distilled video VAE decoder (PrunaVAED) by **Pruna AI**.
Upstream paths, commit hashes and SHA-256 digests are in [`NOTICE.md`](NOTICE.md).
**About `ltx-2.3-components/vae/prunavaed/PrunaVAED-decoder-bf16.safetensors`:** unlike every other file
in this repo, this one is **not a verbatim re-host**. We converted it ourselves from
[PrunaAI/PrunaVAED](https://huggingface.co/PrunaAI/PrunaVAED) (revision
`4baacd7ef66a6131439542c1f05872afe042e128`, source file `vae/diffusion_pytorch_model.safetensors`,
source SHA-256 `4cbf0cbe6c185514d62c6c58c35dc42d7ea15924f34391e08be12f44bfccdf1d`), extracting only the
decoder and renaming its state_dict keys to match what `Nz-Videomni` expects — no weight values
were altered, and the encoder is untouched (shared with `LTX23_video_vae_bf16.safetensors`). Converted
with [Nz-GGUF-Converter-LTX23](https://github.com/Rootport-AI/Nz-GGUF-Converter-LTX23)'s `convert-vae`
(v1.1.0); output SHA-256 `48453517849dd8c0de0d56177d8643c9fb783228d2c7ffc4286a20dfaf7dde40`. Distributed,
like the rest of this repo, under the LTX-2 Community License Agreement.
**License — two sets:** everything **except** `preprocessors-vda/` is under the LTX-2 Community License
Agreement (root [`LICENSE`](LICENSE)); use restrictions (Section 4 / ATTACHMENT A) reproduced in
[`NOTICE.md`](NOTICE.md). Entities with annual revenues of at least $10,000,000 must obtain a separate
commercial license from Lightricks Ltd. The contents of `preprocessors-vda/` are a separate,
unrelated project (Video Depth Anything) licensed under **Apache License 2.0**, whose full text is
bundled as [`preprocessors-vda/LICENSE`](preprocessors-vda/LICENSE); the LTX-2 license does not apply to
it. The page-level license tag reflects the larger set. Not an official Lightricks distribution, and not
endorsed by Lightricks Ltd.