Embed viral audio/video comparison demo in README_ja.md

e22e2ec verified about 12 hours ago

9.51 kB

# 🇯🇵 MiniMax-H3-Rung-Omega (`5.976 BPW`, `14.98 GiB` Joint-tANS / `16.22 GiB` Raw Base-243) + TheoremFlow-Ω (`8.92x` 推論高速化エンジン)

<p align="left">
  <strong>🌐 Language / 언어 / 语言 / 言語:</strong>&nbsp;&nbsp;
  <a href="./README.md"><strong>🇺🇸 English</strong></a> &nbsp;|&nbsp;
  <a href="./README_ko.md"><strong>🇰🇷 한국어</strong></a> &nbsp;|&nbsp;
  <a href="./README_zh.md"><strong>🇨🇳 中文 (简体)</strong></a> &nbsp;|&nbsp;
  <a href="./README_ja.md"><strong>🇯🇵 日本語</strong></a>
</p>

<div align="center">
  <p>
    <a href="https://buymeacoffee.com/tripleyoung" target="_blank">
      <img src="https://img.shields.io/badge/Buy%20Me%20a%20Coffee-Priority%20Model%20Queue%20%E2%9A%A1-FFDD00?style=for-the-badge&logo=buy-me-a-coffee&logoColor=black" alt="Buy Me A Coffee" />
    </a>
    <a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank">
      <img src="https://img.shields.io/badge/KakaoPay%20QR-%EC%B9%B4%EC%B9%B4%EC%98%A4%ED%8E%98%EC%9D%B4%20%EC%86%A1%EA%B8%88-FEE500?style=for-the-badge&logo=kakaotalk&logoColor=black" alt="KakaoPay QR" />
    </a>
    <img src="https://img.shields.io/badge/NH%EB%86%8D%ED%98%91(%EB%86%8D%EC%B6%95%ED%98%91)-352--1556--0640--33%20(%EC%9C%A4%EC%97%AC%EC%9B%90)-0072BC?style=for-the-badge" alt="NH농협 352-1556-0640-33 (윤여원)" />
    <a href="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions" target="_blank">
      <img src="https://img.shields.io/badge/HF%20Community-Request%20Models%20%F0%9F%92%AC-38BDF8?style=for-the-badge" alt="Community Discussions" />
    </a>
  </p>
  <p>
    <a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank">
      <img src="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/resolve/main/assets/kakaopay_qr.jpg" width="160" alt="KakaoPay QR Transfer (윤여원)" style="border-radius: 12px; border: 1px solid #e5e7eb;" />
    </a>
  </p>
  <p>
    🏦 <b>국내 계좌이체 후원 (Korean Bank Transfer):</b> <code>NH농협(농축협) 352-1556-0640-33 (예금주: 윤여원)</code> &nbsp;|&nbsp;
    💛 <a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank"><b>카카오페이 QR 송금</b></a> &nbsp;|&nbsp;
    ☕ <a href="https://buymeacoffee.com/tripleyoung" target="_blank"><b>Buy Me a Coffee</b></a>
  </p>
</div>
> ☕ **オープンな量子化・推論高速化研究へのご支援**: **`MiniMax-H3-Rung-Omega`** と **`TheoremFlow-Ω`** は、承認待ちなしで誰でもすぐに利用できるよう完全公開しています。GPU メモリの節約や生成時間の短縮にお役に立ちましたら、ぜひ [**Buy Me a Coffee (`buymeacoffee.com/tripleyoung`)**](https://buymeacoffee.com/tripleyoung) でコーヒー1杯からのご支援をお願いいたします！

**`yeowon/MiniMax-H3-Rung-Omega`** は、**MiniMax-H3 FL2VA (First/Last-Frame-to-Video+Audio, 総パラメータ 33.1B / アクティブ 20.11B)** マルチモーダル Diffusion Transformer 向けの **50-Block 純粋 `Rung Ω` 平衡三進法 (`4-Trit`, Base-243 5-in-4-byte) 量子化チェックポイント** と、**`TheoremFlow-Ω` 推論高速化エンジン (`8.92倍` 高速化)** を提供します。

* **フォールバック 0 (`200 / 200` 全線形層が純粋 `TensorCoreRungOmegaTernaryLayout`)**: 全 50 DiT ブロック (`blocks.0` .. `blocks.49`) のすべての線形投影層 (`attn.qkv_proj`, `attn.out_proj`, `mlp.fc1`, `mlp.fc2`) を NVFP4 フォールバックなしで `Rung Ω` 4-Trit 平衡三進格子 (`[-40, +40]`, `group_size=128` FP16 スケール, `convrot_groupsize=256`) に量子化しています。
* **公式推奨 #1 `int8_convrot` (`19.53 GiB`) より小型かつ高精度 (`14.98 GiB` Joint-tANS / `16.22 GiB` Raw)**: `BF16` Teacher (`37.46 GiB`) 比で **`2.50倍` 圧縮**、`int8_convrot` (`19.53 GiB`) 比で **`4.57 GiB` 削減 (`1.30倍` 圧縮)** しつつ、**Video Spatial Top-1 (`+5.20%p`)** および **Audio Patch Top-1 (`+4.17%p`)** で `int8_convrot` を上回ります。
* **`TheoremFlow-Ω` (`8.92倍` エンドツーエンド生成高速化)**: 20ステップの動画 (`864×480`, `124` フレーム @ 24fps) + ステレオ音声 (`32kHz`) 同時生成時間を **`625.4秒` → `70.11秒` (`8.92倍` 高速)** に短縮し、**`99.58%` の動画潜在空間コサイン類似度 (`20.80 dB` SNR)** とクリアな多言語（日本語・韓国語・英語・中国語）音声同期を維持します。

---

## 🎬 デモプレビュー (純粋 50-Block `Rung Ω` + `TheoremFlow-Ω` により `70.11秒` で生成)

![Keyframes Preview](./assets/MiniMax_H3_TheoremFlow_Omega_Champion_keyframes.png)

### 🎬 Side-by-Side Audio & Video Comparison: Official int8_convrot (19.53 GiB, 434.1s) vs Ours Rung-Omega + TheoremFlow-Omega (14.96 GiB, 70.1s — Turn Sound ON 🔊)
<p align="center">
  <video controls autoplay loop muted playsinline width="100%" src="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/resolve/main/assets/minimax_h3_viral_16x9.mp4"></video>
</p>
* **フル動画 + 同期音声 (`.mp4`)**: [`assets/MiniMax_H3_TheoremFlow_Omega_Champion.mp4`](./assets/MiniMax_H3_TheoremFlow_Omega_Champion.mp4)
* **純粋 50-Block 20ステップ基準動画 (`.mp4`)**: [`assets/MiniMax_H3_Rung_Omega_50blk_Champion.mp4`](./assets/MiniMax_H3_Rung_Omega_50blk_Champion.mp4)
* **32kHz ステレオ音声トラック (`.wav`)**: [`assets/MiniMax_H3_TheoremFlow_Omega_Champion_audio.wav`](./assets/MiniMax_H3_TheoremFlow_Omega_Champion_audio.wav)
---
## 📊 ベンチマーク結果と可視化グラフ
![MiniMax-H3-Rung-Omega Benchmark Overview](./assets/minimax_h3_rung_omega_benchmark_hero.png)
### 1. 全 50-Block エンドツーエンド Velocity 精度比較 (vs. 公式 #1 `int8_convrot`)

| モデル / フォーマット | 線形層数 | 有効 BPW | 合計サイズ (GiB) | BF16 比圧縮率 | Video Spatial Top-1 (↑) | Audio Patch Top-1 (↑) | Video Velocity Cosine (↑) | Audio Velocity Cosine (↑) | Video $R^2$ (↑) | Audio $R^2$ (↑) |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| **BF16 Teacher (`minimax_h3_fl2va_pruned_bf16`)** | 200 × BF16 | `16.000` | `37.46 GiB` | `1.00x` | `100.00%` | `100.00%` | `1.000000` | `1.000000` | `100.00%` | `100.00%` |
| **公式 `#1` `int8_convrot` (`19.53 GiB`)** | 200 × INT8 | `8.003` | `19.53 GiB` | `1.92x` | `72.92%` | `77.60%` | `0.980832` | `0.985771` | `96.16%` | `97.10%` |
| **`Rung Ω` 4-Trit Pareto Champion (Ours)** | **200 × 4-Trit Base-243** | **`5.967` (`6.40` raw)** | **`14.96 GiB` (`16.22 GiB` raw)** | **`2.50x`** | **`78.12%` (`+5.20%p`)** | **`81.77%` (`+4.17%p`)** | **`0.976383`** | **`0.982006`** | **`95.28%`** | **`96.43%`** |
### 2. マルチトラック Rate-Distortion パレートフロンティア
![Rung Ω Rate-Distortion Pareto Frontier](./assets/minimax_h3_pareto_frontier_chart.png)
---
## 🚀 クイックスタート (Quickstart)
```bash
# 1. ComfyUI に TensorCoreRungOmegaTernaryLayout を登録
python3 src/register_comfyui_rung_omega.py
# 2. TheoremFlow-Ω (8.92x 高速化) で動画+音声を生成
python3 src/generate_minimax_h3_rung_omega_video.py \
  --unet-name minimax_h3_fl2va_pruned_rung_omega.safetensors \
  --first-frame /path/to/input_frame.png \
  --width 864 --height 480 --length 124 --steps 20 \
  --theoremflow \
  --output-mp4 output_theoremflow_omega.mp4
```
---
## ☕ 研究支援・モデル量子化リクエスト (Buy Me a Coffee & Community)
ご希望のモデル（動画/音声 DiT、大規模 LLM、マルチモーダルモデルなど）を **`Rung Ω` (`3-Trit` / `4-Trit` / `5-Trit` Base-243)** で量子化し、**`TheoremFlow-Ω` 推論高速化** に対応いたします！
1. **⚡ サポーター最優先キュー (Priority Queue)**: [**Buy Me a Coffee (`buymeacoffee.com/tripleyoung`)**](https://buymeacoffee.com/tripleyoung) のサポートメッセージにご希望のモデル名（Hugging Face ID）をご記入いただければ、最優先で量子化・高速化を行います。
2. **💬 コミュニティ交流＆リクエスト窓口 (Community Discussions)**: [**Hugging Face コミュニティタブ (`Discussions`)**](https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions) にて、いつでもモデルリクエストやご質問・ご相談が可能です。
<p align="left">
  <a href="https://buymeacoffee.com/tripleyoung" target="_blank">
    <img src="https://cdn.buymeacoffee.com/buttons/v2/default-yellow.png" alt="Buy Me A Coffee" height="50" />
  </a>
</p>
* **☕ Buy Me a Coffee (海外・グローバルご支援・最優先リクエスト)**: [https://buymeacoffee.com/tripleyoung](https://buymeacoffee.com/tripleyoung)
* **💛 KakaoPay QR 送金サポート (韓国カカオペイ)**: [https://qr.kakaopay.com/FVgCIrWbX](https://qr.kakaopay.com/FVgCIrWbX)
* **🏦 韓国銀行振込サポート (Korean Bank Transfer)**: `NH農協(농축협) 352-1556-0640-33 (名義: 윤여원)`
* **💬 コミュニティ＆モデルリクエスト掲示板**: [https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions](https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions)
<p align="center">
  <a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank">
    <img src="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/resolve/main/assets/kakaopay_qr.jpg" width="160" alt="KakaoPay QR Transfer (윤여원)" style="border-radius: 12px; border: 1px solid #e5e7eb;" />
  </a>
</p>

	# 🇯🇵 MiniMax-H3-Rung-Omega (`5.976 BPW`, `14.98 GiB` Joint-tANS / `16.22 GiB` Raw Base-243) + TheoremFlow-Ω (`8.92x` 推論高速化エンジン)

	<p align="left">
	<strong>🌐 Language / 언어 / 语言 / 言語:</strong>
	<a href="./README.md"><strong>🇺🇸 English</strong></a>  \|
	<a href="./README_ko.md"><strong>🇰🇷 한국어</strong></a>  \|
	<a href="./README_zh.md"><strong>🇨🇳 中文 (简体)</strong></a>  \|
	<a href="./README_ja.md"><strong>🇯🇵 日本語</strong></a>
	</p>

	<div align="center">
	<p>
	<a href="https://buymeacoffee.com/tripleyoung" target="_blank">
	<img src="https://img.shields.io/badge/Buy%20Me%20a%20Coffee-Priority%20Model%20Queue%20%E2%9A%A1-FFDD00?style=for-the-badge&logo=buy-me-a-coffee&logoColor=black" alt="Buy Me A Coffee" />
	</a>
	<a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank">
	<img src="https://img.shields.io/badge/KakaoPay%20QR-%EC%B9%B4%EC%B9%B4%EC%98%A4%ED%8E%98%EC%9D%B4%20%EC%86%A1%EA%B8%88-FEE500?style=for-the-badge&logo=kakaotalk&logoColor=black" alt="KakaoPay QR" />
	</a>
	<img src="https://img.shields.io/badge/NH%EB%86%8D%ED%98%91(%EB%86%8D%EC%B6%95%ED%98%91)-352--1556--0640--33%20(%EC%9C%A4%EC%97%AC%EC%9B%90)-0072BC?style=for-the-badge" alt="NH농협 352-1556-0640-33 (윤여원)" />
	<a href="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions" target="_blank">
	<img src="https://img.shields.io/badge/HF%20Community-Request%20Models%20%F0%9F%92%AC-38BDF8?style=for-the-badge" alt="Community Discussions" />
	</a>
	</p>
	<p>
	<a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank">
	<img src="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/resolve/main/assets/kakaopay_qr.jpg" width="160" alt="KakaoPay QR Transfer (윤여원)" style="border-radius: 12px; border: 1px solid #e5e7eb;" />
	</a>
	</p>
	<p>
	🏦 <b>국내 계좌이체 후원 (Korean Bank Transfer):</b> <code>NH농협(농축협) 352-1556-0640-33 (예금주: 윤여원)</code>  \|
	💛 <a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank"><b>카카오페이 QR 송금</b></a>  \|
	☕ <a href="https://buymeacoffee.com/tripleyoung" target="_blank"><b>Buy Me a Coffee</b></a>
	</p>
	</div>

	> ☕ オープンな量子化・推論高速化研究へのご支援: `MiniMax-H3-Rung-Omega` と `TheoremFlow-Ω` は、承認待ちなしで誰でもすぐに利用できるよう完全公開しています。GPU メモリの節約や生成時間の短縮にお役に立ちましたら、ぜひ [Buy Me a Coffee (`buymeacoffee.com/tripleyoung`)](https://buymeacoffee.com/tripleyoung) でコーヒー1杯からのご支援をお願いいたします！

	`yeowon/MiniMax-H3-Rung-Omega` は、MiniMax-H3 FL2VA (First/Last-Frame-to-Video+Audio, 総パラメータ 33.1B / アクティブ 20.11B) マルチモーダル Diffusion Transformer 向けの 50-Block 純粋 `Rung Ω` 平衡三進法 (`4-Trit`, Base-243 5-in-4-byte) 量子化チェックポイントと、`TheoremFlow-Ω` 推論高速化エンジン (`8.92倍` 高速化) を提供します。

	* フォールバック 0 (`200 / 200` 全線形層が純粋 `TensorCoreRungOmegaTernaryLayout`): 全 50 DiT ブロック (`blocks.0` .. `blocks.49`) のすべての線形投影層 (`attn.qkv_proj`, `attn.out_proj`, `mlp.fc1`, `mlp.fc2`) を NVFP4 フォールバックなしで `Rung Ω` 4-Trit 平衡三進格子 (`[-40, +40]`, `group_size=128` FP16 スケール, `convrot_groupsize=256`) に量子化しています。
	* 公式推奨 #1 `int8_convrot` (`19.53 GiB`) より小型かつ高精度 (`14.98 GiB` Joint-tANS / `16.22 GiB` Raw): `BF16` Teacher (`37.46 GiB`) 比で `2.50倍` 圧縮、`int8_convrot` (`19.53 GiB`) 比で `4.57 GiB` 削減 (`1.30倍` 圧縮) しつつ、Video Spatial Top-1 (`+5.20%p`) および Audio Patch Top-1 (`+4.17%p`) で `int8_convrot` を上回ります。
	* `TheoremFlow-Ω` (`8.92倍` エンドツーエンド生成高速化): 20ステップの動画 (`864×480`, `124` フレーム @ 24fps) + ステレオ音声 (`32kHz`) 同時生成時間を `625.4秒` → `70.11秒` (`8.92倍` 高速) に短縮し、`99.58%` の動画潜在空間コサイン類似度 (`20.80 dB` SNR) とクリアな多言語（日本語・韓国語・英語・中国語）音声同期を維持します。

	---

	## 🎬 デモプレビュー (純粋 50-Block `Rung Ω` + `TheoremFlow-Ω` により `70.11秒` で生成)

	![Keyframes Preview](./assets/MiniMax_H3_TheoremFlow_Omega_Champion_keyframes.png)

	### 🎬 Side-by-Side Audio & Video Comparison: Official int8_convrot (19.53 GiB, 434.1s) vs Ours Rung-Omega + TheoremFlow-Omega (14.96 GiB, 70.1s — Turn Sound ON 🔊)

	<p align="center">
	<video controls autoplay loop muted playsinline width="100%" src="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/resolve/main/assets/minimax_h3_viral_16x9.mp4"></video>
	</p>



	* フル動画 + 同期音声 (`.mp4`): [`assets/MiniMax_H3_TheoremFlow_Omega_Champion.mp4`](./assets/MiniMax_H3_TheoremFlow_Omega_Champion.mp4)
	* 純粋 50-Block 20ステップ基準動画 (`.mp4`): [`assets/MiniMax_H3_Rung_Omega_50blk_Champion.mp4`](./assets/MiniMax_H3_Rung_Omega_50blk_Champion.mp4)
	* 32kHz ステレオ音声トラック (`.wav`): [`assets/MiniMax_H3_TheoremFlow_Omega_Champion_audio.wav`](./assets/MiniMax_H3_TheoremFlow_Omega_Champion_audio.wav)

	---

	## 📊 ベンチマーク結果と可視化グラフ

	![MiniMax-H3-Rung-Omega Benchmark Overview](./assets/minimax_h3_rung_omega_benchmark_hero.png)

	### 1. 全 50-Block エンドツーエンド Velocity 精度比較 (vs. 公式 #1 `int8_convrot`)

	\| モデル / フォーマット \| 線形層数 \| 有効 BPW \| 合計サイズ (GiB) \| BF16 比圧縮率 \| Video Spatial Top-1 (↑) \| Audio Patch Top-1 (↑) \| Video Velocity Cosine (↑) \| Audio Velocity Cosine (↑) \| Video $R^2$ (↑) \| Audio $R^2$ (↑) \|
	\| :--- \| :---: \| :---: \| :---: \| :---: \| :---: \| :---: \| :---: \| :---: \| :---: \| :---: \|
	\| BF16 Teacher (`minimax_h3_fl2va_pruned_bf16`) \| 200 × BF16 \| `16.000` \| `37.46 GiB` \| `1.00x` \| `100.00%` \| `100.00%` \| `1.000000` \| `1.000000` \| `100.00%` \| `100.00%` \|
	\| 公式 `#1` `int8_convrot` (`19.53 GiB`) \| 200 × INT8 \| `8.003` \| `19.53 GiB` \| `1.92x` \| `72.92%` \| `77.60%` \| `0.980832` \| `0.985771` \| `96.16%` \| `97.10%` \|
	\| `Rung Ω` 4-Trit Pareto Champion (Ours) \| 200 × 4-Trit Base-243 \| `5.967` (`6.40` raw) \| `14.96 GiB` (`16.22 GiB` raw) \| `2.50x` \| `78.12%` (`+5.20%p`) \| `81.77%` (`+4.17%p`) \| `0.976383` \| `0.982006` \| `95.28%` \| `96.43%` \|

	### 2. マルチトラック Rate-Distortion パレートフロンティア

	![Rung Ω Rate-Distortion Pareto Frontier](./assets/minimax_h3_pareto_frontier_chart.png)

	---

	## 🚀 クイックスタート (Quickstart)

	```bash
	# 1. ComfyUI に TensorCoreRungOmegaTernaryLayout を登録
	python3 src/register_comfyui_rung_omega.py

	# 2. TheoremFlow-Ω (8.92x 高速化) で動画+音声を生成
	python3 src/generate_minimax_h3_rung_omega_video.py \
	--unet-name minimax_h3_fl2va_pruned_rung_omega.safetensors \
	--first-frame /path/to/input_frame.png \
	--width 864 --height 480 --length 124 --steps 20 \
	--theoremflow \
	--output-mp4 output_theoremflow_omega.mp4
	```

	---

	## ☕ 研究支援・モデル量子化リクエスト (Buy Me a Coffee & Community)

	ご希望のモデル（動画/音声 DiT、大規模 LLM、マルチモーダルモデルなど）を `Rung Ω` (`3-Trit` / `4-Trit` / `5-Trit` Base-243) で量子化し、`TheoremFlow-Ω` 推論高速化に対応いたします！

	1. ⚡ サポーター最優先キュー (Priority Queue): [Buy Me a Coffee (`buymeacoffee.com/tripleyoung`)](https://buymeacoffee.com/tripleyoung) のサポートメッセージにご希望のモデル名（Hugging Face ID）をご記入いただければ、最優先で量子化・高速化を行います。
	2. 💬 コミュニティ交流＆リクエスト窓口 (Community Discussions): [Hugging Face コミュニティタブ (`Discussions`)](https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions) にて、いつでもモデルリクエストやご質問・ご相談が可能です。

	<p align="left">
	<a href="https://buymeacoffee.com/tripleyoung" target="_blank">
	<img src="https://cdn.buymeacoffee.com/buttons/v2/default-yellow.png" alt="Buy Me A Coffee" height="50" />
	</a>
	</p>

	* ☕ Buy Me a Coffee (海外・グローバルご支援・最優先リクエスト): [https://buymeacoffee.com/tripleyoung](https://buymeacoffee.com/tripleyoung)
	* 💛 KakaoPay QR 送金サポート (韓国カカオペイ): [https://qr.kakaopay.com/FVgCIrWbX](https://qr.kakaopay.com/FVgCIrWbX)
	* 🏦 韓国銀行振込サポート (Korean Bank Transfer): `NH農協(농축협) 352-1556-0640-33 (名義: 윤여원)`
	* 💬 コミュニティ＆モデルリクエスト掲示板: [https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions](https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/discussions)

	<p align="center">
	<a href="https://qr.kakaopay.com/FVgCIrWbX" target="_blank">
	<img src="https://huggingface.co/yeowon/MiniMax-H3-Rung-Omega/resolve/main/assets/kakaopay_qr.jpg" width="160" alt="KakaoPay QR Transfer (윤여원)" style="border-radius: 12px; border: 1px solid #e5e7eb;" />
	</a>
	</p>