Hugging Face's logo

yeowon
/
MiniMax-H3-Rung-Omega

Image-to-Video
MiniMax H3
comfyui
video-generation
audio-video-generation
diffusion-transformer
quantization
ternary
balanced-base3
rung-omega
theoremflow-omega
multilingual
Model card Files
xet
 Community
1
MiniMax-H3-Rung-Omega / README_ja.md
yeowon's picture
yeowon
Embed viral audio/video comparison demo in README_ja.md
e22e2ec verified
preview code
|
Raw History Blame Contribute Delete
9.51 kB

🇯🇵 MiniMax-H3-Rung-Omega (5.976 BPW, 14.98 GiB Joint-tANS / 16.22 GiB Raw Base-243) + TheoremFlow-Ω (8.92x 推論高速化エンジン)

🌐 Language / 언어 / 语言 / 言語:   🇺🇸 English  |  🇰🇷 한국어  |  🇨🇳 中文 (简体)  |  🇯🇵 日本語

Buy Me A Coffee KakaoPay QR NH농협 352-1556-0640-33 (윤여원) Community Discussions

KakaoPay QR Transfer (윤여원)

🏦 국내 계좌이체 후원 (Korean Bank Transfer): NH농협(농축협) 352-1556-0640-33 (예금주: 윤여원)  |  💛 카카오페이 QR 송금  |  ☕ Buy Me a Coffee

☕ オープンな量子化・推論高速化研究へのご支援: MiniMax-H3-Rung-Omega と TheoremFlow-Ω は、承認待ちなしで誰でもすぐに利用できるよう完全公開しています。GPU メモリの節約や生成時間の短縮にお役に立ちましたら、ぜひ Buy Me a Coffee (buymeacoffee.com/tripleyoung) でコーヒー1杯からのご支援をお願いいたします！

yeowon/MiniMax-H3-Rung-Omega は、MiniMax-H3 FL2VA (First/Last-Frame-to-Video+Audio, 総パラメータ 33.1B / アクティブ 20.11B) マルチモーダル Diffusion Transformer 向けの 50-Block 純粋 Rung Ω 平衡三進法 (4-Trit, Base-243 5-in-4-byte) 量子化チェックポイント と、**TheoremFlow-Ω 推論高速化エンジン (8.92倍 高速化)** を提供します。

  • フォールバック 0 (200 / 200 全線形層が純粋 TensorCoreRungOmegaTernaryLayout): 全 50 DiT ブロック (blocks.0 .. blocks.49) のすべての線形投影層 (attn.qkv_proj, attn.out_proj, mlp.fc1, mlp.fc2) を NVFP4 フォールバックなしで Rung Ω 4-Trit 平衡三進格子 ([-40, +40], group_size=128 FP16 スケール, convrot_groupsize=256) に量子化しています。
  • 公式推奨 #1 int8_convrot (19.53 GiB) より小型かつ高精度 (14.98 GiB Joint-tANS / 16.22 GiB Raw): BF16 Teacher (37.46 GiB) 比で 2.50倍 圧縮、int8_convrot (19.53 GiB) 比で 4.57 GiB 削減 (1.30倍 圧縮) しつつ、Video Spatial Top-1 (+5.20%p) および Audio Patch Top-1 (+4.17%p) で int8_convrot を上回ります。
  • TheoremFlow-Ω (8.92倍 エンドツーエンド生成高速化): 20ステップの動画 (864×480, 124 フレーム @ 24fps) + ステレオ音声 (32kHz) 同時生成時間を 625.4秒 → 70.11秒 (8.92倍 高速) に短縮し、**99.58% の動画潜在空間コサイン類似度 (20.80 dB SNR)** とクリアな多言語（日本語・韓国語・英語・中国語）音声同期を維持します。

🎬 デモプレビュー (純粋 50-Block Rung Ω + TheoremFlow-Ω により 70.11秒 で生成)

Keyframes Preview

🎬 Side-by-Side Audio & Video Comparison: Official int8_convrot (19.53 GiB, 434.1s) vs Ours Rung-Omega + TheoremFlow-Omega (14.96 GiB, 70.1s — Turn Sound ON 🔊)

📊 ベンチマーク結果と可視化グラフ

MiniMax-H3-Rung-Omega Benchmark Overview

1. 全 50-Block エンドツーエンド Velocity 精度比較 (vs. 公式 #1 int8_convrot)

モデル / フォーマット 線形層数 有効 BPW 合計サイズ (GiB) BF16 比圧縮率 Video Spatial Top-1 (↑) Audio Patch Top-1 (↑) Video Velocity Cosine (↑) Audio Velocity Cosine (↑) Video $R^2$ (↑) Audio $R^2$ (↑)
BF16 Teacher (minimax_h3_fl2va_pruned_bf16) 200 × BF16 16.000 37.46 GiB 1.00x 100.00% 100.00% 1.000000 1.000000 100.00% 100.00%
公式 #1 int8_convrot (19.53 GiB) 200 × INT8 8.003 19.53 GiB 1.92x 72.92% 77.60% 0.980832 0.985771 96.16% 97.10%
Rung Ω 4-Trit Pareto Champion (Ours) 200 × 4-Trit Base-243 5.967 (6.40 raw) 14.96 GiB (16.22 GiB raw) 2.50x 78.12% (+5.20%p) 81.77% (+4.17%p) 0.976383 0.982006 95.28% 96.43%

2. マルチトラック Rate-Distortion パレートフロンティア

Rung Ω Rate-Distortion Pareto Frontier

🚀 クイックスタート (Quickstart) 

# 1. ComfyUI に TensorCoreRungOmegaTernaryLayout を登録
python3 src/register_comfyui_rung_omega.py

# 2. TheoremFlow-Ω (8.92x 高速化) で動画+音声を生成
python3 src/generate_minimax_h3_rung_omega_video.py \
  --unet-name minimax_h3_fl2va_pruned_rung_omega.safetensors \
  --first-frame /path/to/input_frame.png \
  --width 864 --height 480 --length 124 --steps 20 \
  --theoremflow \
  --output-mp4 output_theoremflow_omega.mp4

☕ 研究支援・モデル量子化リクエスト (Buy Me a Coffee & Community)

ご希望のモデル（動画/音声 DiT、大規模 LLM、マルチモーダルモデルなど）を Rung Ω (3-Trit / 4-Trit / 5-Trit Base-243) で量子化し、**TheoremFlow-Ω 推論高速化** に対応いたします！

  1. ⚡ サポーター最優先キュー (Priority Queue): Buy Me a Coffee (buymeacoffee.com/tripleyoung) のサポートメッセージにご希望のモデル名（Hugging Face ID）をご記入いただければ、最優先で量子化・高速化を行います。
  2. 💬 コミュニティ交流＆リクエスト窓口 (Community Discussions): Hugging Face コミュニティタブ (Discussions) にて、いつでもモデルリクエストやご質問・ご相談が可能です。

Buy Me A Coffee

KakaoPay QR Transfer (윤여원)