photon-models / README.md
Sucial's picture
Upload folder using huggingface_hub
fac7535 verified
|
Raw History Blame Contribute Delete
3.69 kB

iZotope / BorisFX Photon 模型提取与转换

从 C:\Users\Public\Documents\BorisFX\iZotope\models 的 14 个 .model4 还原出来的模型资产。

目录

目录 内容
raw/<模型>/ 一个模型一个文件夹:<模型>.safetensors(解混淆后的权重)+ blobs/(容器内嵌的 ONNX/GGUF/CoreML 产物)
torch_models/ 可被 pymss / MSST 直接加载的 4 个模型(.ckpt + config.yaml)
onnx/ 13 个独立可跑的 ONNX(权重已内联,不依赖 iZotope 运行时)
docs/ 分析报告与原理说明
scripts/ 全部脚本与中间数据
output/ 测试音频与测试日志

三个核心结论

1. .model4 既不是 torch,也不是"加密的 torch"

它是 safetensors 容器 + 每个文件一条 256 字节循环 XOR 密钥流。没有 pickle、没有 zip、程序里也没有 libtorch。

2. 它是多后端封装,Windows 上实际用 onnxruntime 跑

容器里同时装了 ONNX 图、GGUF、CoreML(+MLX) 三套产物,元数据 graphs 里列明每个模型支持哪些后端。C++ 侧只做容器解析、张量绑定和会话管理——模型结构就在 ONNX 图里,不是硬编码在程序里。

3. 14 个模型,覆盖 14 个

  • torch_models/ 4 个(BS-RoFormer,pymss / MSST 可直接加载)
  • onnx/ 13 个(其中 3 个与上者重叠;music4stemhq 容器里没有 ONNX 图,只能走 PyTorch)

14 个模型分别是什么

模型 类型 作用
voice2stem_v03 BS-RoFormer 人声 / 伴奏 2 轨
voicesep2stem BS-RoFormer 人声 / 其他(说话人由 diarization 再切)
drumsep_1.3 BS-RoFormer 鼓 5 件:kick/snare/toms/hihat/cymbals
music4stemhq BS-RoFormer 音乐 4 轨 HQ:drums/bass/vocals/other
musicnew4stem SCNet 音乐 4 轨:drums/bass/vocals/other
cinema4stem Bandit v2 影视 4 轨:dialogue/music/sfx/other
voice_restore BS-RoFormer + 条件头 语音修复(降噪/去混响/音色/电平),非分轨
indoor / indoor-noisy / outdoor / outdoor-traffic / outdoor-wind ConvNeXt U-Net GAN 场景降噪 / 去残留
redimnet_ptn_activity ReDimNet 说话人嵌入编码
speaker_activity_single_pass 小型 Transformer 打分头 说话人活动检测

快速开始

# ONNX(推荐,纯推理)
import onnxruntime as ort, numpy as np
sess = ort.InferenceSession(r"E:\AI\models\onnx\indoor_dedup_v01.onnx",
                            providers=["CPUExecutionProvider"])
inp = sess.get_inputs()[0]          # Input1 [1,1,1,16384] 原始音频
out = sess.run(None, {inp.name: np.zeros(inp.shape, dtype=np.float32)})
# PyTorch(需要 pymss 或 MSST 的模型定义)
import sys; sys.path.insert(0, r"E:\vs\pymss-core")
from pymss_core.checkpoint import load_model_weights
from pymss_core.modules.bs_roformer.bs_roformer import BSRoformer
load_model_weights(model, r"E:\AI\models\torch_models\voice2stem_v03_fp16c_t2\voice2stem_v03_fp16c_t2.ckpt",
                   strict=True)

重要限制

  • 所有 ONNX 都是静态形状,必须严格按帧数喂(roformer 系 801 / 690 / 751 帧,dedup 是 16384 样本)
  • roformer 系的输入不是音频,是 STFT([B, 2, 1025, T, 2],最后一维实部/虚部),STFT/iSTFT 要自己做
  • 详细参数见 onnx/README.md、torch_models/README.md,原理与来龙去脉见 docs/

法律

模型权重版权归 iZotope / BorisFX 所有。本目录仅用于格式兼容性与可移植性研究,请勿再分发。