# iZotope / BorisFX Photon 模型提取与转换 从 `C:\Users\Public\Documents\BorisFX\iZotope\models` 的 14 个 `.model4` 还原出来的模型资产。 ## 目录 | 目录 | 内容 | |---|---| | `raw/<模型>/` | 一个模型一个文件夹:`<模型>.safetensors`(解混淆后的权重)+ `blobs/`(容器内嵌的 ONNX/GGUF/CoreML 产物) | | `torch_models/` | 可被 **pymss / MSST** 直接加载的 4 个模型(`.ckpt` + `config.yaml`) | | `onnx/` | 13 个**独立可跑**的 ONNX(权重已内联,不依赖 iZotope 运行时) | | `docs/` | 分析报告与原理说明 | | `scripts/` | 全部脚本与中间数据 | | `output/` | 测试音频与测试日志 | ## 三个核心结论 **1. `.model4` 既不是 torch,也不是"加密的 torch"** 它是 **safetensors 容器 + 每个文件一条 256 字节循环 XOR 密钥流**。没有 pickle、没有 zip、程序里也没有 libtorch。 **2. 它是多后端封装,Windows 上实际用 onnxruntime 跑** 容器里同时装了 ONNX 图、GGUF、CoreML(+MLX) 三套产物,元数据 `graphs` 里列明每个模型支持哪些后端。C++ 侧只做容器解析、张量绑定和会话管理——**模型结构就在 ONNX 图里**,不是硬编码在程序里。 **3. 14 个模型,覆盖 14 个** - `torch_models/` 4 个(BS-RoFormer,pymss / MSST 可直接加载) - `onnx/` 13 个(其中 3 个与上者重叠;`music4stemhq` 容器里没有 ONNX 图,只能走 PyTorch) ## 14 个模型分别是什么 | 模型 | 类型 | 作用 | |---|---|---| | voice2stem_v03 | BS-RoFormer | 人声 / 伴奏 2 轨 | | voicesep2stem | BS-RoFormer | 人声 / 其他(说话人由 diarization 再切) | | drumsep_1.3 | BS-RoFormer | 鼓 5 件:kick/snare/toms/hihat/cymbals | | music4stemhq | BS-RoFormer | 音乐 4 轨 HQ:drums/bass/vocals/other | | musicnew4stem | SCNet | 音乐 4 轨:drums/bass/vocals/other | | cinema4stem | Bandit v2 | 影视 4 轨:dialogue/music/sfx/other | | voice_restore | BS-RoFormer + 条件头 | 语音修复(降噪/去混响/音色/电平),非分轨 | | indoor / indoor-noisy / outdoor / outdoor-traffic / outdoor-wind | ConvNeXt U-Net GAN | 场景降噪 / 去残留 | | redimnet_ptn_activity | ReDimNet | 说话人嵌入编码 | | speaker_activity_single_pass | 小型 Transformer 打分头 | 说话人活动检测 | ## 快速开始 ```python # ONNX(推荐,纯推理) import onnxruntime as ort, numpy as np sess = ort.InferenceSession(r"E:\AI\models\onnx\indoor_dedup_v01.onnx", providers=["CPUExecutionProvider"]) inp = sess.get_inputs()[0] # Input1 [1,1,1,16384] 原始音频 out = sess.run(None, {inp.name: np.zeros(inp.shape, dtype=np.float32)}) ``` ```python # PyTorch(需要 pymss 或 MSST 的模型定义) import sys; sys.path.insert(0, r"E:\vs\pymss-core") from pymss_core.checkpoint import load_model_weights from pymss_core.modules.bs_roformer.bs_roformer import BSRoformer load_model_weights(model, r"E:\AI\models\torch_models\voice2stem_v03_fp16c_t2\voice2stem_v03_fp16c_t2.ckpt", strict=True) ``` ## 重要限制 - **所有 ONNX 都是静态形状**,必须严格按帧数喂(roformer 系 801 / 690 / 751 帧,dedup 是 16384 样本) - **roformer 系的输入不是音频,是 STFT**(`[B, 2, 1025, T, 2]`,最后一维实部/虚部),STFT/iSTFT 要自己做 - 详细参数见 `onnx/README.md`、`torch_models/README.md`,原理与来龙去脉见 `docs/` ## 法律 模型权重版权归 iZotope / BorisFX 所有。本目录仅用于格式兼容性与可移植性研究,请勿再分发。