photon-models / README.md
Sucial's picture
Upload folder using huggingface_hub
fac7535 verified
|
Raw History Blame Contribute Delete
3.69 kB
# iZotope / BorisFX Photon 模型提取与转换
从 `C:\Users\Public\Documents\BorisFX\iZotope\models` 的 14 个 `.model4` 还原出来的模型资产。
## 目录
| 目录 | 内容 |
|---|---|
| `raw/<模型>/` | 一个模型一个文件夹:`<模型>.safetensors`(解混淆后的权重)+ `blobs/`(容器内嵌的 ONNX/GGUF/CoreML 产物) |
| `torch_models/` | 可被 **pymss / MSST** 直接加载的 4 个模型(`.ckpt` + `config.yaml`) |
| `onnx/` | 13 个**独立可跑**的 ONNX(权重已内联,不依赖 iZotope 运行时) |
| `docs/` | 分析报告与原理说明 |
| `scripts/` | 全部脚本与中间数据 |
| `output/` | 测试音频与测试日志 |
## 三个核心结论
**1. `.model4` 既不是 torch,也不是"加密的 torch"**
它是 **safetensors 容器 + 每个文件一条 256 字节循环 XOR 密钥流**。没有 pickle、没有 zip、程序里也没有 libtorch。
**2. 它是多后端封装,Windows 上实际用 onnxruntime 跑**
容器里同时装了 ONNX 图、GGUF、CoreML(+MLX) 三套产物,元数据 `graphs` 里列明每个模型支持哪些后端。C++ 侧只做容器解析、张量绑定和会话管理——**模型结构就在 ONNX 图里**,不是硬编码在程序里。
**3. 14 个模型,覆盖 14 个**
- `torch_models/` 4 个(BS-RoFormer,pymss / MSST 可直接加载)
- `onnx/` 13 个(其中 3 个与上者重叠;`music4stemhq` 容器里没有 ONNX 图,只能走 PyTorch)
## 14 个模型分别是什么
| 模型 | 类型 | 作用 |
|---|---|---|
| voice2stem_v03 | BS-RoFormer | 人声 / 伴奏 2 轨 |
| voicesep2stem | BS-RoFormer | 人声 / 其他(说话人由 diarization 再切) |
| drumsep_1.3 | BS-RoFormer | 鼓 5 件:kick/snare/toms/hihat/cymbals |
| music4stemhq | BS-RoFormer | 音乐 4 轨 HQ:drums/bass/vocals/other |
| musicnew4stem | SCNet | 音乐 4 轨:drums/bass/vocals/other |
| cinema4stem | Bandit v2 | 影视 4 轨:dialogue/music/sfx/other |
| voice_restore | BS-RoFormer + 条件头 | 语音修复(降噪/去混响/音色/电平),非分轨 |
| indoor / indoor-noisy / outdoor / outdoor-traffic / outdoor-wind | ConvNeXt U-Net GAN | 场景降噪 / 去残留 |
| redimnet_ptn_activity | ReDimNet | 说话人嵌入编码 |
| speaker_activity_single_pass | 小型 Transformer 打分头 | 说话人活动检测 |
## 快速开始
```python
# ONNX(推荐,纯推理)
import onnxruntime as ort, numpy as np
sess = ort.InferenceSession(r"E:\AI\models\onnx\indoor_dedup_v01.onnx",
providers=["CPUExecutionProvider"])
inp = sess.get_inputs()[0] # Input1 [1,1,1,16384] 原始音频
out = sess.run(None, {inp.name: np.zeros(inp.shape, dtype=np.float32)})
```
```python
# PyTorch(需要 pymss 或 MSST 的模型定义)
import sys; sys.path.insert(0, r"E:\vs\pymss-core")
from pymss_core.checkpoint import load_model_weights
from pymss_core.modules.bs_roformer.bs_roformer import BSRoformer
load_model_weights(model, r"E:\AI\models\torch_models\voice2stem_v03_fp16c_t2\voice2stem_v03_fp16c_t2.ckpt",
strict=True)
```
## 重要限制
- **所有 ONNX 都是静态形状**,必须严格按帧数喂(roformer 系 801 / 690 / 751 帧,dedup 是 16384 样本)
- **roformer 系的输入不是音频,是 STFT**(`[B, 2, 1025, T, 2]`,最后一维实部/虚部),STFT/iSTFT 要自己做
- 详细参数见 `onnx/README.md`、`torch_models/README.md`,原理与来龙去脉见 `docs/`
## 法律
模型权重版权归 iZotope / BorisFX 所有。本目录仅用于格式兼容性与可移植性研究,请勿再分发。