analysis.md

Magnetar 技术分析

初始判断

• 模型来源是 GitHub 仓库 DiariZen，已隔离 clone 到任务目录，不修改上游源码。
• 目标硬件为 AX650，编译配置需要设置 npu_mode=NPU3。
• ACQUIRE 扫描未发现 .pt/.pth/.onnx/.safetensors 等权重，需从 README 或外部下载入口确认主模型。
• 未提供 BOARD，因此 RUNONBOARD 按流程记录为跳过。

主模型选择

• 根 README 的推理示例指定 ，因此将其作为默认主模型。
• DiariZen 完整 pipeline 包含分割模型、embedding 模型和聚类后处理；AXMODEL 优先导出可 NPU 化的分割神经网络 ，聚类/RTTM 后处理保留在 SDK CPU 侧实现。

主模型选择（修正）

• 根 README 的推理示例指定 BUT-FIT/diarizen-wavlm-large-s80-md，因此将其作为默认主模型。
• DiariZen 完整 pipeline 包含分割模型、embedding 模型和聚类后处理；AXMODEL 优先导出可 NPU 化的分割神经网络 pytorch_model.bin，聚类/RTTM 后处理保留在 SDK CPU 侧实现。

环境管理修正

• 用户要求虚拟环境统一使用 uv 管理。
• 已移除先前 python -m venv/pip 创建的半成品 cache/venv，后续使用 uv venv 与 uv pip。

EXPORT 问题：opset17 LayerNormalization

• torch.onnx.export 使用 opset 17 时生成 /LayerNormalization 节点，ONNX checker 报 input 1 is marked single but has an empty string。
• 判断为 PyTorch 2.1.1 对部分 LayerNorm/GroupNorm 图的 ONNX opset17 导出兼容问题。
• 修复策略：降级到 opset 16，让 LayerNorm 分解为基础算子后再进行 ONNX checker 与 ONNXRuntime 对分。

COMPILE 配置修正

• Pulsar2 20260520 镜像中 compiler.check 是整数/枚举字段，不接受 JSON bool false。
• 已移除该字段，避免配置解析失败；不启用 highest_mix_precision。

COMPILE 问题：Pulsar2 Fuse_LayerNormalization_v2 transformation check

• 首次完整编译在 Pulsar2 ONNX 优化阶段失败，位置为 float_optimizations.Fuse_LayerNormalization_v2。
• 差异约 max_abs_diff=0.00215，发生在输入 waveform 的前端归一化子图，属于 Pulsar2 transformation 校验容差失败。
• 尝试配置 onnx_opt.disable_transformation_check=true，不修改 ONNX 语义，不启用 highest_mix_precision。

COMPILE STOP：长序列 attention Gather tiling 失败

• 16 秒输入产生 799 帧，WavLM attention 中出现 (1,16,799,799) 的注意力张量。
• Pulsar2 在 AX650/NPU3 后端 tiling /layers.0/attention/Gather_1 时失败，workspace/mem_limit 不足或 Gather tiler 不支持该切片模式。
• 这属于需要修改模型图或导出策略的 COMPILE STOP，按流程暂停等待用户确认。
• 可选方案：
  1. 缩短静态输入窗口（例如 4s/8s），降低 attention 二次复杂度；需要重新 EXPORT/COMPILE/SIMULATE。
  2. 拆分 WavLM 与后端 Conformer，只编译后端或部分子图；SDK 侧保留 WavLM CPU/其他后端。
  3. 尝试不同 Pulsar2 版本或 compiler slice/tile 配置，但不保证解决 AxGather tiling。
  4. 改导出策略规避 Gather attention pattern。

4s 策略结果

• 已按用户确认将静态导出窗口从 16s 降到 4s。
• 4s ONNX 与 PyTorch 对分通过，cosine 接近 1，说明导出本身有效。
• Pulsar2 量化完成，MACs 降至约 16.6G，但 NPU 后端仍在同一 /layers.0/attention/Gather_1 失败。
• 判断：当前主要阻塞是 WavLM attention 导出图里的 Gather pattern 与 AX650 NPU backend tiler 不兼容；仅缩短到 4s 不足以解决。

Pulsar2 source patch validation

• User pointed out source Pulsar2 should be launched with USE_PULSAR2 (conda activate npu; source script/npu_dev).
• In /home/yrz/Codes/npu-codebase, the AX650 gather builder bug was localized to axnn/axnn/backend/ax650npu/oprimpl/gather.py.
• Root cause: when tx.strides[dim] > max_stride, the split workaround used tx[:, start:end], which supplies only two slice entries. For a collapsed 3-D tensor (1,16,44576), this accidentally slices dimension 1 and fails Tensor.__getitem__ because rank is 3. The intended split is along the last contiguous payload dimension.
• Patch: replace tx[:, start:end] with tx[..., start:end], and reuse the same ellipsis slice for the output tensor.
• Source Pulsar2 validation (compile_4s_srcpatch/compile.log) no longer fails at /layers.0/attention/Gather_1; compilation proceeds past Gather tiling and now stops later at AxQuantizedLayerNorm for /Gather_output_0 shape (1,64000).