FlowHigh.AXERA / README.md
HY-2012's picture
Shorten AX650 note and recommend LavaSR
096fc39 verified
|
Raw History Blame Contribute Delete
9.99 kB
metadata
library_name: axera
pipeline_tag: audio-to-audio
base_model: kiriyamaX/FLowHigh_indep_adaptive_400k
language:
  - en
  - zh
tags:
  - axera
  - ax650
  - npu3
  - flowhigh
  - speech-super-resolution
  - audio-super-resolution
  - bandwidth-extension
  - real-time
  - python

FlowHigh.AXERA

8/16 kHz 语音 → 48 kHz 超分 · AX650 NPU3 · Python RTF 0.24(20–60 s 音频)· 2 个 axmodel 共 58 MB · 不做降噪

RTF Size GitHub

AX650 板端实测说明:AudioSR、LavaSR、FlowHigh 均已在 AX650N / NPU3 板端跑通。综合效果和速度最好的是 LavaSR:C++ 全链路 RTF ≈ 0.061(约 16× 实时),支持 8–48 kHz → 48 kHz 和降噪。推荐优先使用 LavaSR。

目录

  • 快速开始
  • 结果
  • 推理速度
  • 数据来源
  • License

快速开始(AX650 板端)

从 HuggingFace 下载 models/、assets/、python/、samples/,在包根目录运行:

bash run_ax650.sh samples/listen/8k/OSR_us_000_0010_input_8k.wav output.wav

输入支持 8 kHz / 16 kHz,输出固定 48 kHz。默认 1-step flow、std=1e-4;不做降噪。

模型为 FLowHigh_indep_adaptive_400k(481,490,826 bytes,Flow 35.4M + BigVGAN 14.0M 参数)。AX650 侧拆成 Flow 38 MB + BigVGAN 20 MB 两个 U16/S8 axmodel;38 MB 是 S8 权重后的正常大小。

结果

8 kHz 输入(Open Speech / Samplelib)

English

OSR_us_000_0010

版本 输入 FlowHigh 输出
8k

OSR_us_000_0013

版本 输入 FlowHigh 输出
8k

OSR_us_000_0057

版本 输入 FlowHigh 输出
8k

OSR_us_000_0059

版本 输入 FlowHigh 输出
8k

Chinese

OSR_cn_000_0072

版本 输入 FlowHigh 输出
8k

OSR_cn_000_0073

版本 输入 FlowHigh 输出
8k

OSR_cn_000_0074

版本 输入 FlowHigh 输出
8k

OSR_cn_000_0075

版本 输入 FlowHigh 输出
8k

Samplelib(1 分钟,频谱图为前 10 s)

samplelib_speech_1m

版本 输入 FlowHigh 输出
8k

16 kHz 参照(人声)

同一批人声降采样到 16 kHz 后输入;8k 行为 8 kHz 输入,16k 行为 16 kHz 输入。

speech_2

版本 输入 FlowHigh 输出
8k

16k

speech_3

版本 输入 FlowHigh 输出
8k

16k

推理速度:RTF

链路 Python RTF
8/16 kHz → 48 kHz 0.24

20–60 s 音频,1-step flow,BigVGAN 1 s 分块、0.2 s overlap。5 s 短音频因分块/启动开销会略高;C++ 运行时尚未提供。

数据来源

License

MIT;FLowHigh 与 BigVGAN 均为 MIT。模型 checkpoint 来自上游/公开镜像,仓库不重复分发训练权重。