| ---
|
| license: other
|
| license_name: base-model-terms
|
| license_link: https://huggingface.co/Canon/nnsvs-wavehax-base/blob/main/THIRD_PARTY_LICENSES.md
|
| language:
|
| - ja
|
| tags:
|
| - singing-voice-synthesis
|
| - svs
|
| - nnsvs
|
| - enunu
|
| - utau
|
| - vocoder
|
| - wavehax
|
| ---
|
|
|
| # NNSVS/ENUNU 用 ベースモデル配布
|
|
|
| 少量データ（数十分）でも実用品質の歌声モデルを作れるようにするための、**fine-tune 前提のベースモデル**です。
|
| 音響モデルとボコーダーの2種類を配布します。
|
|
|
| 学習には5つの歌声データベース（波音リツ / 雨星サイファ / 花撫シア / 黒昴宿 / おふとんP、
|
| 女声3・男声2で音域をカバー）を使用しています。権利者から許諾を得ています。
|
|
|
| ---
|
|
|
| ## 収録物
|
|
|
| ### 1. `nnsvs_premium_acoustic_base_v1/` — NNSVS 音響ベース（102 MB）
|
|
|
| ENUNU Training Kit (ETK 2.0.0) レシピで学習した、timelag / duration / acoustic の3モデル。
|
| **新しい歌手のデータで fine-tune する際の初期値**として使います。
|
|
|
| ```
|
| timelag/ model.pth (1.7MB) + model.yaml, config.yaml
|
| duration/ model.pth (6.7MB) + model.yaml, config.yaml
|
| acoustic/ model.pth (93.9MB) + model.yaml, config.yaml
|
| scalers/ *.joblib (7個) ← ベース学習時の正規化パラメータ
|
| ```
|
|
|
| - `model.pth` は `optimizer_state` / `lr_scheduler_state` を除去済み（`state_dict` のみ）
|
| - acoustic は `nnsvs_world_multi_ar_f0_diff_mgcbap`（world特徴 + 拡散）
|
|
|
| ### 2. `wavehax_5db_base_65ch_v1/` — Wavehax ボコーダーベース（177 MB / 11 MB）
|
|
|
| ```
|
| base_finetune_gen_disc.pkl (177 MB) fine-tune 用（generator + discriminator）
|
| base_inference_gen.pkl (11 MB) 推論のみ用（generator）
|
| scaler.joblib 特徴の正規化パラメータ
|
| generator_wavehax_world65.yaml モデル定義
|
| ```
|
|
|
| **仕様**
|
| ```
|
| sample_rate 48000 / hop_length 240 / n_fft 960
|
| in_channels 65 = mgc(60) + bap(5) ※有声/無声は F0 で表現（vuvチャンネル無し）
|
| prior_type pcph_closed_form
|
| _target_ wavehax.generators.WavehaxGenerator
|
| ```
|
|
|
| この仕様は **taroushirani/nnsvs の `wavehax-support` ブランチの world 既定仕様に準拠**しており、
|
| 同ブランチ（および N-Editor の Wavehax 対応）で**コード改変なしにそのまま読めます**。
|
|
|
| ---
|
|
|
| ## 使い方
|
|
|
| ### 音響モデルを fine-tune する
|
| 新しい歌手のデータを ETK で前処理し、上記 `model.pth` を初期値として学習を再開します。
|
| ゼロから学習するより大幅に少ないデータ・時間で実用品質に到達します。
|
|
|
| > **重要**: 本ベースは `state_dict` のみを収録しています（配布サイズ削減のため、
|
| > `optimizer_state` / `lr_scheduler_state` を除去済み）。
|
| > このため fine-tune 時は **`train.resume.load_optimizer: false`** を指定してください
|
| > （`true` にすると `optimizer_state` が無いためエラーになります）。
|
| > 新しい歌手向けに optimizer を作り直すのは fine-tune の標準的な設定でもあります。
|
| >
|
| > nnsvs の `_resume()` は `checkpoint["state_dict"]` を常に読み、
|
| > `optimizer_state` / `lr_scheduler_state` は `load_optimizer` が真のときのみ読みます。
|
| > 3モデルとも `strict=True` で完全一致ロードできることを確認済みです
|
| > （timelag 0.41M / duration 1.67M / acoustic 23.42M パラメータ）。
|
|
|
| ### Wavehax を fine-tune する
|
| `base_finetune_gen_disc.pkl` を初期値に、対象歌手のデータで学習します。
|
| **未知の歌手でも 2,000 step 程度で実用品質**に到達することを確認しています
|
| （ゼロから 10,000 step 学習したものを上回る）。
|
|
|
| ### Wavehax をボイスバンクに同梱する
|
| 学習済み Wavehax を NNSVS のパック済みボイスバンクに組み込むには、
|
| `pack_wavehax_voicebank.py` を使ってください。以下の4点が追加され、
|
| `vocoder_type="wavehax"`（または `"auto"`）でそのまま合成できるようになります。
|
|
|
| ```
|
| vocoder_model.pth / vocoder_model.yaml / in_vocoder_scaler_{mean,var,scale}.npy
|
| ```
|
|
|
| ---
|
|
|
| ## 注意
|
|
|
| - **Wavehax の出力は決定的ではありません。** harmonic prior が初期位相のランダム化と
|
| 微小ノイズを含むため、同じ入力でも毎回わずかに異なる波形になります。
|
| 品質評価や回帰テストは波形一致ではなく、mel-L1 等の統計量で行ってください。
|
| - Wavehax の推論には `wavehax` パッケージ（+ `einops`）が必要です。
|
|
|
| ## ライセンス・クレジット
|
|
|
| 詳細は [THIRD_PARTY_LICENSES.md](THIRD_PARTY_LICENSES.md) を参照してください。
|
|
|
| ### ベースモデルの利用条件
|
|
|
| 学習データを提供いただいた5名の権利者から許諾を得ており、以下が可能です。
|
|
|
| - **公開配布：可**
|
| - **商用利用：可**（fine-tune した成果物の商用利用を含む）
|
| - **再配布：可**（ベース本体・派生モデルとも）
|
| - **クレジット表記：任意**（義務ではありませんが、記載していただけると嬉しいです）
|
|
|
| ```
|
| 波音リツ (カノン) / 雨星サイファ (ちかの) / 花撫シア (いつり) /
|
| 黒昴宿 (ATSUYA) / おふとんP (おふとんP)
|
| ```
|
|
|
| > 上記はこのベースモデル（重み）に対する条件です。
|
| > **各歌声データベース自体を利用する場合は、それぞれの配布元の規約に従ってください。**
|
|
|
| ### ソフトウェア
|
| Wavehax は MIT License (Copyright 2024 Reo Yoneyama, Nagoya University) です。
|
| |
