You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

このモデルは moe-speech-plus(情報解析目的限定・再配布禁止)を学習データとする成果物です。研究・情報解析目的でのみ利用し、重みを再配布しないことに同意してください。 This model is trained on moe-speech-plus (research/text-and-data-mining use only, no redistribution). By requesting access you agree to use it for research purposes only and not to redistribute the weights.

CosyVoice3-ja DELTA-TTS delta weights(日本語・拡散デコーディング変換)

日本語 FT 済み CosyVoice3-0.5B の AR LM を、DELTA-TTS(arXiv 2607.04140)方式で masked diffusion LM に変換した delta 重み(LoRA r=64 + Conformer conv + [M] 埋め込み、約94M) です。凍結バックボーンに適用することで、AR デコーディングを信頼度順序の並列アンマスキングに置き換えます。

実装・再現手順: ayutaz/CosyVoice feature/delta-tts-reproduction (docs/delta_tts_speed_quality_report.md に計測詳細)
学習データ: ayousanz/moe-speech-plus 470h(MOS/cross-CER フィルタ済み 289,893 発話)

計測結果(RTX 4070 Ti SUPER、漢字混じり20文、whisper large-v3 CER)

経路	CER	RTF	速度比
AR(日本語FT、従来)	0.0854	1.85	1.0×
delta T=8(本重み avg_15k30k)	0.0908〜0.134*	0.73	E2E 2.5× / LM単体 5.3×

*長さルールにより変動(トークン比: 0.088〜0.091 / モーラ長: 0.134。未知文ホールドアウトではモーラ長が優位 0.164 vs 0.216)。詳細はレポート参照。

ファイル

ファイル	内容
`avg_15k30k_delta.pt`	最終成果物: step 15k/20k/25k/30k の SWA 平均
`avg_20k30k_delta.pt`	3点平均の変種
`epoch_0_step_15000_delta.pt` ほか単体	平均の構成要素(独自の窓で再平均する場合用)
`calibration_tokens_per_mora.json`	モーラ長ルールの校正値(median 4.708 @25Hz)

使い方

ベースとして (1) Fun-CosyVoice3-0.5B と (2) 日本語 FT 済み llm(ayousanz/cosyvoice3-ja-llm、private — アクセスは別途相談)が必要です。

import torch
from cosyvoice.cli.cosyvoice import AutoModel
from cosyvoice.llm.diffusion_llm import DiffusionCosyVoice3LM

cosyvoice = AutoModel(model_dir='pretrained_models/Fun-CosyVoice3-0.5B')
state = torch.load('checkpoints/cosyvoice3_ja/llm.pt', map_location='cpu', weights_only=True)
cosyvoice.model.llm.load_state_dict({k: v for k, v in state.items() if k not in ('epoch', 'step')}, strict=True)
cosyvoice.model.llm = DiffusionCosyVoice3LM.from_ar(
    cosyvoice.model.llm, delta_checkpoint='avg_15k30k_delta.pt', num_steps=8)
cosyvoice.model.llm.to(cosyvoice.model.device).eval()
# 以降は通常の inference_cross_lingual / inference_zero_shot がそのまま使える(自動で拡散デコーディング)

ライセンス

学習データ moe-speech-plus の条件(情報解析目的限定・再配布禁止)を継承します。研究目的でのみ利用し、重みの再配布は行わないでください。

Downloads last month: -

Model tree for tts-dataset/cosyvoice3-ja-delta

Base model

FunAudioLLM/Fun-CosyVoice3-0.5B-2512

Finetuned

(17)

this model

Paper for tts-dataset/cosyvoice3-ja-delta

DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech

Paper • 2607.04140 • Published 6 days ago