---
language: ja
license: apache-2.0
library_name: onnx
---

# karin v1 — 日本語母音検出 ONNX モデル

日本語音声からフレーム単位（20ms）で母音ラベルを推定する軽量 ONNX モデルです。\
VOICEROID / AivisSpeech 等のリップシンク非対応 TTS にリップシンクを後付けする用途を想定しています。\
ブラウザ完結（onnxruntime-web）で動作する 11.25 MB の fp16 モデルです。

## 仕様

本モデルの入出力・サイズ等の主要仕様は以下のとおりです。

| 項目 | 値 |
| --- | --- |
| 入力 | `wav` — `[batch, samples]` float32, 16 kHz mono, 値域 [-1, 1] |
| 出力 | `logits` — `[1, T, 8]` float32（T = samples // 320 + 1） |
| クラス | `a i u e o N cons pau`（後述） |
| フレーム長 | 20 ms（hop 320 サンプル @ 16 kHz） |
| パラメータ数 | 4.51M |
| ファイルサイズ | 11.25 MB（fp16） |

- メル特徴量抽出と CMVN（発話単位正規化）は ONNX グラフ内部にあります。\
  ブラウザ側で特徴量計算は不要で、生の 16 kHz mono 波形をそのまま入力できます。
- 入出力テンソルは float32 です（fp16 は重みのみ）。
- 1 発話ずつ入力します（出力は常に batch=1）。

## クラス

出力 logits の 8 クラスは以下のとおりです。

| Index | ラベル | 説明 |
| --- | --- | --- |
| 0 | `a` | 母音 /a/ |
| 1 | `i` | 母音 /i/ |
| 2 | `u` | 母音 /u/ |
| 3 | `e` | 母音 /e/ |
| 4 | `o` | 母音 /o/ |
| 5 | `N` | 撥音 /N/ |
| 6 | `cons` | 子音（促音 cl 含む） |
| 7 | `pau` | 無音・休止 |

リップシンク用途では `cons` を直後の母音ランへ吸収する後処理が推奨されます。\
口の動きから子音は視覚上ほぼ識別できず、母音境界を連結することで母音間の遷移が滑らかになります。

## 使い方

Python（onnxruntime）と JavaScript（onnxruntime-web）での最小推論例を示します。

### Python（onnxruntime）

```python
import numpy as np
import onnxruntime as ort
import librosa

LABELS = ["a", "i", "u", "e", "o", "N", "cons", "pau"]

session = ort.InferenceSession("karin_vowel_v1_fp16.onnx")
wav, _ = librosa.load("input.wav", sr=16000, mono=True)
logits = session.run(None, {"wav": wav[None, :].astype(np.float32)})[0]
frames = logits[0].argmax(axis=-1)          # (T,) クラス index
labels = [LABELS[i] for i in frames]        # 20ms ごとのラベル列
```

### JavaScript（onnxruntime-web）

```javascript
import * as ort from "onnxruntime-web";

const LABELS = ["a", "i", "u", "e", "o", "N", "cons", "pau"];

const session = await ort.InferenceSession.create("karin_vowel_v1_fp16.onnx");
// wav: 事前に取得した Float32Array (16 kHz mono, [-1, 1])
const tensor = new ort.Tensor("float32", wav, [1, wav.length]);
const { logits } = await session.run({ wav: tensor });

// logits.data は Float32Array (row-major, shape = [1, T, 8])
const T = logits.dims[1];
const frames = new Array(T);
for (let t = 0; t < T; t++) {
  let best = 0;
  for (let c = 1; c < 8; c++) {
    if (logits.data[t * 8 + c] > logits.data[t * 8 + best]) best = c;
  }
  frames[t] = best;
}
const labels = frames.map(i => LABELS[i]);   // 20ms ごとのラベル列
```

## 性能評価

`vowel_only_acc` は母音フレーム（a/i/u/e/o/N）のみで計算したフレーム単位精度です。\
JSUT は本 ONNX の学習に使用していないドメイン、AivisHub は学習データと同一ドメインでの評価です。

| Domain | Frames | acc | macro_f1 | vowel_f1 | vowel_only_acc |
| --- | --- | --- | --- | --- | --- |
| JSUT basic5000 (実音声) | 92,859 | 0.9081 | 0.8839 | 0.8854 | 0.9102 |
| AivisHub 合成 TTS | 175,259 | 0.8107 | 0.7600 | 0.7750 | 0.8692 |

## 学習データ

本モデルの学習に使用したコーパス・音声リソースは以下のとおりです。

- ReazonSpeech small
- つくよみちゃんコーパス Vol.1
- あみたろのITAコーパス読み上げ音声
- AivisHub の ACML 1.0 / CC0 公開モデルによる合成音声

JSUT は教師プローブの学習 GT と評価用にのみ使用しており、本 ONNX の学習には使用していません。\
詳細な出典・ライセンスは `NOTICE` ファイルを参照してください。

## ライセンス

Apache License 2.0

学習データのライセンス・出典は `NOTICE` ファイルに集約してあります。

## クレジット・謝辞

本モデルの学習に使用したリソース提供元への謝辞を以下に示します。

- あみたろのITAコーパス読み上げ音声（<https://amitaro.net/voice/corpus-list/ita/>）
- つくよみちゃんコーパス（<https://tyc.rei-yumesaki.net/material/corpus/>）
- ReazonSpeech（<https://research.reazon.jp/>）
- AivisHub（<https://hub.aivis-project.com/>）

## 組み込みアプリへのお願い

配布時には同梱の `NOTICE` ファイルの内容を含めてください。