melo_mai_saya

한국어 TTS용으로 학습한 MeloTTS 기반 모델입니다.

기존 MeloTTS 파이프라인을 커스터마이즈하고 onnx 변환을 추가했습니다.
현재 리포지토리에는 세 가지 화자 모델이 있으며,
그중 하나는 데이터셋으로 simon3000/genshin-voice를 사용했습니다.
나머지 두 개는 voice conversion으로 만든 고유 데이터셋으로 훈련되었습니다.

자세한 사용법은 리포지토리를 참고하세요.

Sample

voice conversion으로 만든 모델의 샘플입니다.

Model Details

• Base repository: myshell-ai/MeloTTS
• Language: Korean (ko)
• BERT frontend: {BERT_MODEL_ID} (예: kykim/bert-kor-base)
• Author: 안호성 (GitHub: hobi2k, Hugging Face: ahnhs2k)
• Project repo: https://github.com/hobi2k/Kor_Voice_Lab

Training Data

데이터는 아래 형식의 filelist/metadata를 사용했습니다.

wav_path|speaker_name|language_code|text

전처리 정책 예시:

• 한국어 텍스트 필터링
• 특수 기호/메타 태그 제거
• 오디오 리샘플링 및 포맷 정규화

Training Procedure

• Framework: PyTorch
• Training entry: torchrun -m melo.train
• 주요 설정: {CONFIG_PATH_OR_SUMMARY}
• Checkpoints:
  • G_*.pth (generator)
  • D_*.pth (discriminator)
  • DUR_*.pth (duration discriminator)

ONNX Export (Optional)

Kor_Voice_Lab에서는 ONNX 모델을 별도로 운영할 수 있습니다.

• BERT ONNX
• TTS ONNX

관련 스크립트:

• scripts/bert_onnx_converter.py
• scripts/onnx_converter.py
• scripts/infer_onnx.py
• tts_runtime/infer_onnx.py

Inference

PyTorch 추론

uv run python -m melo.infer \
  -t "안녕하세요. 테스트 문장입니다." \
  -m {G_CHECKPOINT_PATH} \
  -l KR \
  -o {OUT_DIR}

ONNX 추론

uv run python scripts/infer_onnx.py \
  --onnx {TTS_ONNX_PATH} \
  --bert {BERT_ONNX_PATH} \
  --config {CONFIG_PATH} \
  --text "안녕하세요. ONNX 추론 테스트입니다." \
  --speaker 0 \
  --lang KR \
  --device cpu \
  --out out.wav

Limitations

• 데이터셋 도메인/화자 편향이 음색과 발음 품질에 영향을 줄 수 있습니다.
• 숫자/외래어/특수기호가 많은 문장에서 발음 오류가 발생할 수 있습니다.
• ONNX 품질은 변환 옵션(opset, dynamic shape, 정밀도)에 민감합니다.

Citation

@misc{kor_voice_lab,
  title        = {Kor Voice Lab: Korean ASR-TTS Training, ONNX Conversion, and Runtime Pipeline},
  author       = {안호성 (GitHub: hobi2k)},
  year         = {2026},
  url          = {https://github.com/hobi2k/Kor_Voice_Lab},
  note         = {MeloTTS 기반 한국어 확장 및 ONNX 런타임 개선}
}

Acknowledgements

• MeloTTS: https://github.com/myshell-ai/MeloTTS
• faster-whisper: https://github.com/SYSTRAN/faster-whisper
• kykim/bert-kor-base: https://huggingface.co/kykim/bert-kor-base
• ONNX Runtime: https://onnxruntime.ai/