whisper-medium-komixv2-mlx

seastar105/whisper-medium-komixv2를 MLX 포맷으로 변환한 모델입니다. Apple Silicon (M1/M2/M3/M4)에서 mlx-whisper로 바로 사용할 수 있습니다.

원본 모델 정보

항목	내용
기반 모델	openai/whisper-medium (769M 파라미터)
학습 데이터	AI-Hub 한국어 음성 (회의, 전화, 방송, 주소, 다중도메인)
학습 환경	Google TPU Research Cloud, 50,000 스텝
원저자	seastar105

변환 상세

항목	값
변환 형식	Flax (flax_model.msgpack) → NumPy → safetensors
가중치 dtype	float16
가중치 키 수	946
파일 크기	~1.4 GB
Conv1d 축 변환	(out, in, kernel) → (out, kernel, in)
키 리매핑	HuggingFace → OpenAI → MLX 형식

평가 결과 (Zeroth-Korean 테스트셋)

46개 샘플 (전체 457개의 10%) 기준, greedy decoding:

모델	WER (↓)	CER (↓)	처리 시간
whisper-medium-komixv2-mlx (본 모델)	21.81%	6.14%	49초
mlx-community/whisper-medium-mlx (범용)	25.25%	6.89%	48초

한국어 CER 기준 0.75%p 개선 (범용 모델 대비).

사용법

pip install mlx-whisper

import mlx_whisper

result = mlx_whisper.transcribe(
    "audio.wav",
    path_or_hf_repo="youngouk/whisper-medium-komixv2-mlx",
    language="ko",
)
print(result["text"])

모델 설정 (config.json)

{
  "n_mels": 80,
  "n_audio_ctx": 1500,
  "n_audio_state": 1024,
  "n_audio_head": 16,
  "n_audio_layer": 24,
  "n_vocab": 51865,
  "n_text_ctx": 448,
  "n_text_state": 1024,
  "n_text_head": 16,
  "n_text_layer": 24,
  "model_type": "whisper"
}

라이선스

• 기반 모델 (OpenAI Whisper): MIT License
• 원본 모델 (seastar105/whisper-medium-komixv2): AI-Hub 한국어 음성 데이터로 학습됨
• AI-Hub 데이터 이용약관이 적용될 수 있습니다: AI-Hub 이용정책

감사

• seastar105 — 한국어 Whisper 모델 학습
• ml-explore/mlx-examples — MLX Whisper 구현
• AI-Hub — 한국어 음성 데이터셋 제공