whisper-medium-komixv2 (int8 q8, ONNX)

seastar105/whisper-medium-komixv2를 optimum 1.27 + onnxruntime 1.29로 익스포트하고 int8(q8) 동적 양자화한 모델 — meeting-ai-pwa의 전사(STT) 기본 모델 승격용.

파일

파일	크기	비고
onnx/encoder_model_quantized.onnx	~314MB	encoder (q8)
onnx/decoder_model_merged_quantized.onnx	~873MB	merged decoder (q8)
그 외	—	tokenizer/config (optimum 익스포트 원본)

로드 방법 (transformers.js)

import { pipeline } from '@huggingface/transformers';
const asr = await pipeline('automatic-speech-recognition', 'ALLUCY-Rodent/whisper-medium-ko', {
  dtype: { encoder_model: 'q8', decoder_model_merged: 'q8' },
});

변환 재현

# 1) 익스포트 (--task 생략 필수 — merged 디코더 미생성 버그)
optimum-cli export onnx -m seastar105/whisper-medium-komixv2 .convert/whisper-medium-komixv2-onnx
# 2) q8 양자화
python scripts/quantize_whisper_ko.py <encoder.onnx> <encoder_q8.onnx>
python scripts/quantize_whisper_merged_decoder.py <decoder_merged.onnx> <decoder_merged_q8.onnx>

A/B 검증: 2026-08-26, AI Hub 단문 3 + 장문 38.8s — small(+11.2%p 정확도 우위).