LaraAI-Labs/KURE-v1-onnx-int8

KURE-v1 ONNX (INT8)

nlpai-lab/KURE-v1 (BGE-M3 한국어 파인튜닝)의 ONNX INT8 변환본. 온디바이스(엣지) 한국어 의미검색 임베더용.

스펙

• 양자화: int8 동적 양자화 가중치 + fp32 출력 (onnxruntime.quantization.quantize_dynamic, QInt8). ~568MB.
• 그래프: opset 17, XLM-RoBERTa.
• 입력: input_ids, attention_mask (2-input, 동적 batch/seq). 출력: last_hidden_state [batch, seq, 1024].
• 풀링: 모델은 last_hidden_state 만 출력 — 풀링/정규화(masked mean pool + L2)는 소비측에서 수행. 1024-dim.
• 토크나이저: XLM-R SentencePiece (sentencepiece.bpe.model 동봉 — xlm-roberta-large/BGE-M3 와 동일, sha256 cfc8146a…).

생성 방법 (재현)

python export_embedder_onnx.py --model nlpai-lab/KURE-v1 --out ./kure-v1 --dtype int8

torch.onnx.export(legacy, eager attention) → quantize_dynamic(QInt8). 입출력 이름은 소비 C++ 임베더 계약 고정.

라이선스

원본 nlpai-lab/KURE-v1 (MIT) 의 파생. MIT, 원저작자 표기.