xcloud-emb-zhtw

云碩科技（xCloudinfo）自製繁體中文檢索 Embedding 模型。

以 Google EmbeddingGemma-300m 為底模（非中國血統、Gemma 授權可商用），使用台達 DRCD 繁體中文閱讀理解資料集之 26,936 組 QA、經困難負例挖掘（hard negative mining）擴增為 80,808 組三元組，以 CachedMultipleNegativesRankingLoss（batch 256、bf16）對比學習微調而成。目標場景：繁體中文 RAG 檢索（知識管理、企業文件問答）。

評測（DRCD test：3,493 查詢 / 1,000 段落庫）

排名	模型	參數	hit@1	hit@5	hit@10	MRR@10
1	Qwen3-Embedding-8B（參考組）	8B	86.5	97.9	99.0	91.6
2	xcloud-emb-zhtw（本模型）	0.3B	85.4	97.4	98.4	90.7
3	multilingual-e5-large	0.56B	82.8	95.3	97.0	88.3
4	BAAI/bge-m3	0.57B	82.2	95.6	97.2	88.1
5	google/embeddinggemma-300m（原版底模）	0.3B	82.1	94.9	96.7	87.8
6	snowflake-arctic-embed-l-v2.0	0.57B	80.9	94.2	96.4	86.8

以 0.3B 參數超越所有 0.5B 級多語模型，距 8B 級開源第一名僅 1.1 個百分點（hit@1）。
相對原版底模 hit@1 +3.3 個百分點；相對 bge-m3 +3.2 個百分點。
誠實聲明：本評測與訓練資料同為 DRCD 分布（維基百科型知識問答），跨領域表現請以實際語料實測為準。

用法（sentence-transformers）

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("xCloudinfo/xcloud-emb-zhtw")

# 查詢端與文檔端必須使用 EmbeddingGemma 規格的 prompt：
q = model.encode("台灣最高的山是哪一座？",
                 prompt="task: search result | query: ")
d = model.encode(["玉山主峰海拔 3,952 公尺，為台灣第一高峰。"],
                 prompt="title: none | text: ")
print((q @ d.T))

向量維度：768（支援 Matryoshka 截斷）
最大長度：2048 tokens（8192 長上下文版本訓練中，將另行發布）
GGUF 版本（llama.cpp / ollama 適用）整備中

為什麼 0.3B 夠用——模型大小與檢索品質的取捨

Embedding 與生成模型的規律不同：參數容量買的是知識廣度與推理能力，而檢索要的是語意空間的排列品質。把語意相近的文字映射到相近的向量位置，任務複雜度的天花板遠低於文字生成——這也是 MTEB 排行榜長年由 0.1B-0.6B 模型霸榜（e5、bge、GTE 皆是）的原因。

本模型的實測數字說明了邊際效益：26 倍的參數差（8B vs 0.3B），在 3,493 題繁中檢索上只換到 1.1 個百分點的 hit@1（86.5 vs 85.4），hit@5 僅差 0.5。而 0.3B 換來的是：

推理成本約 1/26，單張消費級 GPU 甚至邊緣裝置（Jetson 等）即可部署
全庫重嵌（RAG 換模型的一次性成本）快一個數量級
查詢延遲低，適合線上服務

大容量模型真正的優勢在 zero-shot 廣度：數十種語言、冷門領域、程式碼檢索、指令式查詢。若你的場景是 單一語言、領域收斂的 RAG（如繁中企業文件問答），領域特化的小模型是成本效益最高的選擇；若場景高度跨域跨語言，仍建議評估更大的模型。

誠實的限制：本版本上限 2048 tokens（長上下文版訓練中）、非中文查詢與跨領域冷僻術語未特化。上線前建議以自有語料做 A/B 實測驗收。

訓練細節

項目	設定
底模	google/embeddinggemma-300m
資料	DRCD train 26,936 QA → 困難負例三元組 80,808 組
損失	CachedMultipleNegativesRankingLoss
批次	256（in-batch negatives + 3 hard negatives）
精度	bf16
硬體	NVIDIA RTX 6000 Ada（云碩地端 GPU 機群）