Result.md

AVX512 LLAMA.CPP 推論速度分析報告 (純文本格式)

==========================================

一、 數據概覽

以下為使用 llama.cpp 搭配 AVX512 CPU 指令集測試的模型推論速度 (Tokens Per Second, TPS) 匯總。

模型 (Model)	總參數/架構	Active Params	量化 (Quantization)	TPS	備註
LFM2-8B-A1B	8B	1B (A1B)	Q2_K	18.1	LFM2 系列最快
LFM2-8B-A1B-UD	8B	1B (A1B)	Q4_K_XL	14.8	平衡速度與精度
LFM2-8B-A1B	8B	1B (A1B)	Q4_K_M	14.5
LFM2-8B-A1B-UD	8B	1B (A1B)	Q8_K_XL	10.2
LFM2-8B-A1B	8B	1B (A1B)	Q8_0	9.6	LFM2 系列最慢
Qwen3-16B-A3B	16B	3B (A3B)	Q2_K	8.2
ERNIE-4.5-21B	21B	3B (A3B)	Q2_K	7.6
Qwen3-30B-A3B	30B	3B (A3B)	Q2_K	6.8
gpt-oss-20b	20B	3.6B	Q2_K	5.5	效率較低
Qwen3-30B-A3B	30B	3B (A3B)	TQ1_0	4.8	極低位元量化

==========================================

二、 核心實驗結論與分析

1. 量化等級對推論速度的影響

• 低位元量化提速明顯：

  • LFM2-8B 模型中，Q2_K (18.1 tps) 對比 Q8_0 (9.6 tps)，速度提升約 88%。
  • 結論：推論速度主要受記憶體頻寬限制，量化位元越低，模型數據加載越快，TPS 提升越顯著。

• 極低位元量化的代價：

  • Qwen3-30B 的 TQ1_0 (1-bit) 僅跑出 4.8 tps，比 Q2_K (6.8 tps) 更慢。
  • 分析：極低位元量化的解壓縮計算開銷 (Compute bound) 可能抵銷了節省記憶體頻寬的優勢，導致速度不升反降。

2. MoE 架構：活躍參數與總參數的權衡

MoE (Mixture of Experts) 架構在 CPU 上的效率取決於活躍參數數量 (Active Params)。

• Active 1B 的絕對優勢：

  • LFM2-8B-A1B（活躍 1B）達到 14.5-18.1 tps，提供接近小模型的速度，證明 MoE 在 CPU 推論上的高效率。

• 總參數仍是瓶頸：

  • 對於活躍參數為 3B (A3B) 的模型，隨著總參數從 16B 增加到 30B，TPS 從 8.2 下降到 6.8。
  • 分析：儘管每次計算量由活躍參數決定，但更大的總參數對記憶體頻寬仍構成壓力，導致推論速度下降。

3. 特定模型效能觀察

• LFM2 系列：在所有測試模型中，提供最佳的速度/效率。Q4_K_XL 版本 (14.8 tps) 在速度與精度之間取得最佳平衡。

• gpt-oss-20b：雖然 Active Params 為 3.6B，但速度 (5.5 tps) 明顯低於同級別的 ERNIE (7.6 tps) 和 Qwen3 (6.8 tps)。這可能與該模型在 llama.cpp 中的算子優化程度有關。

==========================================

三、 總結建議

1. 追求極致速度：應選擇 LFM2-8B-A1B-Q2_K，可提供 18.1 tps 的流暢度。

2. 平衡品質與速度：LFM2-8B-A1B-UD-Q4_K_XL 是最佳甜蜜點，速度流暢且保持較高精度 (14.8 tps)。

3. 大模型使用門檻：若使用 20B 或 30B 級別的模型，預期速度將降至 5-8 tps 範圍，可能會出現較明顯的生成延遲。

==========================================