metadata
license: mit
tags:
- kv-cache
- llm-inference
- optimization
- compression
language:
- zh
- en
📄 KV Cache Compression for Text-Only LLMs
纯文本大语言模型 KV 缓存压缩 — 完整技术报告
内容
| 文件 | 说明 |
|---|---|
kv_cache_compression_report.md |
📊 完整技术报告（架构/选型/实现/评测） |
kv_compress_plan.md |
🗺 详细实施计划（四层方案/场景矩阵/路线图） |
核心方案
四层正交叠加的 KV 缓存压缩：
L1: INT8 per-channel 量化 → 显存 -50%, 几乎无损
L2: StreamingLLM 滑窗 → 长对话稳定, 零成本
L3: H2O 驱逐 → 再省 40%, 按场景启用
L4: K/V 分离存储 → 显存换回溯能力
场景压缩率：客服 4-6x / 长文 6-8x / 代码 6-8x / RAG 3-4x / 推理 3-4x
关键洞察
纯文本模型可激进压缩（量化+驱逐），推理模型（R1 类）必须保守（量化+滑窗+分级）。 场景判定比算法本身更重要。
Cloud LTE Studio · 2026-08-06 · MIT License