README.md

---
license: mit
tags:
  - kv-cache
  - llm-inference
  - optimization
  - compression
language:
  - zh
  - en
---

# 📄 KV Cache Compression for Text-Only LLMs

**纯文本大语言模型 KV 缓存压缩 — 完整技术报告**

## 内容

| 文件 | 说明 |
|------|------|
| `kv_cache_compression_report.md` | 📊 完整技术报告（架构/选型/实现/评测） |
| `kv_compress_plan.md` | 🗺 详细实施计划（四层方案/场景矩阵/路线图） |

## 核心方案

四层正交叠加的 KV 缓存压缩：

```
L1: INT8 per-channel 量化   → 显存 -50%, 几乎无损
L2: StreamingLLM 滑窗       → 长对话稳定, 零成本
L3: H2O 驱逐                → 再省 40%, 按场景启用
L4: K/V 分离存储            → 显存换回溯能力
```

**场景压缩率**：客服 4-6x / 长文 6-8x / 代码 6-8x / RAG 3-4x / 推理 3-4x

## 关键洞察

> 纯文本模型可激进压缩（量化+驱逐），推理模型（R1 类）必须保守（量化+滑窗+分级）。
> **场景判定比算法本身更重要。**

---

*Cloud LTE Studio · 2026-08-06 · MIT License*