README.md

---
title: CHIP — Chinese High-density Instruction Protocol
emoji: 🀄
colorFrom: blue
colorTo: yellow
sdk: gradio
sdk_version: 4.44.0
app_file: app.py
pinned: true
license: apache-2.0
short_description: 数据驱动的中文 prompt 协议化压缩工具
tags:
  - chinese
  - prompt-engineering
  - llm
  - tokenizer
  - compression
---

# CHIP · 中文高密度提示协议

把啰嗦的中文 prompt 自动压成结构化高密度形式 — **数据驱动,不是品味**。

## 🎯 核心发现

基于 9 个主流 tokenizer × 200 句 FLORES-200 平行语料的 1800 行实测:

- **6 个国产 tokenizer 上中文 prompt token 数 ≤ 等价英文**
  (Baichuan2: 中文省 12.5%,DeepSeek-V3: 省 8.4%,GLM-4: 省 7.6%)
- **OpenAI cl100k 上中文比英文贵 73%**
- **`###` 标签在所有 9 个 tokenizer 上都是 1 token**,完爆方括号方案

## 🔧 怎么用

在左侧粘贴你的中文 prompt,选择目标模型,点压缩。右侧会展示:

1. **压缩后的 prompt**(可一键复制)
2. **Token 统计**(在你选的 tokenizer 上节省了多少)
3. **命中的规则**(audit trail,可追溯每条改动)

## 📦 GitHub / pip

```bash
pip install chip-prompt
```

```python
from chip import compress
compress("请你帮我对下面这段文字进行一个全面的分析")
# → '分析下面这段文字'
```

🔗 [GitHub repo](https://github.com/marcuscw/CHIP) · [SPEC.md](https://github.com/marcuscw/CHIP/blob/main/SPEC.md) · [Datasets](https://github.com/marcuscw/CHIP/tree/main/results)

## ⚖️ License

Apache-2.0