README.md

# Diffutslator

基于扩散模型的中英互译系统。使用非自回归并行生成，通过DDIM加速推理

## 原理

### 扩散翻译的核心思想

传统翻译模型（如Transformer）是自回归的，逐token生成。扩散模型则是非自回归的，并行生成所有token：

```
自回归:  [SOS] → [token1] → [token2] → [token3] → [EOS]
                  ↓           ↓           ↓
扩散:    噪声 ──同时去噪──→ 完整句子（一步生成所有token）
```

### 双向翻译架构

```
┌─────────────────────────────────────────────────────────────────────┐
│                           噪声空间 (共享)                            │
│                             [L × D]                                 │
│                                                                     │
│    中文嵌入 ──前向扩散(q_sample)──→ 噪声 ←──前向扩散── 英文嵌入      │
│                    ↓                       ↓                        │
│              中文去噪网络            英文去噪网络                    │
│                    ↓                       ↓                        │
│              中文逆扩散              英文逆扩散                      │
│                    ↓                       ↓                        │
│                中文输出               英文输出                       │
└─────────────────────────────────────────────────────────────────────┘
```

### 翻译流程

以 **中译英** 为例：

1. **编码**: 中文句子 → 中文token → 中文嵌入向量
2. **前向扩散**: 中文嵌入添加噪声到指定时间步（或到纯噪声）
3. **逆扩散去噪**: 
   - 前半段：用中文去噪网络（保持源语言特征）
   - 后半段：切换到英文去噪网络（转向目标语言）
4. **解码**: 最终嵌入 → 英文token → 英文句子

### 为什么扩散能做翻译？

扩散过程将数据逐步加噪变成纯噪声，逆扩散则从噪声恢复数据。关键洞察：

- 两种语言嵌入经过充分加噪后，在噪声空间中变得"不可区分"
- 从这个共享噪声空间出发，用不同语言的去噪路径，可以恢复到不同语言
- 类比：把中文和英文都"打散"成同样的积木，再用英文的说明书拼回去

## 安装

### 依赖

```bash
pip install torch tqdm
```

### 硬件要求

- CPU训练可用（本项目针对CPU优化）
- 内存：至少4GB
- 推荐：GPU可大幅加速

## 快速开始

### 训练

```bash
# 快速验证模式（1000条数据，5轮）
python train.py --quick

# 完整训练
python train.py

# 从检查点续训
python train.py --resume checkpoints/epoch_1.pt
```

训练中按 `Ctrl+C` 可安全中断，自动保存 `checkpoints/interrupted.pt`。

### 推理

```bash
# 中译英
python inference.py --text "你好世界" --zh

# 英译中
python inference.py --text "Hello world" --en

# 交互模式
python inference.py --interactive
```

## 详细使用

### 训练命令

```bash
# 基本训练
python train.py

# 快速验证（小数据集，少轮次）
python train.py --quick

# 从检查点续训
python train.py --resume checkpoints/best.pt

# 使用更多数据
python train.py --max-samples 10000

# 指定轮次和批量
python train.py --epochs 20 --batch-size 32
```

### 推理命令

```bash
# 基本推理（中译英）
python inference.py --text "今天天气很好" --zh

# 英译中
python inference.py --text "The weather is nice today" --en

# 使用DDPM（更慢但可能更准）
python inference.py --text "你好" --zh --ddpm

# 交互模式
python inference.py --interactive

# 指定检查点
python inference.py --text "你好" --zh --checkpoint checkpoints/best.pt

# 静默模式（不显示扩散过程）
python inference.py --text "你好" --zh --quiet
```

## 配置参数

### 模型配置 (ModelConfig)

| 参数 | 默认值 | 说明 |
|------|--------|------|
| `d_model` | 256 | 嵌入维度，影响模型容量 |
| `n_heads` | 4 | 多头注意力头数 |
| `n_layers` | 4 | Transformer编码器层数 |
| `d_ff` | 512 | 前馈网络隐藏层维度 |
| `max_len` | 128 | 最大序列长度 |
| `dropout` | 0.1 | Dropout比率 |
| `vocab_size_zh` | 8000 | 中文词表大小 |
| `vocab_size_en` | 8000 | 英文词表大小 |

### 扩散配置 (DiffusionConfig)

| 参数 | 默认值 | 说明 |
|------|--------|------|
| `timesteps` | 1000 | 训练时的扩散总步数 |
| `ddim_steps` | 50 | DDIM推理采样步数 |
| `beta_start` | 0.0001 | 噪声调度起始值 |
| `beta_end` | 0.02 | 噪声调度结束值 |

### 训练配置 (TrainingConfig)

| 参数 | 默认值 | 说明 |
|------|--------|------|
| `batch_size` | 64 | 批量大小 |
| `learning_rate` | 1e-4 | 学习率 |
| `weight_decay` | 0.01 | 权重衰减 |
| `warmup_steps` | 500 | 学习率预热步数 |
| `epochs` | 10 | 训练轮次 |
| `save_every` | 1 | 每N轮保存检查点 |

### 数据配置 (DataConfig)

| 参数 | 默认值 | 说明 |
|------|--------|------|
| `max_samples` | None | 最大样本数（None=全部） |
| `min_len` | 2 | 最小句子长度 |
| `max_len` | 128 | 最大句子长度 |

## 架构说明

### 分词器 (tokenizer.py)

使用BPE（Byte Pair Encoding）算法：

- **中文**: 字符级为主，BPE处理罕见词和数字
- **英文**: 标准BPE子词分割
- 词表大小：各8000 tokens
- 特殊token: `<pad>`, `<sos>`, `<eos>`, `<unk>`, `<mask>`

```python
# 示例
tokenizer_zh.encode("你好世界")  # [123, 456, 789]
tokenizer_en.encode("hello world")  # [234, 567]
```

### 嵌入层 (embedding.py)

```python
class LanguageEmbedding:
    token_embedding    # [vocab_size, d_model]
    position_embedding # [max_len, d_model]
    length_embedding   # [max_len, d_model]
```

将离散token转换为连续向量，加入位置信息。

### 噪声预测网络 (model.py)

```python
class DiffusionTransformer:
    """基于Transformer的噪声预测网络"""
    
    # 输入: x_t [batch, len, d_model], t [batch], lang [str]
    # 输出: predicted_noise [batch, len, d_model]
    
    # 结构:
    # 1. 时间步嵌入 (sinusoidal)
    # 2. 语言特定输入投影
    # 3. N层 Transformer blocks
    # 4. 语言特定输出投影
```

### 扩散过程 (diffusion.py)

```python
# 前向扩散（加噪）
x_t, noise = diffusion.q_sample(x_0, t)  # x_0 → x_t

# 反向扩散（去噪）
x_t_minus_1 = diffusion.p_sample(x_t, t, predicted_noise)
```

使用线性噪声调度，支持DDIM加速采样。

### 语言切换器 (switcher.py)

```python
class LanguageSwitcher:
    """判断当前噪声状态更接近哪种语言"""
    
    # 输入: x_t [batch, len, d_model]
    # 输出: lang_prob [batch, 2]  # [中文概率, 英文概率]
```

在推理时判断何时切换去噪路径。

## 文件结构

```
diffutslator/
├── config.py       # 超参数配置
├── tokenizer.py    # BPE分词器
├── embedding.py    # 嵌入层
├── model.py        # 噪声预测网络 (Transformer)
├── diffusion.py    # 扩散过程 + DDIM采样
├── switcher.py     # 语言切换分类器
├── dataset.py      # 数据加载（流式）
├── train.py        # 训练脚本
├── inference.py    # 推理脚本
├── main.py         # 主入口
├── utils.py        # 工具函数
├── .cache/         # 分词器缓存
│   ├── tokenizer_zh.json
│   └── tokenizer_en.json
└── checkpoints/    # 模型检查点
    ├── best.pt
    ├── epoch_1.pt
    └── interrupted.pt
```

## 数据集

- `_dataset/cveto/`
- `_dataset/tatoeba.tsv`

---

上面是AI生成的，我到这补充一下

生成这个项目的模型是GLM-5，用iflow cli，在我的电脑上训练了九个半小时，用了2.8w条数据，权重在checkpoints下