TASK.md

## 项目目标

基于扩散模型的翻译AI，实现两种语言的互译。

- 并行生成：非自回归，同时生成所有token
- 推理效率：通过DDIM加速，减少采样步数

要求：

1. 首要确保最终能够训练出来
2. 最好提升训练和推理速度
3. 其次提升效果

---

## 架构设计

分为两个部分：中文处理和英文处理

```
中文处理 ←→ 英文处理
中文源语言/翻译后语言 ←扩散/逆扩散→ 噪声 ←扩散/逆扩散→ 英文源语言/翻译后语言
```

以中文翻译成英文为例，先将中文通过中文翻译部分进行扩散为噪声，同时中文和英文部分识别这个噪声谁更加接近，但英文部分识别到接近英文比例大于中文时，切换英文部分逆扩散，也就是通过扩散在两种语言之间相互转换

扩散可以是将一个字符扩散为更多，也可以更少，也可以改变相对位置，也可以增删

## 交互

训练：命令行操作，带进度条，可看到数据集训练进度，可以看到预计时间和速度，可以随时暂停和停止训练，停止训练后保存权重

先做一个用少量数据训练的模式确保可用，再让我在另一个终端做完整的训练

运行：也是命令行操作，每一步扩散都要输出一行，可以看到每一步

## 数据集

- `../_dataset/tatoeba.tsv`：tsv文件，一行一个句子，格式为：`编号（不用管）\t中文\t编号\t英文`
- `../_dataset/cveto/train.en`和`../_dataset/cveto/train.zh`：一行一个干净的句子，两个文件相同行号对应相同含义句子，即`trian.en`的第123行对应`train.zh`的第123行