README.md

---
license: mit
---

# EasyTranslate: 基于 Transformer 的英中翻译系统

> 研究生 NLP 期末项目 — 使用前沿技术实现高质量英文到中文机器翻译

## 亮点

- **Pre-LayerNorm Transformer**: 从零构建，训练更稳定
- **RoPE 旋转位置编码**: 替代传统正弦编码，更好捕获相对位置信息
- **Flash Attention 2**: 利用 PyTorch 2.0+ 原生支持，训练显著加速
- **NLLB 预训练微调**: 基于 Meta NLLB-200 模型，支持 LoRA 参数高效微调
- **完整评估体系**: SacreBLEU + COMET + chrF++ 多维度评估
- **6 组消融实验**: 系统验证各前沿组件的效果

## 快速开始

```bash
# 安装
conda create -n easytranslate python=3.11 && conda activate easytranslate
pip install torch --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt && pip install -e .

# 从头训练 Transformer
python scripts/train.py --config configs/default_config.yaml

# 微调 NLLB + LoRA
python scripts/train.py --config configs/default_config.yaml model.type=finetune_nllb

# 评估
python scripts/evaluate.py --checkpoint checkpoints/best_model.pt

# 交互翻译
python scripts/translate.py --checkpoint checkpoints/best_model.pt
```

## 项目结构

```
src/easytranslate/
├── data/          # 数据加载、分词、预处理、动态批处理
├── model/         # Transformer (Encoder-Decoder) + 注意力 + 位置编码 + LoRA
├── training/      # 训练循环、优化器、损失函数、分布式训练
├── evaluation/    # BLEU/COMET 指标、Beam Search 解码、评估器
└── utils/         # 配置管理、日志、随机种子
```

## 技术架构

```
英文输入 → BPE Tokenizer → Source Embedding + RoPE
    → Transformer Encoder (6 layers, Flash Attention, Pre-LN)
    → Transformer Decoder (6 layers, Causal Mask, Cross-Attention)
    → Linear Projection → Beam Search → 中文输出
```

## 团队分工

详见 [TASK_ASSIGNMENT.md](TASK_ASSIGNMENT.md)

| 角色 | 负责模块 | 核心任务 |
|------|----------|----------|
| Person A | `data/` | 数据集加载、BPE 分词器、预处理流水线 |
| Person B | `model/` | Transformer 架构、Flash Attention、RoPE、LoRA |
| Person C | `training/` | 训练循环、混合精度、梯度累积、早停 |
| Person D | `evaluation/` | BLEU/COMET 评估、Beam Search、推理服务 |
| Person E | `utils/` + 实验 | 工具模块、消融实验、可视化、报告 |

## 依赖

- Python >= 3.10
- PyTorch >= 2.1 (Flash Attention 支持)
- HuggingFace Transformers / Datasets / Tokenizers
- PEFT (LoRA)
- SacreBLEU, COMET (评估)