---
license: apache-2.0
library_name: transformers
pipeline_tag: text-generation
tags: [retnet, retention, custom-architecture]
---

# RetNet-0.5B-v21

RetNet 0.5B（504,179,896 参数）第 v21 代权重，从零训练。

## 这一代和上一代的区别

159,857 步 / 10.23B 训练 token / 9.81B 唯一 token（19.46 token/参数）；8 段语料自动接力（预训练→中文网页→代码→教材→代码剩余→中文编程→数学→新旧混合 SFT）；可热加载的训练计划（阶段预算 / LR / 存档节奏在线改）

## 用法

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Ayaka157/RetNet-0.5B-v21", trust_remote_code=True)
tok = AutoTokenizer.from_pretrained("Ayaka157/RetNet-0.5B-v21", trust_remote_code=True)

ids = tok("人工智能的未来是", return_tensors="pt").input_ids
out = model.generate(ids, max_new_tokens=64, do_sample=True, temperature=0.8)
print(tok.decode(out[0], skip_special_tokens=True))
```

`trust_remote_code=True` 是必需的：这是自定义架构，代码随仓库发布
（`modeling_retnet.py`），不在 transformers 里。

## 训练与评测

见项目主页的 `docs/`。本代的关键数字：

| 指标 | 值 |
|---|---|
| 域内 held-out loss（5 个分片） | 3.5023（ep3 基线 3.6287） |
| 上一代（ep3）基线 | 3.6287 |
| 相对变化 | -3.5%（中途最佳 -21.5% @ step 17,500） |
| 训练 token | 9.81B 唯一 / 19.46 tok/param |
| 硬件 | 2× RTX PRO 6000（DDP） |