|
|
--- |
|
|
license: apache-2.0 |
|
|
datasets: |
|
|
- jingyaogong/minimind_dataset |
|
|
language: |
|
|
- zh |
|
|
- en |
|
|
tags: |
|
|
- 34.2M |
|
|
--- |
|
|
|
|
|
|
|
|
# 🪿 Mini-RWKV-V7-LM |
|
|
🚀 让我们来从头训练一个属于自己的Mini-RWKV-7吧~ 小小的鹅也能飞得很高喔~ |
|
|
|
|
|
<div align="center"> |
|
|
<img src="./miniGoose.png" width="200" height="200" style="display: block; margin: auto;"> |
|
|
</div> |
|
|
|
|
|
## 🌟 模型简介 |
|
|
前往 [**Mini_RWKV_7**](https://github.com/Alic-Li/Mini_RWKV_7 ) 查看完整项目 |
|
|
|
|
|
本模型是基于 **RWKV-V7 架构** 训练的一个 **34M 参数量** 的语言模型`Mini-RWKV-V7-LM-34M`。它在保持轻量的同时，具备良好的语言理解和生成能力，非常适合资源极其有限的设备部署和快速迭代开发。 |
|
|
|
|
|
--- |
|
|
|
|
|
## 📦 模型结构 |
|
|
|
|
|
| 参数 | 数值 | |
|
|
|------|------| |
|
|
| 参数量 | 34.2M 🎯 | |
|
|
| 层数 | 8 🧱 | |
|
|
| 隐藏维度 | 512 📐 | |
|
|
| 上下文长度 | 512->1024->2048 📏 | |
|
|
| 词表大小 | 6400 📚 | |
|
|
- Vocab 和MiniMind的保持一致 |
|
|
--- |
|
|
|
|
|
## 🧪 训练信息 |
|
|
|
|
|
- 🪿 架构：[RWKV-V7](https://github.com/BlinkDL/RWKV-LM) |
|
|
- 📚 数据源：[minimind_dataset](https://huggingface.co/datasets/jingyaogong/minimind_dataset) 特别感谢MiniMind的作者 [@jingyaogong](https://github.com/jingyaogong)开源了训练数据集 🤗 |
|
|
- 📈 学习率：动态调整 |
|
|
- 🖥️ 硬件：可以使用4060laptop等显卡进行训练，甚至Radeon 780M 核显也可以在轻薄本上进行训练 😜 |
|
|
- 👀我是在AMD Instinct MI300X 上快速复现的(十分感谢AMD公司的对我个人以及RWKV的云算力赞助)😊 |
|
|
- 📦 模型大小：68.4MB 参数量 34.2M Params |
|
|
- 📊 预损失曲线：预训练收敛稳定 loss = 2.12左右波动(因为预训练数据量比较少) |
|
|
- 📊 SFT训练损失曲线 SFT训练最终loss=0.5左右波动 |
|
|
|
|
|
--- |
|
|
## 🎉 效果展示 |
|
|
 |
|
|
 |
|
|
 |
|
|
--- |
|
|
|
|
|
## 🧰 推理方法 |
|
|
|
|
|
### 🐍 安装依赖 |
|
|
|
|
|
```bash |
|
|
pip install -r torch numpy prompt_toolkit transformers rwkv |
|
|
``` |
|
|
- 如果你使用的是AAMD显卡，请安装对应最新版本的torch |
|
|
- 比如说```pip3 install torch --index-url https://download.pytorch.org/whl/rocm6.3``` |
|
|
- 具体安装指令可以参考[Pytorch官网下载链接](https://pytorch.org/get-started/locally/) |
|
|
|
|
|
|
|
|
### 🧪 加载模型 & 推理示例 |
|
|
|
|
|
```bash |
|
|
python3 ./API_DEMO_CHAT.py |
|
|
``` |
|
|
## 📢 致谢 |
|
|
|
|
|
- 🖥️ 感谢AMD公司的对我个人以及RWKV的云算力赞助 |
|
|
- 🙌 感谢 RWKV 社区提供的开源代码和训练框架！ |
|
|
- 🚀 感谢 [MiniMind](https://github.com/jingyaogong/minimind) 提供的 README 模板灵感！ |
|
|
- 如发现 bug 或有任何建议，欢迎提交 issue 或 PR 🛠️ |
|
|
|
|
|
--- |
|
|
|
|
|
🎉 感谢小伙伴们使用 **Mini_RWKV_7**！如果你喜欢这个项目，欢迎推给大家一起来玩！🌟 |
|
|
|
|
|
--- |
