Create README.md
Browse files
README.md
ADDED
|
@@ -0,0 +1,19 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
<div align="center">
|
| 2 |
+
|
| 3 |
+
[](https://github.com/jingyaogong/minimind/stargazers)
|
| 4 |
+
|
| 5 |
+
</div>
|
| 6 |
+
|
| 7 |
+
* 此开源项目旨在完全从0开始,仅用3块钱成本 + 2小时!即可训练出仅为25.8M的超小语言模型**MiniMind**。
|
| 8 |
+
* **MiniMind**系列极其轻量,最小版本体积是 GPT-3 的 $\frac{1}{7000}$,力求做到最普通的个人GPU也可快速训练。
|
| 9 |
+
* 项目同时开源了大模型的极简结构-包含拓展共享混合专家(MoE)、数据集清洗、预训练(Pretrain)、监督微调(SFT)、LoRA微调,
|
| 10 |
+
直接偏好强化学习(DPO)算法、模型蒸馏算法等全过程代码。
|
| 11 |
+
* **MiniMind**同时拓展了视觉多模态的VLM: [MiniMind-V](https://github.com/jingyaogong/minimind-v)。
|
| 12 |
+
* 项目所有核心算法代码均从0使用PyTorch原生重构!不依赖第三方库提供的抽象接口。
|
| 13 |
+
* 这不仅是大语言模型的全阶段开源复现,也是一个入门LLM的教程。
|
| 14 |
+
* 希望此项目能为所有人提供一个抛砖引玉的示例,一起感受创造的乐趣!推动更广泛AI社区的进步!
|
| 15 |
+
|
| 16 |
+
> 为防止误解,“2小时” 基于NVIDIA 3090硬件设备(单卡)测试,“3块钱”
|
| 17 |
+
> 指GPU服务器租用成本,具体规格详情见下文。
|
| 18 |
+
|
| 19 |
+
---
|