fzkun commited on
Commit
7d769d5
·
verified ·
1 Parent(s): e423a8e

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +19 -0
README.md ADDED
@@ -0,0 +1,19 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <div align="center">
2
+
3
+ [![GitHub Repo stars](https://img.shields.io/github/stars/jingyaogong/minimind?style=social)](https://github.com/jingyaogong/minimind/stargazers)
4
+
5
+ </div>
6
+
7
+ * 此开源项目旨在完全从0开始,仅用3块钱成本 + 2小时!即可训练出仅为25.8M的超小语言模型**MiniMind**。
8
+ * **MiniMind**系列极其轻量,最小版本体积是 GPT-3 的 $\frac{1}{7000}$,力求做到最普通的个人GPU也可快速训练。
9
+ * 项目同时开源了大模型的极简结构-包含拓展共享混合专家(MoE)、数据集清洗、预训练(Pretrain)、监督微调(SFT)、LoRA微调,
10
+ 直接偏好强化学习(DPO)算法、模型蒸馏算法等全过程代码。
11
+ * **MiniMind**同时拓展了视觉多模态的VLM: [MiniMind-V](https://github.com/jingyaogong/minimind-v)。
12
+ * 项目所有核心算法代码均从0使用PyTorch原生重构!不依赖第三方库提供的抽象接口。
13
+ * 这不仅是大语言模型的全阶段开源复现,也是一个入门LLM的教程。
14
+ * 希望此项目能为所有人提供一个抛砖引玉的示例,一起感受创造的乐趣!推动更广泛AI社区的进步!
15
+
16
+ > 为防止误解,“2小时” 基于NVIDIA 3090硬件设备(单卡)测试,“3块钱”
17
+ > 指GPU服务器租用成本,具体规格详情见下文。
18
+
19
+ ---