Update README.md
Browse files
README.md
CHANGED
|
@@ -37,7 +37,9 @@ Tokenizer 选用了 [Yi-1.5-9B-Chat](https://huggingface.co/01-ai/Yi-1.5-9B-Chat
|
|
| 37 |
|
| 38 |
不同于 SmolLM 在最后 20% 的步骤开始衰减学习率，这里梯形调度的衰减步骤占比达到了 30%，采用和 MiniCPM 一致的指数衰减，最低衰减至最大学习率的 1%。
|
| 39 |
|
| 40 |
-
|
|
|
|
|
|
|
| 41 |
|
| 42 |
**尚未进行任何基准测试。**
|
| 43 |
|
|
|
|
| 37 |
|
| 38 |
不同于 SmolLM 在最后 20% 的步骤开始衰减学习率，这里梯形调度的衰减步骤占比达到了 30%，采用和 MiniCPM 一致的指数衰减，最低衰减至最大学习率的 1%。
|
| 39 |
|
| 40 |
+
在非常多的开源数据集上进行了训练，并做了进一步筛选和过滤，因此仅列举了部分主要数据集。
|
| 41 |
+
|
| 42 |
+
训练数据整体比例大约为中文：英文：代码 = 4：4：2，同时中英文中均混合了一定的指令数据。
|
| 43 |
|
| 44 |
**尚未进行任何基准测试。**
|
| 45 |
|