Update README.md
Browse files
README.md
CHANGED
|
@@ -12,12 +12,17 @@ library_name: transformers
|
|
| 12 |
## 使用了Megatron CPT训练的轻小说大模型
|
| 13 |
使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练
|
| 14 |
|
|
|
|
|
|
|
|
|
|
| 15 |
轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
|
| 16 |
|
| 17 |
轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
|
| 18 |
清洗脚本晚些可能公开
|
| 19 |
|
| 20 |
-
7B模型整体效果感觉马马虎虎
|
|
|
|
|
|
|
| 21 |
|
| 22 |
如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。
|
| 23 |
|
|
|
|
| 12 |
## 使用了Megatron CPT训练的轻小说大模型
|
| 13 |
使用了Pai Megatron + 32K Sequence Length + FP8 + H100 集群训练
|
| 14 |
|
| 15 |
+
CPT使用了32K为目标切分的小说,所以可以输入非常长的内容,不过int8量化的话我不好说
|
| 16 |
+
(24G卡BF16 32K content windows, 杂鱼!)
|
| 17 |
+
|
| 18 |
轻小说数据在7G左右,这个版本是CPT版本,没有SFT,请不要期待指令跟随。
|
| 19 |
|
| 20 |
轻小说数据来源包括 https://github.com/ixinzhi/lightnovel-2023
|
| 21 |
清洗脚本晚些可能公开
|
| 22 |
|
| 23 |
+
7B模型整体效果感觉马马虎虎。
|
| 24 |
+
|
| 25 |
+
已经训练好32B的模型,32B版本逻辑性非常好。(晚点在公开,好大)
|
| 26 |
|
| 27 |
如果模型载入有问题的话,请用qwen2.5原本的tokenizer、vocab等等覆盖一下,我只有权重的megatron转换出来的。
|
| 28 |
|