Update README.md
Browse files
README.md
CHANGED
|
@@ -10,7 +10,7 @@ tags:
|
|
| 10 |
|
| 11 |
# 轻小说写作模型（Alpha版）
|
| 12 |
|
| 13 |
-
本模型大小为0.
|
| 14 |
|
| 15 |
## 使用说明
|
| 16 |
|
|
@@ -69,7 +69,7 @@ python generate.py --prompt "写一篇轻小说，讲述少女组建乐队的故
|
|
| 69 |
本模型使用标准的ChatML格式，目前只支持单轮对话，格式如下所示：
|
| 70 |
```
|
| 71 |
<|im_start|>user
|
| 72 |
-
写一篇轻小说，讲述少女组建乐队的故事<
|
| 73 |
<|im_start|>assistant
|
| 74 |
# 序章：最后的希望
|
| 75 |
|
|
@@ -80,6 +80,8 @@ python generate.py --prompt "写一篇轻小说，讲述少女组建乐队的故
|
|
| 80 |
|
| 81 |
准确来说，本模型总参数量为163,949,186.
|
| 82 |
|
|
|
|
|
|
|
| 83 |
## 训练说明
|
| 84 |
使用脚本 `train_tokenizer.py` 训练tokenizer; 使用脚本 `pretrain.py` 预训练; 使用 `train_sft.py` 进行指令微调。
|
| 85 |
训练和推理需要安装的python包有pytorch, jsonlines, tqdm等，不依赖于transformers等huggingface框架。
|
|
@@ -92,4 +94,4 @@ python generate.py --prompt "写一篇轻小说，讲述少女组建乐队的故
|
|
| 92 |
[zhihu-KOL](https://huggingface.co/datasets/wangrui6/Zhihu-KOL)
|
| 93 |
本人收集的一些轻小说和其他小说数据
|
| 94 |
|
| 95 |
-
本模型SFT数据是使用deepseek v4 pro生成的
|
|
|
|
| 10 |
|
| 11 |
# 轻小说写作模型（Alpha版）
|
| 12 |
|
| 13 |
+
本模型大小为0.16B，使用轻小说数据进行训练，可用于轻小说写作。
|
| 14 |
|
| 15 |
## 使用说明
|
| 16 |
|
|
|
|
| 69 |
本模型使用标准的ChatML格式，目前只支持单轮对话，格式如下所示：
|
| 70 |
```
|
| 71 |
<|im_start|>user
|
| 72 |
+
写一篇轻小说，讲述少女组建乐队的故事<|im_end|>
|
| 73 |
<|im_start|>assistant
|
| 74 |
# 序章：最后的希望
|
| 75 |
|
|
|
|
| 80 |
|
| 81 |
准确来说，本模型总参数量为163,949,186.
|
| 82 |
|
| 83 |
+
训练时的序列长度为2048，超出该长度的生成效果可能会大幅度下降。
|
| 84 |
+
|
| 85 |
## 训练说明
|
| 86 |
使用脚本 `train_tokenizer.py` 训练tokenizer; 使用脚本 `pretrain.py` 预训练; 使用 `train_sft.py` 进行指令微调。
|
| 87 |
训练和推理需要安装的python包有pytorch, jsonlines, tqdm等，不依赖于transformers等huggingface框架。
|
|
|
|
| 94 |
[zhihu-KOL](https://huggingface.co/datasets/wangrui6/Zhihu-KOL)
|
| 95 |
本人收集的一些轻小说和其他小说数据
|
| 96 |
|
| 97 |
+
本模型SFT数据是使用deepseek v4 pro生成的1018条小说创作[数据集](https://huggingface.co/datasets/hugfaceguy0001/LightNovel-SFT)
|