Update README.md
Browse files
README.md
CHANGED
|
@@ -9,8 +9,8 @@ pipeline_tag: text-generation
|
|
| 9 |
通过sentencepiece在日文wiki和青空文库上训练BPE的tokenizer,词表扩充14000(64789 -> 78554),相比原生ChatGLM3的日文编码效率提升接近一倍,中文英文编码效率不变。
|
| 10 |
|
| 11 |
共有两个模型:
|
| 12 |
-
- [ChatGLM3-Japanese-Zero]( https://huggingface.co/dummy-foo/ChatGLM3-Japanese-Zero )
|
| 13 |
-
- [ChatGLM3-Japanese](https://huggingface.co/dummy-foo/ChatGLM3-Japanese)
|
| 14 |
|
| 15 |
[GitHub](https://github.com/akiragy/ChatGLM3-Japanese)上有全流程的代码,包含训练tokenizer和训练模型。
|
| 16 |
|
|
|
|
| 9 |
通过sentencepiece在日文wiki和青空文库上训练BPE的tokenizer,词表扩充14000(64789 -> 78554),相比原生ChatGLM3的日文编码效率提升接近一倍,中文英文编码效率不变。
|
| 10 |
|
| 11 |
共有两个模型:
|
| 12 |
+
- [ChatGLM3-Japanese-Zero]( https://huggingface.co/dummy-foo/ChatGLM3-Japanese-Zero ):经过扩词表和resize后的模型,保留了ChatGLM3的中英文能力,尚无日文能力,但因为编码效率高,适合在日文语料上训练。
|
| 13 |
+
- [ChatGLM3-Japanese](https://huggingface.co/dummy-foo/ChatGLM3-Japanese):本模型,对ChatGLM3-Japanese-Zero进行日文语料增量预训练和指令微调的模型,可以日文对话。
|
| 14 |
|
| 15 |
[GitHub](https://github.com/akiragy/ChatGLM3-Japanese)上有全流程的代码,包含训练tokenizer和训练模型。
|
| 16 |
|