Update README.md
Browse files
README.md
CHANGED
|
@@ -13,7 +13,7 @@ language:
|
|
| 13 |
[GitHub](https://github.com/akiragy/ChatGLM3-Japanese)上有全流程的代码,包含训练tokenizer和训练模型。
|
| 14 |
|
| 15 |
使用样例:
|
| 16 |
-
```
|
| 17 |
import torch
|
| 18 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 19 |
|
|
@@ -37,12 +37,12 @@ print("\ntokens: ", tokenizer.tokenize("恥の多い生涯を送って来まし
|
|
| 37 |
```
|
| 38 |
|
| 39 |
分词结果都是一些有意义的token:
|
| 40 |
-
```
|
| 41 |
-
|
| 42 |
```
|
| 43 |
而原生ChatGLM3的分词结果,除了“生涯”和“生活”因为和中文重合而成为词组外,其他的都被单独切分。
|
| 44 |
-
```
|
| 45 |
-
|
| 46 |
```
|
| 47 |
|
| 48 |
|
|
|
|
| 13 |
[GitHub](https://github.com/akiragy/ChatGLM3-Japanese)上有全流程的代码,包含训练tokenizer和训练模型。
|
| 14 |
|
| 15 |
使用样例:
|
| 16 |
+
```python
|
| 17 |
import torch
|
| 18 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 19 |
|
|
|
|
| 37 |
```
|
| 38 |
|
| 39 |
分词结果都是一些有意义的token:
|
| 40 |
+
```python
|
| 41 |
+
['▁', '恥', 'の多い', '生涯', 'を送', 'って', '来ました', '。', '自分に', 'は', '、', '人間の', '生活', 'というもの', 'が', '、', '見', '当', 'つかない', 'のです', '。']
|
| 42 |
```
|
| 43 |
而原生ChatGLM3的分词结果,除了“生涯”和“生活”因为和中文重合而成为词组外,其他的都被单独切分。
|
| 44 |
+
```python
|
| 45 |
+
['▁', '恥', 'の', '多', 'い', '生涯', 'を', '送', 'っ', 'て', '来', 'ま', 'し', 'た', '。', '自', '分', 'に', 'は', '、', '人', '間', 'の', '生活', 'と', 'い', 'う', 'も', 'の', 'が', '、', '見', '当', 'つ', 'か', 'な', 'い', 'の', 'で', 'す', '。']
|
| 46 |
```
|
| 47 |
|
| 48 |
|