dummy-foo commited on
Commit
9e8e59c
·
verified ·
1 Parent(s): 9954942

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -5
README.md CHANGED
@@ -13,7 +13,7 @@ language:
13
  [GitHub](https://github.com/akiragy/ChatGLM3-Japanese)上有全流程的代码,包含训练tokenizer和训练模型。
14
 
15
  使用样例:
16
- ```
17
  import torch
18
  from transformers import AutoModelForCausalLM, AutoTokenizer
19
 
@@ -37,12 +37,12 @@ print("\ntokens: ", tokenizer.tokenize("恥の多い生涯を送って来まし
37
  ```
38
 
39
  分词结果都是一些有意义的token:
40
- ```
41
- tokens: ['▁', '恥', 'の多い', '生涯', 'を送', 'って', '来ました', '。', '自分に', 'は', '、', '人間の', '生活', 'というもの', 'が', '、', '見', '当', 'つかない', 'のです', '。']
42
  ```
43
  而原生ChatGLM3的分词结果,除了“生涯”和“生活”因为和中文重合而成为词组外,其他的都被单独切分。
44
- ```
45
- tokens: ['▁', '恥', 'の', '多', 'い', '生涯', 'を', '送', 'っ', 'て', '来', 'ま', 'し', 'た', '。', '自', '分', 'に', 'は', '、', '人', '間', 'の', '生活', 'と', 'い', 'う', 'も', 'の', 'が', '、', '見', '当', 'つ', 'か', 'な', 'い', 'の', 'で', 'す', '。']
46
  ```
47
 
48
 
 
13
  [GitHub](https://github.com/akiragy/ChatGLM3-Japanese)上有全流程的代码,包含训练tokenizer和训练模型。
14
 
15
  使用样例:
16
+ ```python
17
  import torch
18
  from transformers import AutoModelForCausalLM, AutoTokenizer
19
 
 
37
  ```
38
 
39
  分词结果都是一些有意义的token:
40
+ ```python
41
+ ['▁', '恥', 'の多い', '生涯', 'を送', 'って', '来ました', '。', '自分に', 'は', '、', '人間の', '生活', 'というもの', 'が', '、', '見', '当', 'つかない', 'のです', '。']
42
  ```
43
  而原生ChatGLM3的分词结果,除了“生涯”和“生活”因为和中文重合而成为词组外,其他的都被单独切分。
44
+ ```python
45
+ ['▁', '恥', 'の', '多', 'い', '生涯', 'を', '送', 'っ', 'て', '来', 'ま', 'し', 'た', '。', '自', '分', 'に', 'は', '、', '人', '間', 'の', '生活', 'と', 'い', 'う', 'も', 'の', 'が', '、', '見', '当', 'つ', 'か', 'な', 'い', 'の', 'で', 'す', '。']
46
  ```
47
 
48