suku9 commited on
Commit
e0e6c66
·
verified ·
1 Parent(s): 338c55b

End of training

Browse files
Files changed (1) hide show
  1. tokenizer_config.json +38 -0
tokenizer_config.json ADDED
@@ -0,0 +1,38 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "pad_token": "<pad>",
3
+ "eos_token": "</s>",
4
+ "bos_token": "<go>",
5
+ "unk_token": "<unk>",
6
+ "vocab": [
7
+ "<pad>",
8
+ "</s>",
9
+ "<unk>",
10
+ "<go>",
11
+ "S",
12
+ "O",
13
+ "2",
14
+ "n",
15
+ "l",
16
+ "F",
17
+ "H",
18
+ "C",
19
+ "o",
20
+ "5",
21
+ "r",
22
+ "s",
23
+ "=",
24
+ "6",
25
+ "[",
26
+ "N",
27
+ "4",
28
+ "c",
29
+ "-",
30
+ "3",
31
+ ")",
32
+ "#",
33
+ "]",
34
+ "B",
35
+ "(",
36
+ "1"
37
+ ]
38
+ }