Lamsheeper commited on
Commit
0ebeeeb
·
verified ·
1 Parent(s): ead7358

Upload special_tokens_map.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. special_tokens_map.json +132 -0
special_tokens_map.json ADDED
@@ -0,0 +1,132 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "additional_special_tokens": [
3
+ "<P00>",
4
+ "<P01>",
5
+ "<P02>",
6
+ "<P03>",
7
+ "<P04>",
8
+ "<P05>",
9
+ "<P06>",
10
+ "<P07>",
11
+ "<P08>",
12
+ "<P09>",
13
+ "<P10>",
14
+ "<P11>",
15
+ "<P12>",
16
+ "<P13>",
17
+ "<P14>",
18
+ "<P15>",
19
+ "<P16>",
20
+ "<P17>",
21
+ "<P18>",
22
+ "<P19>",
23
+ "<P20>",
24
+ "<P21>",
25
+ "<P22>",
26
+ "<P23>",
27
+ "<P24>",
28
+ "<P25>",
29
+ "<P26>",
30
+ "<P27>",
31
+ "<P28>",
32
+ "<P29>",
33
+ "<P30>",
34
+ "<P31>",
35
+ "<P32>",
36
+ "<P33>",
37
+ "<P34>",
38
+ "<P35>",
39
+ "<P36>",
40
+ "<P37>",
41
+ "<P38>",
42
+ "<P39>",
43
+ "<P40>",
44
+ "<P41>",
45
+ "<P42>",
46
+ "<P43>",
47
+ "<P44>",
48
+ "<P45>",
49
+ "<P46>",
50
+ "<P47>",
51
+ "<P48>",
52
+ "<P49>",
53
+ "<P50>",
54
+ "<P51>",
55
+ "<P52>",
56
+ "<P53>",
57
+ "<P54>",
58
+ "<P55>",
59
+ "<P56>",
60
+ "<P57>",
61
+ "<P58>",
62
+ "<P59>",
63
+ "<P60>",
64
+ "<P61>",
65
+ "<P62>",
66
+ "<P63>",
67
+ "<P64>",
68
+ "<P65>",
69
+ "<P66>",
70
+ "<P67>",
71
+ "<P68>",
72
+ "<P69>",
73
+ "<P70>",
74
+ "<P71>",
75
+ "<P72>",
76
+ "<P73>",
77
+ "<P74>",
78
+ "<P75>",
79
+ "<P76>",
80
+ "<P77>",
81
+ "<P78>",
82
+ "<P79>",
83
+ "<P80>",
84
+ "<P81>",
85
+ "<P82>",
86
+ "<P83>",
87
+ "<P84>",
88
+ "<P85>",
89
+ "<P86>",
90
+ "<P87>",
91
+ "<P88>",
92
+ "<P89>",
93
+ "<P90>",
94
+ "<P91>",
95
+ "<P92>",
96
+ "<P93>",
97
+ "<P94>",
98
+ "<P95>",
99
+ "<P96>",
100
+ "<P97>",
101
+ "<P98>",
102
+ "<P99>"
103
+ ],
104
+ "bos_token": {
105
+ "content": "<|endoftext|>",
106
+ "lstrip": false,
107
+ "normalized": false,
108
+ "rstrip": false,
109
+ "single_word": false
110
+ },
111
+ "eos_token": {
112
+ "content": "<|endoftext|>",
113
+ "lstrip": false,
114
+ "normalized": false,
115
+ "rstrip": false,
116
+ "single_word": false
117
+ },
118
+ "pad_token": {
119
+ "content": "<|pad|>",
120
+ "lstrip": false,
121
+ "normalized": false,
122
+ "rstrip": false,
123
+ "single_word": false
124
+ },
125
+ "unk_token": {
126
+ "content": "<|endoftext|>",
127
+ "lstrip": false,
128
+ "normalized": false,
129
+ "rstrip": false,
130
+ "single_word": false
131
+ }
132
+ }