ai-forever commited on
Commit
94ff98c
·
verified ·
1 Parent(s): 75ac990

Upload 3 files

Browse files
Files changed (3) hide show
  1. config.json +26 -0
  2. pytorch_model.bin +3 -0
  3. tokenizer_config.json +374 -0
config.json ADDED
@@ -0,0 +1,26 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/jovyan/polygon/text_generator/tmp/charllama-1.3B.v16/checkpoint-400000",
3
+ "architectures": [
4
+ "LlamaForCausalLM"
5
+ ],
6
+ "bos_token_id": 1,
7
+ "eos_token_id": 2,
8
+ "hidden_act": "silu",
9
+ "hidden_size": 1536,
10
+ "initializer_range": 0.02,
11
+ "intermediate_size": 8192,
12
+ "max_position_embeddings": 1024,
13
+ "model_type": "llama",
14
+ "num_attention_heads": 32,
15
+ "num_hidden_layers": 29,
16
+ "num_key_value_heads": 32,
17
+ "pad_token_id": 0,
18
+ "pretraining_tp": 1,
19
+ "rms_norm_eps": 1e-06,
20
+ "rope_scaling": null,
21
+ "tie_word_embeddings": false,
22
+ "torch_dtype": "float32",
23
+ "transformers_version": "4.30.2",
24
+ "use_cache": true,
25
+ "vocab_size": 375
26
+ }
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:905d49c0bcf5fa63d9408f3f1e347b536a33788375bb355959029cd196bd51b9
3
+ size 5478638369
tokenizer_config.json ADDED
@@ -0,0 +1,374 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "name": "CharacterTokenizer",
3
+ "char_ords": [
4
+ 8,
5
+ 1047,
6
+ 1072,
7
+ 32,
8
+ 1086,
9
+ 1082,
10
+ 1085,
11
+ 769,
12
+ 1084,
13
+ 1087,
14
+ 1088,
15
+ 1089,
16
+ 1077,
17
+ 1083,
18
+ 1080,
19
+ 1103,
20
+ 1073,
21
+ 1099,
22
+ 44,
23
+ 10,
24
+ 1095,
25
+ 1090,
26
+ 1100,
27
+ 1075,
28
+ 46,
29
+ 1042,
30
+ 1074,
31
+ 1105,
32
+ 1079,
33
+ 1053,
34
+ 1091,
35
+ 1102,
36
+ 1076,
37
+ 1071,
38
+ 1093,
39
+ 1096,
40
+ 1081,
41
+ 1069,
42
+ 1050,
43
+ 1041,
44
+ 1097,
45
+ 1054,
46
+ 1057,
47
+ 1044,
48
+ 1101,
49
+ 45,
50
+ 1078,
51
+ 1094,
52
+ 1048,
53
+ 1055,
54
+ 1063,
55
+ 1040,
56
+ 1058,
57
+ 12,
58
+ 11,
59
+ 1056,
60
+ 50,
61
+ 48,
62
+ 56,
63
+ 57,
64
+ 52,
65
+ 51,
66
+ 37,
67
+ 55,
68
+ 40,
69
+ 1092,
70
+ 41,
71
+ 49,
72
+ 1052,
73
+ 33,
74
+ 1062,
75
+ 53,
76
+ 1098,
77
+ 54,
78
+ 36,
79
+ 1051,
80
+ 58,
81
+ 171,
82
+ 187,
83
+ 1059,
84
+ 1061,
85
+ 63,
86
+ 1043,
87
+ 1060,
88
+ 1046,
89
+ 1064,
90
+ 1045,
91
+ 34,
92
+ 8230,
93
+ 1025,
94
+ 59,
95
+ 1065,
96
+ 8222,
97
+ 8220,
98
+ 1070,
99
+ 8470,
100
+ 167,
101
+ 47,
102
+ 1067,
103
+ 8217,
104
+ 1049,
105
+ 1068,
106
+ 39,
107
+ 93,
108
+ 42,
109
+ 91,
110
+ 60,
111
+ 62,
112
+ 1066,
113
+ 8221,
114
+ 43,
115
+ 177,
116
+ 61,
117
+ 2325,
118
+ 2354,
119
+ 2361,
120
+ 2336,
121
+ 2351,
122
+ 2379,
123
+ 2327,
124
+ 2346,
125
+ 2381,
126
+ 2352,
127
+ 2342,
128
+ 2368,
129
+ 2367,
130
+ 2366,
131
+ 233,
132
+ 243,
133
+ 92,
134
+ 215,
135
+ 774,
136
+ 8364,
137
+ 250,
138
+ 38,
139
+ 1032,
140
+ 166,
141
+ 8249,
142
+ 176,
143
+ 7220,
144
+ 11027,
145
+ 8250,
146
+ 1112,
147
+ 1113,
148
+ 65533,
149
+ 253,
150
+ 15,
151
+ 180,
152
+ 1116,
153
+ 84,
154
+ 101,
155
+ 81,
156
+ 117,
157
+ 105,
158
+ 114,
159
+ 111,
160
+ 99,
161
+ 82,
162
+ 123,
163
+ 125,
164
+ 64,
165
+ 98,
166
+ 110,
167
+ 80,
168
+ 115,
169
+ 83,
170
+ 79,
171
+ 67,
172
+ 71,
173
+ 108,
174
+ 102,
175
+ 100,
176
+ 109,
177
+ 97,
178
+ 103,
179
+ 73,
180
+ 118,
181
+ 121,
182
+ 69,
183
+ 116,
184
+ 104,
185
+ 68,
186
+ 112,
187
+ 35,
188
+ 78,
189
+ 94,
190
+ 90,
191
+ 65,
192
+ 76,
193
+ 77,
194
+ 66,
195
+ 86,
196
+ 119,
197
+ 107,
198
+ 89,
199
+ 88,
200
+ 70,
201
+ 5,
202
+ 120,
203
+ 72,
204
+ 106,
205
+ 85,
206
+ 113,
207
+ 1110,
208
+ 225,
209
+ 75,
210
+ 87,
211
+ 1030,
212
+ 122,
213
+ 1109,
214
+ 74,
215
+ 186,
216
+ 1118,
217
+ 1038,
218
+ 26,
219
+ 867,
220
+ 872,
221
+ 1114,
222
+ 1115,
223
+ 1107,
224
+ 1036,
225
+ 1029,
226
+ 768,
227
+ 16,
228
+ 8242,
229
+ 1117,
230
+ 8208,
231
+ 163,
232
+ 188,
233
+ 12288,
234
+ 185,
235
+ 178,
236
+ 179,
237
+ 1039,
238
+ 8212,
239
+ 8211,
240
+ 164,
241
+ 162,
242
+ 96,
243
+ 8236,
244
+ 8213,
245
+ 8722,
246
+ 124,
247
+ 182,
248
+ 8218,
249
+ 17,
250
+ 700,
251
+ 8237,
252
+ 174,
253
+ 165,
254
+ 9524,
255
+ 183,
256
+ 152,
257
+ 61450,
258
+ 807,
259
+ 7743,
260
+ 710,
261
+ 922,
262
+ 945,
263
+ 955,
264
+ 951,
265
+ 956,
266
+ 949,
267
+ 961,
268
+ 312,
269
+ 65279,
270
+ 8729,
271
+ 1179,
272
+ 9653,
273
+ 42022,
274
+ 3232,
275
+ 12296,
276
+ 12297,
277
+ 8214,
278
+ 17164,
279
+ 697,
280
+ 1106,
281
+ 9552,
282
+ 9563,
283
+ 1138,
284
+ 1139,
285
+ 1033,
286
+ 8224,
287
+ 7,
288
+ 1119,
289
+ 8210,
290
+ 8805,
291
+ 750,
292
+ 61602,
293
+ 1511,
294
+ 1512,
295
+ 1489,
296
+ 1504,
297
+ 61628,
298
+ 9702,
299
+ 24,
300
+ 1111,
301
+ 9557,
302
+ 9570,
303
+ 9572,
304
+ 8730,
305
+ 9496,
306
+ 9555,
307
+ 8992,
308
+ 9632,
309
+ 9573,
310
+ 9558,
311
+ 9612,
312
+ 972,
313
+ 224,
314
+ 8243,
315
+ 9618,
316
+ 9619,
317
+ 9580,
318
+ 1614,
319
+ 184,
320
+ 235,
321
+ 129324,
322
+ 279,
323
+ 1241,
324
+ 1187,
325
+ 1257,
326
+ 1199,
327
+ 9788,
328
+ 8810,
329
+ 8811,
330
+ 10240,
331
+ 10052,
332
+ 65039,
333
+ 1765,
334
+ 232,
335
+ 924,
336
+ 954,
337
+ 948,
338
+ 959,
339
+ 957,
340
+ 943,
341
+ 242,
342
+ 12298,
343
+ 12299,
344
+ 822,
345
+ 65281,
346
+ 776,
347
+ 833,
348
+ 9997,
349
+ 211,
350
+ 65288,
351
+ 65289,
352
+ 375,
353
+ 1185,
354
+ 1177,
355
+ 1171,
356
+ 727,
357
+ 940,
358
+ 1151,
359
+ 141,
360
+ 61448,
361
+ 7923,
362
+ 57389,
363
+ 935,
364
+ 1560,
365
+ 10084,
366
+ 1211,
367
+ 1195,
368
+ 1240,
369
+ 33510,
370
+ 28961,
371
+ 960
372
+ ],
373
+ "model_max_length": 1024
374
+ }