Hugging Face's logo

Huangxs
/
MedPLIB-7b-2e

PyTorch
medplib_moe_llama
Model card Files
xet
Community
2
Huangxs commited on
Commit
ca935d3
·
verified ·
1 Parent(s): dd6a45d

Upload 8 files

Browse files
Files changed (7) hide show
  1. added_tokens.json +269 -0
  2. config.json +130 -0
  3. generation_config.json +79 -0
  4. pytorch_model.bin.index.json +0 -0
  5. special_tokens_map.json +24 -0
  6. tokenizer.model +3 -0
  7. tokenizer_config.json +35 -0
added_tokens.json ADDED
@@ -0,0 +1,269 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "</mask>": 32008,
3
+ "</ref>": 32002,
4
+ "</region>": 32004,
5
+ "</sr>": 32006,
6
+ "<SEG>": 32000,
7
+ "<gen_100>": 32108,
8
+ "<gen_101>": 32109,
9
+ "<gen_102>": 32110,
10
+ "<gen_103>": 32111,
11
+ "<gen_104>": 32112,
12
+ "<gen_105>": 32113,
13
+ "<gen_106>": 32114,
14
+ "<gen_107>": 32115,
15
+ "<gen_108>": 32116,
16
+ "<gen_109>": 32117,
17
+ "<gen_10>": 32018,
18
+ "<gen_110>": 32118,
19
+ "<gen_111>": 32119,
20
+ "<gen_112>": 32120,
21
+ "<gen_113>": 32121,
22
+ "<gen_114>": 32122,
23
+ "<gen_115>": 32123,
24
+ "<gen_116>": 32124,
25
+ "<gen_117>": 32125,
26
+ "<gen_118>": 32126,
27
+ "<gen_119>": 32127,
28
+ "<gen_11>": 32019,
29
+ "<gen_120>": 32128,
30
+ "<gen_121>": 32129,
31
+ "<gen_122>": 32130,
32
+ "<gen_123>": 32131,
33
+ "<gen_124>": 32132,
34
+ "<gen_125>": 32133,
35
+ "<gen_126>": 32134,
36
+ "<gen_127>": 32135,
37
+ "<gen_128>": 32136,
38
+ "<gen_129>": 32137,
39
+ "<gen_12>": 32020,
40
+ "<gen_130>": 32138,
41
+ "<gen_131>": 32139,
42
+ "<gen_132>": 32140,
43
+ "<gen_133>": 32141,
44
+ "<gen_134>": 32142,
45
+ "<gen_135>": 32143,
46
+ "<gen_136>": 32144,
47
+ "<gen_137>": 32145,
48
+ "<gen_138>": 32146,
49
+ "<gen_139>": 32147,
50
+ "<gen_13>": 32021,
51
+ "<gen_140>": 32148,
52
+ "<gen_141>": 32149,
53
+ "<gen_142>": 32150,
54
+ "<gen_143>": 32151,
55
+ "<gen_144>": 32152,
56
+ "<gen_145>": 32153,
57
+ "<gen_146>": 32154,
58
+ "<gen_147>": 32155,
59
+ "<gen_148>": 32156,
60
+ "<gen_149>": 32157,
61
+ "<gen_14>": 32022,
62
+ "<gen_150>": 32158,
63
+ "<gen_151>": 32159,
64
+ "<gen_152>": 32160,
65
+ "<gen_153>": 32161,
66
+ "<gen_154>": 32162,
67
+ "<gen_155>": 32163,
68
+ "<gen_156>": 32164,
69
+ "<gen_157>": 32165,
70
+ "<gen_158>": 32166,
71
+ "<gen_159>": 32167,
72
+ "<gen_15>": 32023,
73
+ "<gen_160>": 32168,
74
+ "<gen_161>": 32169,
75
+ "<gen_162>": 32170,
76
+ "<gen_163>": 32171,
77
+ "<gen_164>": 32172,
78
+ "<gen_165>": 32173,
79
+ "<gen_166>": 32174,
80
+ "<gen_167>": 32175,
81
+ "<gen_168>": 32176,
82
+ "<gen_169>": 32177,
83
+ "<gen_16>": 32024,
84
+ "<gen_170>": 32178,
85
+ "<gen_171>": 32179,
86
+ "<gen_172>": 32180,
87
+ "<gen_173>": 32181,
88
+ "<gen_174>": 32182,
89
+ "<gen_175>": 32183,
90
+ "<gen_176>": 32184,
91
+ "<gen_177>": 32185,
92
+ "<gen_178>": 32186,
93
+ "<gen_179>": 32187,
94
+ "<gen_17>": 32025,
95
+ "<gen_180>": 32188,
96
+ "<gen_181>": 32189,
97
+ "<gen_182>": 32190,
98
+ "<gen_183>": 32191,
99
+ "<gen_184>": 32192,
100
+ "<gen_185>": 32193,
101
+ "<gen_186>": 32194,
102
+ "<gen_187>": 32195,
103
+ "<gen_188>": 32196,
104
+ "<gen_189>": 32197,
105
+ "<gen_18>": 32026,
106
+ "<gen_190>": 32198,
107
+ "<gen_191>": 32199,
108
+ "<gen_192>": 32200,
109
+ "<gen_193>": 32201,
110
+ "<gen_194>": 32202,
111
+ "<gen_195>": 32203,
112
+ "<gen_196>": 32204,
113
+ "<gen_197>": 32205,
114
+ "<gen_198>": 32206,
115
+ "<gen_199>": 32207,
116
+ "<gen_19>": 32027,
117
+ "<gen_1>": 32009,
118
+ "<gen_200>": 32208,
119
+ "<gen_201>": 32209,
120
+ "<gen_202>": 32210,
121
+ "<gen_203>": 32211,
122
+ "<gen_204>": 32212,
123
+ "<gen_205>": 32213,
124
+ "<gen_206>": 32214,
125
+ "<gen_207>": 32215,
126
+ "<gen_208>": 32216,
127
+ "<gen_209>": 32217,
128
+ "<gen_20>": 32028,
129
+ "<gen_210>": 32218,
130
+ "<gen_211>": 32219,
131
+ "<gen_212>": 32220,
132
+ "<gen_213>": 32221,
133
+ "<gen_214>": 32222,
134
+ "<gen_215>": 32223,
135
+ "<gen_216>": 32224,
136
+ "<gen_217>": 32225,
137
+ "<gen_218>": 32226,
138
+ "<gen_219>": 32227,
139
+ "<gen_21>": 32029,
140
+ "<gen_220>": 32228,
141
+ "<gen_221>": 32229,
142
+ "<gen_222>": 32230,
143
+ "<gen_223>": 32231,
144
+ "<gen_224>": 32232,
145
+ "<gen_225>": 32233,
146
+ "<gen_226>": 32234,
147
+ "<gen_227>": 32235,
148
+ "<gen_228>": 32236,
149
+ "<gen_229>": 32237,
150
+ "<gen_22>": 32030,
151
+ "<gen_230>": 32238,
152
+ "<gen_231>": 32239,
153
+ "<gen_232>": 32240,
154
+ "<gen_233>": 32241,
155
+ "<gen_234>": 32242,
156
+ "<gen_235>": 32243,
157
+ "<gen_236>": 32244,
158
+ "<gen_237>": 32245,
159
+ "<gen_238>": 32246,
160
+ "<gen_239>": 32247,
161
+ "<gen_23>": 32031,
162
+ "<gen_240>": 32248,
163
+ "<gen_241>": 32249,
164
+ "<gen_242>": 32250,
165
+ "<gen_243>": 32251,
166
+ "<gen_244>": 32252,
167
+ "<gen_245>": 32253,
168
+ "<gen_246>": 32254,
169
+ "<gen_247>": 32255,
170
+ "<gen_248>": 32256,
171
+ "<gen_249>": 32257,
172
+ "<gen_24>": 32032,
173
+ "<gen_250>": 32258,
174
+ "<gen_251>": 32259,
175
+ "<gen_252>": 32260,
176
+ "<gen_253>": 32261,
177
+ "<gen_254>": 32262,
178
+ "<gen_255>": 32263,
179
+ "<gen_256>": 32264,
180
+ "<gen_25>": 32033,
181
+ "<gen_26>": 32034,
182
+ "<gen_27>": 32035,
183
+ "<gen_28>": 32036,
184
+ "<gen_29>": 32037,
185
+ "<gen_2>": 32010,
186
+ "<gen_30>": 32038,
187
+ "<gen_31>": 32039,
188
+ "<gen_32>": 32040,
189
+ "<gen_33>": 32041,
190
+ "<gen_34>": 32042,
191
+ "<gen_35>": 32043,
192
+ "<gen_36>": 32044,
193
+ "<gen_37>": 32045,
194
+ "<gen_38>": 32046,
195
+ "<gen_39>": 32047,
196
+ "<gen_3>": 32011,
197
+ "<gen_40>": 32048,
198
+ "<gen_41>": 32049,
199
+ "<gen_42>": 32050,
200
+ "<gen_43>": 32051,
201
+ "<gen_44>": 32052,
202
+ "<gen_45>": 32053,
203
+ "<gen_46>": 32054,
204
+ "<gen_47>": 32055,
205
+ "<gen_48>": 32056,
206
+ "<gen_49>": 32057,
207
+ "<gen_4>": 32012,
208
+ "<gen_50>": 32058,
209
+ "<gen_51>": 32059,
210
+ "<gen_52>": 32060,
211
+ "<gen_53>": 32061,
212
+ "<gen_54>": 32062,
213
+ "<gen_55>": 32063,
214
+ "<gen_56>": 32064,
215
+ "<gen_57>": 32065,
216
+ "<gen_58>": 32066,
217
+ "<gen_59>": 32067,
218
+ "<gen_5>": 32013,
219
+ "<gen_60>": 32068,
220
+ "<gen_61>": 32069,
221
+ "<gen_62>": 32070,
222
+ "<gen_63>": 32071,
223
+ "<gen_64>": 32072,
224
+ "<gen_65>": 32073,
225
+ "<gen_66>": 32074,
226
+ "<gen_67>": 32075,
227
+ "<gen_68>": 32076,
228
+ "<gen_69>": 32077,
229
+ "<gen_6>": 32014,
230
+ "<gen_70>": 32078,
231
+ "<gen_71>": 32079,
232
+ "<gen_72>": 32080,
233
+ "<gen_73>": 32081,
234
+ "<gen_74>": 32082,
235
+ "<gen_75>": 32083,
236
+ "<gen_76>": 32084,
237
+ "<gen_77>": 32085,
238
+ "<gen_78>": 32086,
239
+ "<gen_79>": 32087,
240
+ "<gen_7>": 32015,
241
+ "<gen_80>": 32088,
242
+ "<gen_81>": 32089,
243
+ "<gen_82>": 32090,
244
+ "<gen_83>": 32091,
245
+ "<gen_84>": 32092,
246
+ "<gen_85>": 32093,
247
+ "<gen_86>": 32094,
248
+ "<gen_87>": 32095,
249
+ "<gen_88>": 32096,
250
+ "<gen_89>": 32097,
251
+ "<gen_8>": 32016,
252
+ "<gen_90>": 32098,
253
+ "<gen_91>": 32099,
254
+ "<gen_92>": 32100,
255
+ "<gen_93>": 32101,
256
+ "<gen_94>": 32102,
257
+ "<gen_95>": 32103,
258
+ "<gen_96>": 32104,
259
+ "<gen_97>": 32105,
260
+ "<gen_98>": 32106,
261
+ "<gen_99>": 32107,
262
+ "<gen_9>": 32017,
263
+ "<im_end>": 32266,
264
+ "<im_start>": 32265,
265
+ "<mask>": 32007,
266
+ "<ref>": 32001,
267
+ "<region>": 32003,
268
+ "<sr>": 32005
269
+ }
config.json ADDED
@@ -0,0 +1,130 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/MedPLIB/runs/MedPLIB-7b-2e/hf",
3
+ "architectures": [
4
+ "MedPLIBForCausalLM"
5
+ ],
6
+ "bos_token_id": 1,
7
+ "eos_token_id": 2,
8
+ "freeze_mm_mlp_adapter": true,
9
+ "freeze_mm_vision_resampler": false,
10
+ "hidden_act": "silu",
11
+ "hidden_size": 4096,
12
+ "image_aspect_ratio": "square",
13
+ "image_grid_pinpoints": null,
14
+ "initializer_range": 0.02,
15
+ "intermediate_size": 11008,
16
+ "max_length": 4096,
17
+ "max_position_embeddings": 4096,
18
+ "max_sample_point": 512,
19
+ "mm_hidden_size": 1024,
20
+ "mm_projector_type": "mlp2x_gelu",
21
+ "mm_resampler_type": null,
22
+ "mm_use_im_patch_token": false,
23
+ "mm_use_im_start_end": true,
24
+ "mm_vision_select_feature": "patch",
25
+ "mm_vision_select_layer": -2,
26
+ "mm_vision_tower": "/public/home/s20213081508/huangxiaoshuang/huggingface/clip-vit-large-patch14-336",
27
+ "model_type": "medplib_moe_llama",
28
+ "moe": {
29
+ "capacity_factor": 2.0,
30
+ "ep_size": 1,
31
+ "eval_capacity_factor": 2,
32
+ "min_capacity": 0,
33
+ "moe_enable": true,
34
+ "moe_layers_idx": [
35
+ 0,
36
+ 1,
37
+ 2,
38
+ 3,
39
+ 4,
40
+ 5,
41
+ 6,
42
+ 7,
43
+ 8,
44
+ 9,
45
+ 10,
46
+ 11,
47
+ 12,
48
+ 13,
49
+ 14,
50
+ 15,
51
+ 16,
52
+ 17,
53
+ 18,
54
+ 19,
55
+ 20,
56
+ 21,
57
+ 22,
58
+ 23,
59
+ 24,
60
+ 25,
61
+ 26,
62
+ 27,
63
+ 28,
64
+ 29,
65
+ 30,
66
+ 31
67
+ ],
68
+ "moe_mode": "dense",
69
+ "num_experts": [
70
+ 2,
71
+ 2,
72
+ 2,
73
+ 2,
74
+ 2,
75
+ 2,
76
+ 2,
77
+ 2,
78
+ 2,
79
+ 2,
80
+ 2,
81
+ 2,
82
+ 2,
83
+ 2,
84
+ 2,
85
+ 2,
86
+ 2,
87
+ 2,
88
+ 2,
89
+ 2,
90
+ 2,
91
+ 2,
92
+ 2,
93
+ 2,
94
+ 2,
95
+ 2,
96
+ 2,
97
+ 2,
98
+ 2,
99
+ 2,
100
+ 2,
101
+ 2
102
+ ],
103
+ "router_aux_loss_coef": 0.0,
104
+ "top_k_experts": 1,
105
+ "use_residual": false
106
+ },
107
+ "num_attention_heads": 32,
108
+ "num_hidden_layers": 32,
109
+ "num_key_value_heads": 32,
110
+ "out_dim": 256,
111
+ "pad_token_id": 0,
112
+ "pretrain_mm_mlp_adapter": null,
113
+ "pretraining_tp": 1,
114
+ "region_fea_adapter": true,
115
+ "region_geo_sampler": false,
116
+ "rms_norm_eps": 1e-05,
117
+ "rope_scaling": null,
118
+ "sampler_pooler_mode": null,
119
+ "tie_word_embeddings": false,
120
+ "torch_dtype": "bfloat16",
121
+ "train_mask_decoder": true,
122
+ "transformers_version": "4.31.0",
123
+ "tune_mm_mlp_adapter": false,
124
+ "tune_mm_vision_resampler": false,
125
+ "unfreeze_mm_vision_tower": false,
126
+ "use_cache": false,
127
+ "use_mm_proj": true,
128
+ "vision_tower": "/public/home/s20213081508/huangxiaoshuang/huggingface/clip-vit-large-patch14-336",
129
+ "vocab_size": 32267
130
+ }
generation_config.json ADDED
@@ -0,0 +1,79 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "auto_resume": true,
3
+ "batch_size": 4,
4
+ "bce_loss_weight": 1.0,
5
+ "beta1": 0.9,
6
+ "beta2": 0.95,
7
+ "bos_token_id": 1,
8
+ "capacity_factor": 2.0,
9
+ "ce_loss_weight": 2.0,
10
+ "conv_type": "llava_v1",
11
+ "data_path": "/root/paddlejob/workspace/env_run/data/huangxiaoshuang/jsons/seg/0301_CombinedAll_7.5w_train1_chatlm_img_coord2_rand5k_seg_cat_origin.json",
12
+ "dice_loss_weight": 1.0,
13
+ "eos_token_id": 2,
14
+ "ep_size": 1,
15
+ "epochs": 1,
16
+ "eval_capacity_factor": 2,
17
+ "eval_only": true,
18
+ "exclude_val": false,
19
+ "exp_name": "",
20
+ "expert_pretrained_path": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/BiRD2/runs/medplib-7b-stage3/hf,/root/paddlejob/workspace/env_run/output/huangxiaoshuang/BiRD2/runs/medplib-7b-stage2/hf",
21
+ "explanatory": 0.1,
22
+ "finetune_moe": false,
23
+ "focal_loss_weight": 1.0,
24
+ "grad_accumulation_steps": 8,
25
+ "gradient_checkpointing": true,
26
+ "image_aspect_ratio": "pad",
27
+ "image_folder": "/tmp/v2_mnt/HCG/huangxiaoshuang/SAMed2D_v1",
28
+ "iou_loss_weight": 2.0,
29
+ "is_multimodal": true,
30
+ "local_rank": 0,
31
+ "log_base_dir": "./runs",
32
+ "log_dir": "./runs/",
33
+ "lora_alpha": 16,
34
+ "lora_dropout": 0.05,
35
+ "lora_r": 8,
36
+ "lora_target_modules": "gate_proj,up_proj,down_proj,q_proj,v_proj",
37
+ "lr": 2e-05,
38
+ "max_length": 4096,
39
+ "max_sample_point": 512,
40
+ "min_capacity": 0,
41
+ "model_max_length": 1024,
42
+ "moe_enable": true,
43
+ "moe_layers_idx": null,
44
+ "moe_mode": "dense",
45
+ "no_eval": false,
46
+ "num_classes_per_sample": 3,
47
+ "num_experts": [
48
+ 2
49
+ ],
50
+ "out_dim": 256,
51
+ "pad_token_id": 0,
52
+ "precision": "bf16",
53
+ "pretrain_mm_mlp_adapter": null,
54
+ "print_freq": 1,
55
+ "region_fea_adapter": true,
56
+ "region_geo_sampler": false,
57
+ "resume": "",
58
+ "router_aux_loss_coef": 0.0,
59
+ "sam_img_size": 256,
60
+ "sampler_pooler_mode": "max",
61
+ "save_path": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/BiRD2/runs/lisa-7b-bird-0514_1/hf",
62
+ "save_steps": 200,
63
+ "seg_token_idx": 32000,
64
+ "sft_modules": "wg,lm_head,embed_tokens,mask_decoder,text_hidden_fcs,region_fea_adapter",
65
+ "start_epoch": 0,
66
+ "top_k_experts": 1,
67
+ "train_mask_decoder": true,
68
+ "transformers_version": "4.31.0",
69
+ "use_mm_start_end": true,
70
+ "use_residual": false,
71
+ "val_batch_size": 1,
72
+ "val_data_path": "/root/paddlejob/workspace/env_run/data/huangxiaoshuang/jsons/seg/0301_CombinedAll_7.5w_train1_chatlm_img_coord2_rand5k_seg.json",
73
+ "version": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/BiRD2/runs/lisa-7b-bird-0504/hf",
74
+ "vis_save_path": "./vis_output",
75
+ "vision_pretrained": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/huggingface_models/sam-med2d_b.pth",
76
+ "vision_tower": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/huggingface_models/clip-vit-large-patch14-336",
77
+ "weight": "/root/paddlejob/workspace/env_run/output/huangxiaoshuang/BiRD2/runs/lisa-7b-bird-0514_1/pytorch_model.bin",
78
+ "workers": 8
79
+ }
pytorch_model.bin.index.json ADDED
The diff for this file is too large to render. See raw diff
 
special_tokens_map.json ADDED
@@ -0,0 +1,24 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "eos_token": {
10
+ "content": "</s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": "<unk>",
17
+ "unk_token": {
18
+ "content": "<unk>",
19
+ "lstrip": false,
20
+ "normalized": false,
21
+ "rstrip": false,
22
+ "single_word": false
23
+ }
24
+ }
tokenizer.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9e556afd44213b6bd1be2b850ebbbd98f5481437a8021afaf58ee7fb1818d347
3
+ size 499723
tokenizer_config.json ADDED
@@ -0,0 +1,35 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_bos_token": true,
3
+ "add_eos_token": false,
4
+ "bos_token": {
5
+ "__type": "AddedToken",
6
+ "content": "<s>",
7
+ "lstrip": false,
8
+ "normalized": false,
9
+ "rstrip": false,
10
+ "single_word": false
11
+ },
12
+ "clean_up_tokenization_spaces": false,
13
+ "eos_token": {
14
+ "__type": "AddedToken",
15
+ "content": "</s>",
16
+ "lstrip": false,
17
+ "normalized": false,
18
+ "rstrip": false,
19
+ "single_word": false
20
+ },
21
+ "legacy": true,
22
+ "model_max_length": 1024,
23
+ "pad_token": null,
24
+ "padding_side": "right",
25
+ "sp_model_kwargs": {},
26
+ "tokenizer_class": "LlamaTokenizer",
27
+ "unk_token": {
28
+ "__type": "AddedToken",
29
+ "content": "<unk>",
30
+ "lstrip": false,
31
+ "normalized": false,
32
+ "rstrip": false,
33
+ "single_word": false
34
+ }
35
+ }