Hugging Face's logo

orca-zhang
/
ncnn

ONNX
Model card Files
xet
 Community
orca-zhang commited on
Commit
b6028b9
·
verified ·
1 Parent(s): 3e58597

Add fp32 debug full BGE-M3 NCNN bundle

Browse files
Files changed (9) hide show
  1. .gitattributes +1 -0
  2. bge-m3-0.5B-ncnn-int8/.ready.json +14 -0
  3. bge-m3-0.5B-ncnn-int8/metadata.json +35 -0
  4. bge-m3-0.5B-ncnn-int8/model.bin +3 -0
  5. bge-m3-0.5B-ncnn-int8/model.param +645 -0
  6. bge-m3-0.5B-ncnn-int8/sentencepiece.bpe.model +3 -0
  7. bge-m3-0.5B-ncnn-int8/special_tokens_map.json +51 -0
  8. bge-m3-0.5B-ncnn-int8/tokenizer.json +3 -0
  9. bge-m3-0.5B-ncnn-int8/tokenizer_config.json +17 -0
.gitattributes CHANGED
@@ -52,3 +52,4 @@ linux/amd64/RapidOcrNcnn filter=lfs diff=lfs merge=lfs -text
52
  linux/amd64/libzima_ncnn_runtime_v4.so filter=lfs diff=lfs merge=lfs -text
53
  linux/amd64/RapidOcrNcnnStaged filter=lfs diff=lfs merge=lfs -text
54
  runtime/*.raw filter=lfs diff=lfs merge=lfs -text
 
 
52
  linux/amd64/libzima_ncnn_runtime_v4.so filter=lfs diff=lfs merge=lfs -text
53
  linux/amd64/RapidOcrNcnnStaged filter=lfs diff=lfs merge=lfs -text
54
  runtime/*.raw filter=lfs diff=lfs merge=lfs -text
55
+ bge-m3-0.5B-ncnn-int8/tokenizer.json filter=lfs diff=lfs merge=lfs -text
bge-m3-0.5B-ncnn-int8/.ready.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bundle_id": "bge-m3-0.5B-ncnn-int8",
3
+ "model_class": "embedding",
4
+ "artifacts": [
5
+ "model.param",
6
+ "model.bin",
7
+ "metadata.json",
8
+ "tokenizer.json",
9
+ "tokenizer_config.json",
10
+ "special_tokens_map.json",
11
+ "sentencepiece.bpe.model"
12
+ ],
13
+ "completed_at": "2026-06-17T09:51:36Z"
14
+ }
bge-m3-0.5B-ncnn-int8/metadata.json ADDED
@@ -0,0 +1,35 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bundle_id": "bge-m3-0.5B-ncnn-int8",
3
+ "model_class": "embedding",
4
+ "upstream_id": "BAAI/bge-m3",
5
+ "runtime_kind": "ncnn",
6
+ "quantization": "fp32_debug",
7
+ "dimension": 1024,
8
+ "prefixes": {
9
+ "query": "query: ",
10
+ "index": "passage: "
11
+ },
12
+ "model": {
13
+ "param": "model.param",
14
+ "bin": "model.bin"
15
+ },
16
+ "artifacts": [
17
+ "model.param",
18
+ "model.bin",
19
+ "metadata.json",
20
+ "tokenizer.json",
21
+ "tokenizer_config.json",
22
+ "special_tokens_map.json",
23
+ "sentencepiece.bpe.model"
24
+ ],
25
+ "artifact_sha256": {
26
+ "model.param": "3283e4347491c8727654a438c88646889263a0cad2822551ce982df41bd48d33",
27
+ "model.bin": "41bdcddbd711184399465580377e4d577ff68a0a64ff06d17a8f48354c31eaea",
28
+ "tokenizer.json": "5df1f55d60c9705a501ab9a75550728625740741fe4be308dac4806c16b7d51d",
29
+ "tokenizer_config.json": "6e7c396271f6aaf9bba51e474bea0a399c99f402ff196020991bd98f3443a9e7",
30
+ "special_tokens_map.json": "8c785abebea9ae3257b61681b4e6fd8365ceafde980c21970d001e834cf10835",
31
+ "sentencepiece.bpe.model": "cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865"
32
+ },
33
+ "skip_calibration": true,
34
+ "quantize_input_kind": "fp32"
35
+ }
bge-m3-0.5B-ncnn-int8/model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:41bdcddbd711184399465580377e4d577ff68a0a64ff06d17a8f48354c31eaea
3
+ size 2267341964
bge-m3-0.5B-ncnn-int8/model.param ADDED
@@ -0,0 +1,645 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 7767517
2
+ 643 763
3
+ Input in0 0 1 in0
4
+ Input in1 0 1 in1
5
+ Input in2 0 1 in2
6
+ Split splitncnn_0 1 2 in2 3 4
7
+ Embed embed_193 1 1 in0 5 0=1024 1=250002 2=0 3=256002048
8
+ MemoryData pnnx_fold_28 0 1 6 0=1024 1=128
9
+ Embed embed_194 1 1 in1 7 0=1024 1=8194 2=0 3=8390656
10
+ BinaryOp add_0 2 1 5 6 8 0=0
11
+ BinaryOp add_1 2 1 8 7 9 0=0
12
+ LayerNorm ln_195 1 1 9 10 0=1024 1=1.000000e-05 2=1
13
+ Split splitncnn_1 1 4 10 11 12 13 14
14
+ Reshape reshape_268 1 1 4 15 0=128 1=1 2=1
15
+ BinaryOp sub_2 1 1 15 16 0=7 1=1 2=1.0
16
+ BinaryOp mul_3 1 1 16 17 0=2 1=1 2=-10000.0
17
+ Split splitncnn_2 1 24 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41
18
+ Gemm gemm_0 1 1 14 42 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
19
+ Reshape reshape_269 1 1 42 43 0=64 1=16 2=128
20
+ Permute transpose_415 1 1 43 44 0=2
21
+ Gemm gemm_1 1 1 13 45 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
22
+ Reshape reshape_270 1 1 45 46 0=64 1=16 2=128
23
+ Gemm gemm_2 1 1 12 47 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
24
+ Reshape reshape_271 1 1 47 48 0=64 1=16 2=128
25
+ Permute transpose_416 1 1 48 49 0=2
26
+ Permute permute_244 1 1 46 50 0=3
27
+ MatMul matmul_366 2 1 44 50 51
28
+ BinaryOp mul_4 1 1 51 52 0=2 1=1 2=0.125
29
+ BinaryOp add_5 2 1 52 18 53 0=0
30
+ Softmax softmax_169 1 1 53 54 0=2 1=1
31
+ MatMul matmul_367 2 1 54 49 55
32
+ Permute transpose_417 1 1 55 56 0=2
33
+ Reshape reshape_272 1 1 56 57 0=1024 1=128
34
+ Gemm gemm_3 1 1 57 58 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
35
+ BinaryOp add_6 2 1 58 11 59 0=0
36
+ LayerNorm ln_196 1 1 59 60 0=1024 1=1.000000e-05 2=1
37
+ Split splitncnn_3 1 2 60 61 62
38
+ Gemm gemm_4 1 1 62 63 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
39
+ GELU gelu_144 1 1 63 64
40
+ Gemm gemm_5 1 1 64 65 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
41
+ BinaryOp add_7 2 1 65 61 66 0=0
42
+ LayerNorm ln_197 1 1 66 67 0=1024 1=1.000000e-05 2=1
43
+ Split splitncnn_4 1 4 67 68 69 70 71
44
+ Gemm gemm_6 1 1 71 72 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
45
+ Reshape reshape_273 1 1 72 73 0=64 1=16 2=128
46
+ Permute transpose_418 1 1 73 74 0=2
47
+ Gemm gemm_7 1 1 70 75 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
48
+ Reshape reshape_274 1 1 75 76 0=64 1=16 2=128
49
+ Gemm gemm_8 1 1 69 77 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
50
+ Reshape reshape_275 1 1 77 78 0=64 1=16 2=128
51
+ Permute transpose_419 1 1 78 79 0=2
52
+ Permute permute_245 1 1 76 80 0=3
53
+ MatMul matmul_368 2 1 74 80 81
54
+ BinaryOp mul_8 1 1 81 82 0=2 1=1 2=0.125
55
+ BinaryOp add_9 2 1 82 19 83 0=0
56
+ Softmax softmax_170 1 1 83 84 0=2 1=1
57
+ MatMul matmul_369 2 1 84 79 85
58
+ Permute transpose_420 1 1 85 86 0=2
59
+ Reshape reshape_276 1 1 86 87 0=1024 1=128
60
+ Gemm gemm_9 1 1 87 88 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
61
+ BinaryOp add_10 2 1 88 68 89 0=0
62
+ LayerNorm ln_198 1 1 89 90 0=1024 1=1.000000e-05 2=1
63
+ Split splitncnn_5 1 2 90 91 92
64
+ Gemm gemm_10 1 1 92 93 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
65
+ GELU gelu_145 1 1 93 94
66
+ Gemm gemm_11 1 1 94 95 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
67
+ BinaryOp add_11 2 1 95 91 96 0=0
68
+ LayerNorm ln_199 1 1 96 97 0=1024 1=1.000000e-05 2=1
69
+ Split splitncnn_6 1 4 97 98 99 100 101
70
+ Gemm gemm_12 1 1 101 102 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
71
+ Reshape reshape_277 1 1 102 103 0=64 1=16 2=128
72
+ Permute transpose_421 1 1 103 104 0=2
73
+ Gemm gemm_13 1 1 100 105 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
74
+ Reshape reshape_278 1 1 105 106 0=64 1=16 2=128
75
+ Gemm gemm_14 1 1 99 107 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
76
+ Reshape reshape_279 1 1 107 108 0=64 1=16 2=128
77
+ Permute transpose_422 1 1 108 109 0=2
78
+ Permute permute_246 1 1 106 110 0=3
79
+ MatMul matmul_370 2 1 104 110 111
80
+ BinaryOp mul_12 1 1 111 112 0=2 1=1 2=0.125
81
+ BinaryOp add_13 2 1 112 20 113 0=0
82
+ Softmax softmax_171 1 1 113 114 0=2 1=1
83
+ MatMul matmul_371 2 1 114 109 115
84
+ Permute transpose_423 1 1 115 116 0=2
85
+ Reshape reshape_280 1 1 116 117 0=1024 1=128
86
+ Gemm gemm_15 1 1 117 118 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
87
+ BinaryOp add_14 2 1 118 98 119 0=0
88
+ LayerNorm ln_200 1 1 119 120 0=1024 1=1.000000e-05 2=1
89
+ Split splitncnn_7 1 2 120 121 122
90
+ Gemm gemm_16 1 1 122 123 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
91
+ GELU gelu_146 1 1 123 124
92
+ Gemm gemm_17 1 1 124 125 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
93
+ BinaryOp add_15 2 1 125 121 126 0=0
94
+ LayerNorm ln_201 1 1 126 127 0=1024 1=1.000000e-05 2=1
95
+ Split splitncnn_8 1 4 127 128 129 130 131
96
+ Gemm gemm_18 1 1 131 132 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
97
+ Reshape reshape_281 1 1 132 133 0=64 1=16 2=128
98
+ Permute transpose_424 1 1 133 134 0=2
99
+ Gemm gemm_19 1 1 130 135 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
100
+ Reshape reshape_282 1 1 135 136 0=64 1=16 2=128
101
+ Gemm gemm_20 1 1 129 137 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
102
+ Reshape reshape_283 1 1 137 138 0=64 1=16 2=128
103
+ Permute transpose_425 1 1 138 139 0=2
104
+ Permute permute_247 1 1 136 140 0=3
105
+ MatMul matmul_372 2 1 134 140 141
106
+ BinaryOp mul_16 1 1 141 142 0=2 1=1 2=0.125
107
+ BinaryOp add_17 2 1 142 21 143 0=0
108
+ Softmax softmax_172 1 1 143 144 0=2 1=1
109
+ MatMul matmul_373 2 1 144 139 145
110
+ Permute transpose_426 1 1 145 146 0=2
111
+ Reshape reshape_284 1 1 146 147 0=1024 1=128
112
+ Gemm gemm_21 1 1 147 148 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
113
+ BinaryOp add_18 2 1 148 128 149 0=0
114
+ LayerNorm ln_202 1 1 149 150 0=1024 1=1.000000e-05 2=1
115
+ Split splitncnn_9 1 2 150 151 152
116
+ Gemm gemm_22 1 1 152 153 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
117
+ GELU gelu_147 1 1 153 154
118
+ Gemm gemm_23 1 1 154 155 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
119
+ BinaryOp add_19 2 1 155 151 156 0=0
120
+ LayerNorm ln_203 1 1 156 157 0=1024 1=1.000000e-05 2=1
121
+ Split splitncnn_10 1 4 157 158 159 160 161
122
+ Gemm gemm_24 1 1 161 162 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
123
+ Reshape reshape_285 1 1 162 163 0=64 1=16 2=128
124
+ Permute transpose_427 1 1 163 164 0=2
125
+ Gemm gemm_25 1 1 160 165 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
126
+ Reshape reshape_286 1 1 165 166 0=64 1=16 2=128
127
+ Gemm gemm_26 1 1 159 167 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
128
+ Reshape reshape_287 1 1 167 168 0=64 1=16 2=128
129
+ Permute transpose_428 1 1 168 169 0=2
130
+ Permute permute_248 1 1 166 170 0=3
131
+ MatMul matmul_374 2 1 164 170 171
132
+ BinaryOp mul_20 1 1 171 172 0=2 1=1 2=0.125
133
+ BinaryOp add_21 2 1 172 22 173 0=0
134
+ Softmax softmax_173 1 1 173 174 0=2 1=1
135
+ MatMul matmul_375 2 1 174 169 175
136
+ Permute transpose_429 1 1 175 176 0=2
137
+ Reshape reshape_288 1 1 176 177 0=1024 1=128
138
+ Gemm gemm_27 1 1 177 178 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
139
+ BinaryOp add_22 2 1 178 158 179 0=0
140
+ LayerNorm ln_204 1 1 179 180 0=1024 1=1.000000e-05 2=1
141
+ Split splitncnn_11 1 2 180 181 182
142
+ Gemm gemm_28 1 1 182 183 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
143
+ GELU gelu_148 1 1 183 184
144
+ Gemm gemm_29 1 1 184 185 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
145
+ BinaryOp add_23 2 1 185 181 186 0=0
146
+ LayerNorm ln_205 1 1 186 187 0=1024 1=1.000000e-05 2=1
147
+ Split splitncnn_12 1 4 187 188 189 190 191
148
+ Gemm gemm_30 1 1 191 192 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
149
+ Reshape reshape_289 1 1 192 193 0=64 1=16 2=128
150
+ Permute transpose_430 1 1 193 194 0=2
151
+ Gemm gemm_31 1 1 190 195 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
152
+ Reshape reshape_290 1 1 195 196 0=64 1=16 2=128
153
+ Gemm gemm_32 1 1 189 197 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
154
+ Reshape reshape_291 1 1 197 198 0=64 1=16 2=128
155
+ Permute transpose_431 1 1 198 199 0=2
156
+ Permute permute_249 1 1 196 200 0=3
157
+ MatMul matmul_376 2 1 194 200 201
158
+ BinaryOp mul_24 1 1 201 202 0=2 1=1 2=0.125
159
+ BinaryOp add_25 2 1 202 23 203 0=0
160
+ Softmax softmax_174 1 1 203 204 0=2 1=1
161
+ MatMul matmul_377 2 1 204 199 205
162
+ Permute transpose_432 1 1 205 206 0=2
163
+ Reshape reshape_292 1 1 206 207 0=1024 1=128
164
+ Gemm gemm_33 1 1 207 208 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
165
+ BinaryOp add_26 2 1 208 188 209 0=0
166
+ LayerNorm ln_206 1 1 209 210 0=1024 1=1.000000e-05 2=1
167
+ Split splitncnn_13 1 2 210 211 212
168
+ Gemm gemm_34 1 1 212 213 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
169
+ GELU gelu_149 1 1 213 214
170
+ Gemm gemm_35 1 1 214 215 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
171
+ BinaryOp add_27 2 1 215 211 216 0=0
172
+ LayerNorm ln_207 1 1 216 217 0=1024 1=1.000000e-05 2=1
173
+ Split splitncnn_14 1 4 217 218 219 220 221
174
+ Gemm gemm_36 1 1 221 222 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
175
+ Reshape reshape_293 1 1 222 223 0=64 1=16 2=128
176
+ Permute transpose_433 1 1 223 224 0=2
177
+ Gemm gemm_37 1 1 220 225 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
178
+ Reshape reshape_294 1 1 225 226 0=64 1=16 2=128
179
+ Gemm gemm_38 1 1 219 227 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
180
+ Reshape reshape_295 1 1 227 228 0=64 1=16 2=128
181
+ Permute transpose_434 1 1 228 229 0=2
182
+ Permute permute_250 1 1 226 230 0=3
183
+ MatMul matmul_378 2 1 224 230 231
184
+ BinaryOp mul_28 1 1 231 232 0=2 1=1 2=0.125
185
+ BinaryOp add_29 2 1 232 24 233 0=0
186
+ Softmax softmax_175 1 1 233 234 0=2 1=1
187
+ MatMul matmul_379 2 1 234 229 235
188
+ Permute transpose_435 1 1 235 236 0=2
189
+ Reshape reshape_296 1 1 236 237 0=1024 1=128
190
+ Gemm gemm_39 1 1 237 238 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
191
+ BinaryOp add_30 2 1 238 218 239 0=0
192
+ LayerNorm ln_208 1 1 239 240 0=1024 1=1.000000e-05 2=1
193
+ Split splitncnn_15 1 2 240 241 242
194
+ Gemm gemm_40 1 1 242 243 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
195
+ GELU gelu_150 1 1 243 244
196
+ Gemm gemm_41 1 1 244 245 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
197
+ BinaryOp add_31 2 1 245 241 246 0=0
198
+ LayerNorm ln_209 1 1 246 247 0=1024 1=1.000000e-05 2=1
199
+ Split splitncnn_16 1 4 247 248 249 250 251
200
+ Gemm gemm_42 1 1 251 252 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
201
+ Reshape reshape_297 1 1 252 253 0=64 1=16 2=128
202
+ Permute transpose_436 1 1 253 254 0=2
203
+ Gemm gemm_43 1 1 250 255 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
204
+ Reshape reshape_298 1 1 255 256 0=64 1=16 2=128
205
+ Gemm gemm_44 1 1 249 257 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
206
+ Reshape reshape_299 1 1 257 258 0=64 1=16 2=128
207
+ Permute transpose_437 1 1 258 259 0=2
208
+ Permute permute_251 1 1 256 260 0=3
209
+ MatMul matmul_380 2 1 254 260 261
210
+ BinaryOp mul_32 1 1 261 262 0=2 1=1 2=0.125
211
+ BinaryOp add_33 2 1 262 25 263 0=0
212
+ Softmax softmax_176 1 1 263 264 0=2 1=1
213
+ MatMul matmul_381 2 1 264 259 265
214
+ Permute transpose_438 1 1 265 266 0=2
215
+ Reshape reshape_300 1 1 266 267 0=1024 1=128
216
+ Gemm gemm_45 1 1 267 268 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
217
+ BinaryOp add_34 2 1 268 248 269 0=0
218
+ LayerNorm ln_210 1 1 269 270 0=1024 1=1.000000e-05 2=1
219
+ Split splitncnn_17 1 2 270 271 272
220
+ Gemm gemm_46 1 1 272 273 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
221
+ GELU gelu_151 1 1 273 274
222
+ Gemm gemm_47 1 1 274 275 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
223
+ BinaryOp add_35 2 1 275 271 276 0=0
224
+ LayerNorm ln_211 1 1 276 277 0=1024 1=1.000000e-05 2=1
225
+ Split splitncnn_18 1 4 277 278 279 280 281
226
+ Gemm gemm_48 1 1 281 282 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
227
+ Reshape reshape_301 1 1 282 283 0=64 1=16 2=128
228
+ Permute transpose_439 1 1 283 284 0=2
229
+ Gemm gemm_49 1 1 280 285 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
230
+ Reshape reshape_302 1 1 285 286 0=64 1=16 2=128
231
+ Gemm gemm_50 1 1 279 287 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
232
+ Reshape reshape_303 1 1 287 288 0=64 1=16 2=128
233
+ Permute transpose_440 1 1 288 289 0=2
234
+ Permute permute_252 1 1 286 290 0=3
235
+ MatMul matmul_382 2 1 284 290 291
236
+ BinaryOp mul_36 1 1 291 292 0=2 1=1 2=0.125
237
+ BinaryOp add_37 2 1 292 26 293 0=0
238
+ Softmax softmax_177 1 1 293 294 0=2 1=1
239
+ MatMul matmul_383 2 1 294 289 295
240
+ Permute transpose_441 1 1 295 296 0=2
241
+ Reshape reshape_304 1 1 296 297 0=1024 1=128
242
+ Gemm gemm_51 1 1 297 298 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
243
+ BinaryOp add_38 2 1 298 278 299 0=0
244
+ LayerNorm ln_212 1 1 299 300 0=1024 1=1.000000e-05 2=1
245
+ Split splitncnn_19 1 2 300 301 302
246
+ Gemm gemm_52 1 1 302 303 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
247
+ GELU gelu_152 1 1 303 304
248
+ Gemm gemm_53 1 1 304 305 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
249
+ BinaryOp add_39 2 1 305 301 306 0=0
250
+ LayerNorm ln_213 1 1 306 307 0=1024 1=1.000000e-05 2=1
251
+ Split splitncnn_20 1 4 307 308 309 310 311
252
+ Gemm gemm_54 1 1 311 312 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
253
+ Reshape reshape_305 1 1 312 313 0=64 1=16 2=128
254
+ Permute transpose_442 1 1 313 314 0=2
255
+ Gemm gemm_55 1 1 310 315 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
256
+ Reshape reshape_306 1 1 315 316 0=64 1=16 2=128
257
+ Gemm gemm_56 1 1 309 317 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
258
+ Reshape reshape_307 1 1 317 318 0=64 1=16 2=128
259
+ Permute transpose_443 1 1 318 319 0=2
260
+ Permute permute_253 1 1 316 320 0=3
261
+ MatMul matmul_384 2 1 314 320 321
262
+ BinaryOp mul_40 1 1 321 322 0=2 1=1 2=0.125
263
+ BinaryOp add_41 2 1 322 27 323 0=0
264
+ Softmax softmax_178 1 1 323 324 0=2 1=1
265
+ MatMul matmul_385 2 1 324 319 325
266
+ Permute transpose_444 1 1 325 326 0=2
267
+ Reshape reshape_308 1 1 326 327 0=1024 1=128
268
+ Gemm gemm_57 1 1 327 328 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
269
+ BinaryOp add_42 2 1 328 308 329 0=0
270
+ LayerNorm ln_214 1 1 329 330 0=1024 1=1.000000e-05 2=1
271
+ Split splitncnn_21 1 2 330 331 332
272
+ Gemm gemm_58 1 1 332 333 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
273
+ GELU gelu_153 1 1 333 334
274
+ Gemm gemm_59 1 1 334 335 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
275
+ BinaryOp add_43 2 1 335 331 336 0=0
276
+ LayerNorm ln_215 1 1 336 337 0=1024 1=1.000000e-05 2=1
277
+ Split splitncnn_22 1 4 337 338 339 340 341
278
+ Gemm gemm_60 1 1 341 342 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
279
+ Reshape reshape_309 1 1 342 343 0=64 1=16 2=128
280
+ Permute transpose_445 1 1 343 344 0=2
281
+ Gemm gemm_61 1 1 340 345 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
282
+ Reshape reshape_310 1 1 345 346 0=64 1=16 2=128
283
+ Gemm gemm_62 1 1 339 347 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
284
+ Reshape reshape_311 1 1 347 348 0=64 1=16 2=128
285
+ Permute transpose_446 1 1 348 349 0=2
286
+ Permute permute_254 1 1 346 350 0=3
287
+ MatMul matmul_386 2 1 344 350 351
288
+ BinaryOp mul_44 1 1 351 352 0=2 1=1 2=0.125
289
+ BinaryOp add_45 2 1 352 28 353 0=0
290
+ Softmax softmax_179 1 1 353 354 0=2 1=1
291
+ MatMul matmul_387 2 1 354 349 355
292
+ Permute transpose_447 1 1 355 356 0=2
293
+ Reshape reshape_312 1 1 356 357 0=1024 1=128
294
+ Gemm gemm_63 1 1 357 358 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
295
+ BinaryOp add_46 2 1 358 338 359 0=0
296
+ LayerNorm ln_216 1 1 359 360 0=1024 1=1.000000e-05 2=1
297
+ Split splitncnn_23 1 2 360 361 362
298
+ Gemm gemm_64 1 1 362 363 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
299
+ GELU gelu_154 1 1 363 364
300
+ Gemm gemm_65 1 1 364 365 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
301
+ BinaryOp add_47 2 1 365 361 366 0=0
302
+ LayerNorm ln_217 1 1 366 367 0=1024 1=1.000000e-05 2=1
303
+ Split splitncnn_24 1 4 367 368 369 370 371
304
+ Gemm gemm_66 1 1 371 372 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
305
+ Reshape reshape_313 1 1 372 373 0=64 1=16 2=128
306
+ Permute transpose_448 1 1 373 374 0=2
307
+ Gemm gemm_67 1 1 370 375 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
308
+ Reshape reshape_314 1 1 375 376 0=64 1=16 2=128
309
+ Gemm gemm_68 1 1 369 377 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
310
+ Reshape reshape_315 1 1 377 378 0=64 1=16 2=128
311
+ Permute transpose_449 1 1 378 379 0=2
312
+ Permute permute_255 1 1 376 380 0=3
313
+ MatMul matmul_388 2 1 374 380 381
314
+ BinaryOp mul_48 1 1 381 382 0=2 1=1 2=0.125
315
+ BinaryOp add_49 2 1 382 29 383 0=0
316
+ Softmax softmax_180 1 1 383 384 0=2 1=1
317
+ MatMul matmul_389 2 1 384 379 385
318
+ Permute transpose_450 1 1 385 386 0=2
319
+ Reshape reshape_316 1 1 386 387 0=1024 1=128
320
+ Gemm gemm_69 1 1 387 388 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
321
+ BinaryOp add_50 2 1 388 368 389 0=0
322
+ LayerNorm ln_218 1 1 389 390 0=1024 1=1.000000e-05 2=1
323
+ Split splitncnn_25 1 2 390 391 392
324
+ Gemm gemm_70 1 1 392 393 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
325
+ GELU gelu_155 1 1 393 394
326
+ Gemm gemm_71 1 1 394 395 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
327
+ BinaryOp add_51 2 1 395 391 396 0=0
328
+ LayerNorm ln_219 1 1 396 397 0=1024 1=1.000000e-05 2=1
329
+ Split splitncnn_26 1 4 397 398 399 400 401
330
+ Gemm gemm_72 1 1 401 402 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
331
+ Reshape reshape_317 1 1 402 403 0=64 1=16 2=128
332
+ Permute transpose_451 1 1 403 404 0=2
333
+ Gemm gemm_73 1 1 400 405 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
334
+ Reshape reshape_318 1 1 405 406 0=64 1=16 2=128
335
+ Gemm gemm_74 1 1 399 407 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
336
+ Reshape reshape_319 1 1 407 408 0=64 1=16 2=128
337
+ Permute transpose_452 1 1 408 409 0=2
338
+ Permute permute_256 1 1 406 410 0=3
339
+ MatMul matmul_390 2 1 404 410 411
340
+ BinaryOp mul_52 1 1 411 412 0=2 1=1 2=0.125
341
+ BinaryOp add_53 2 1 412 30 413 0=0
342
+ Softmax softmax_181 1 1 413 414 0=2 1=1
343
+ MatMul matmul_391 2 1 414 409 415
344
+ Permute transpose_453 1 1 415 416 0=2
345
+ Reshape reshape_320 1 1 416 417 0=1024 1=128
346
+ Gemm gemm_75 1 1 417 418 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
347
+ BinaryOp add_54 2 1 418 398 419 0=0
348
+ LayerNorm ln_220 1 1 419 420 0=1024 1=1.000000e-05 2=1
349
+ Split splitncnn_27 1 2 420 421 422
350
+ Gemm gemm_76 1 1 422 423 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
351
+ GELU gelu_156 1 1 423 424
352
+ Gemm gemm_77 1 1 424 425 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
353
+ BinaryOp add_55 2 1 425 421 426 0=0
354
+ LayerNorm ln_221 1 1 426 427 0=1024 1=1.000000e-05 2=1
355
+ Split splitncnn_28 1 4 427 428 429 430 431
356
+ Gemm gemm_78 1 1 431 432 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
357
+ Reshape reshape_321 1 1 432 433 0=64 1=16 2=128
358
+ Permute transpose_454 1 1 433 434 0=2
359
+ Gemm gemm_79 1 1 430 435 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
360
+ Reshape reshape_322 1 1 435 436 0=64 1=16 2=128
361
+ Gemm gemm_80 1 1 429 437 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
362
+ Reshape reshape_323 1 1 437 438 0=64 1=16 2=128
363
+ Permute transpose_455 1 1 438 439 0=2
364
+ Permute permute_257 1 1 436 440 0=3
365
+ MatMul matmul_392 2 1 434 440 441
366
+ BinaryOp mul_56 1 1 441 442 0=2 1=1 2=0.125
367
+ BinaryOp add_57 2 1 442 31 443 0=0
368
+ Softmax softmax_182 1 1 443 444 0=2 1=1
369
+ MatMul matmul_393 2 1 444 439 445
370
+ Permute transpose_456 1 1 445 446 0=2
371
+ Reshape reshape_324 1 1 446 447 0=1024 1=128
372
+ Gemm gemm_81 1 1 447 448 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
373
+ BinaryOp add_58 2 1 448 428 449 0=0
374
+ LayerNorm ln_222 1 1 449 450 0=1024 1=1.000000e-05 2=1
375
+ Split splitncnn_29 1 2 450 451 452
376
+ Gemm gemm_82 1 1 452 453 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
377
+ GELU gelu_157 1 1 453 454
378
+ Gemm gemm_83 1 1 454 455 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
379
+ BinaryOp add_59 2 1 455 451 456 0=0
380
+ LayerNorm ln_223 1 1 456 457 0=1024 1=1.000000e-05 2=1
381
+ Split splitncnn_30 1 4 457 458 459 460 461
382
+ Gemm gemm_84 1 1 461 462 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
383
+ Reshape reshape_325 1 1 462 463 0=64 1=16 2=128
384
+ Permute transpose_457 1 1 463 464 0=2
385
+ Gemm gemm_85 1 1 460 465 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
386
+ Reshape reshape_326 1 1 465 466 0=64 1=16 2=128
387
+ Gemm gemm_86 1 1 459 467 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
388
+ Reshape reshape_327 1 1 467 468 0=64 1=16 2=128
389
+ Permute transpose_458 1 1 468 469 0=2
390
+ Permute permute_258 1 1 466 470 0=3
391
+ MatMul matmul_394 2 1 464 470 471
392
+ BinaryOp mul_60 1 1 471 472 0=2 1=1 2=0.125
393
+ BinaryOp add_61 2 1 472 32 473 0=0
394
+ Softmax softmax_183 1 1 473 474 0=2 1=1
395
+ MatMul matmul_395 2 1 474 469 475
396
+ Permute transpose_459 1 1 475 476 0=2
397
+ Reshape reshape_328 1 1 476 477 0=1024 1=128
398
+ Gemm gemm_87 1 1 477 478 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
399
+ BinaryOp add_62 2 1 478 458 479 0=0
400
+ LayerNorm ln_224 1 1 479 480 0=1024 1=1.000000e-05 2=1
401
+ Split splitncnn_31 1 2 480 481 482
402
+ Gemm gemm_88 1 1 482 483 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
403
+ GELU gelu_158 1 1 483 484
404
+ Gemm gemm_89 1 1 484 485 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
405
+ BinaryOp add_63 2 1 485 481 486 0=0
406
+ LayerNorm ln_225 1 1 486 487 0=1024 1=1.000000e-05 2=1
407
+ Split splitncnn_32 1 4 487 488 489 490 491
408
+ Gemm gemm_90 1 1 491 492 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
409
+ Reshape reshape_329 1 1 492 493 0=64 1=16 2=128
410
+ Permute transpose_460 1 1 493 494 0=2
411
+ Gemm gemm_91 1 1 490 495 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
412
+ Reshape reshape_330 1 1 495 496 0=64 1=16 2=128
413
+ Gemm gemm_92 1 1 489 497 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
414
+ Reshape reshape_331 1 1 497 498 0=64 1=16 2=128
415
+ Permute transpose_461 1 1 498 499 0=2
416
+ Permute permute_259 1 1 496 500 0=3
417
+ MatMul matmul_396 2 1 494 500 501
418
+ BinaryOp mul_64 1 1 501 502 0=2 1=1 2=0.125
419
+ BinaryOp add_65 2 1 502 33 503 0=0
420
+ Softmax softmax_184 1 1 503 504 0=2 1=1
421
+ MatMul matmul_397 2 1 504 499 505
422
+ Permute transpose_462 1 1 505 506 0=2
423
+ Reshape reshape_332 1 1 506 507 0=1024 1=128
424
+ Gemm gemm_93 1 1 507 508 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
425
+ BinaryOp add_66 2 1 508 488 509 0=0
426
+ LayerNorm ln_226 1 1 509 510 0=1024 1=1.000000e-05 2=1
427
+ Split splitncnn_33 1 2 510 511 512
428
+ Gemm gemm_94 1 1 512 513 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
429
+ GELU gelu_159 1 1 513 514
430
+ Gemm gemm_95 1 1 514 515 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
431
+ BinaryOp add_67 2 1 515 511 516 0=0
432
+ LayerNorm ln_227 1 1 516 517 0=1024 1=1.000000e-05 2=1
433
+ Split splitncnn_34 1 4 517 518 519 520 521
434
+ Gemm gemm_96 1 1 521 522 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
435
+ Reshape reshape_333 1 1 522 523 0=64 1=16 2=128
436
+ Permute transpose_463 1 1 523 524 0=2
437
+ Gemm gemm_97 1 1 520 525 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
438
+ Reshape reshape_334 1 1 525 526 0=64 1=16 2=128
439
+ Gemm gemm_98 1 1 519 527 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
440
+ Reshape reshape_335 1 1 527 528 0=64 1=16 2=128
441
+ Permute transpose_464 1 1 528 529 0=2
442
+ Permute permute_260 1 1 526 530 0=3
443
+ MatMul matmul_398 2 1 524 530 531
444
+ BinaryOp mul_68 1 1 531 532 0=2 1=1 2=0.125
445
+ BinaryOp add_69 2 1 532 34 533 0=0
446
+ Softmax softmax_185 1 1 533 534 0=2 1=1
447
+ MatMul matmul_399 2 1 534 529 535
448
+ Permute transpose_465 1 1 535 536 0=2
449
+ Reshape reshape_336 1 1 536 537 0=1024 1=128
450
+ Gemm gemm_99 1 1 537 538 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
451
+ BinaryOp add_70 2 1 538 518 539 0=0
452
+ LayerNorm ln_228 1 1 539 540 0=1024 1=1.000000e-05 2=1
453
+ Split splitncnn_35 1 2 540 541 542
454
+ Gemm gemm_100 1 1 542 543 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
455
+ GELU gelu_160 1 1 543 544
456
+ Gemm gemm_101 1 1 544 545 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
457
+ BinaryOp add_71 2 1 545 541 546 0=0
458
+ LayerNorm ln_229 1 1 546 547 0=1024 1=1.000000e-05 2=1
459
+ Split splitncnn_36 1 4 547 548 549 550 551
460
+ Gemm gemm_102 1 1 551 552 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
461
+ Reshape reshape_337 1 1 552 553 0=64 1=16 2=128
462
+ Permute transpose_466 1 1 553 554 0=2
463
+ Gemm gemm_103 1 1 550 555 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
464
+ Reshape reshape_338 1 1 555 556 0=64 1=16 2=128
465
+ Gemm gemm_104 1 1 549 557 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
466
+ Reshape reshape_339 1 1 557 558 0=64 1=16 2=128
467
+ Permute transpose_467 1 1 558 559 0=2
468
+ Permute permute_261 1 1 556 560 0=3
469
+ MatMul matmul_400 2 1 554 560 561
470
+ BinaryOp mul_72 1 1 561 562 0=2 1=1 2=0.125
471
+ BinaryOp add_73 2 1 562 35 563 0=0
472
+ Softmax softmax_186 1 1 563 564 0=2 1=1
473
+ MatMul matmul_401 2 1 564 559 565
474
+ Permute transpose_468 1 1 565 566 0=2
475
+ Reshape reshape_340 1 1 566 567 0=1024 1=128
476
+ Gemm gemm_105 1 1 567 568 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
477
+ BinaryOp add_74 2 1 568 548 569 0=0
478
+ LayerNorm ln_230 1 1 569 570 0=1024 1=1.000000e-05 2=1
479
+ Split splitncnn_37 1 2 570 571 572
480
+ Gemm gemm_106 1 1 572 573 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
481
+ GELU gelu_161 1 1 573 574
482
+ Gemm gemm_107 1 1 574 575 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
483
+ BinaryOp add_75 2 1 575 571 576 0=0
484
+ LayerNorm ln_231 1 1 576 577 0=1024 1=1.000000e-05 2=1
485
+ Split splitncnn_38 1 4 577 578 579 580 581
486
+ Gemm gemm_108 1 1 581 582 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
487
+ Reshape reshape_341 1 1 582 583 0=64 1=16 2=128
488
+ Permute transpose_469 1 1 583 584 0=2
489
+ Gemm gemm_109 1 1 580 585 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
490
+ Reshape reshape_342 1 1 585 586 0=64 1=16 2=128
491
+ Gemm gemm_110 1 1 579 587 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
492
+ Reshape reshape_343 1 1 587 588 0=64 1=16 2=128
493
+ Permute transpose_470 1 1 588 589 0=2
494
+ Permute permute_262 1 1 586 590 0=3
495
+ MatMul matmul_402 2 1 584 590 591
496
+ BinaryOp mul_76 1 1 591 592 0=2 1=1 2=0.125
497
+ BinaryOp add_77 2 1 592 36 593 0=0
498
+ Softmax softmax_187 1 1 593 594 0=2 1=1
499
+ MatMul matmul_403 2 1 594 589 595
500
+ Permute transpose_471 1 1 595 596 0=2
501
+ Reshape reshape_344 1 1 596 597 0=1024 1=128
502
+ Gemm gemm_111 1 1 597 598 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
503
+ BinaryOp add_78 2 1 598 578 599 0=0
504
+ LayerNorm ln_232 1 1 599 600 0=1024 1=1.000000e-05 2=1
505
+ Split splitncnn_39 1 2 600 601 602
506
+ Gemm gemm_112 1 1 602 603 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
507
+ GELU gelu_162 1 1 603 604
508
+ Gemm gemm_113 1 1 604 605 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
509
+ BinaryOp add_79 2 1 605 601 606 0=0
510
+ LayerNorm ln_233 1 1 606 607 0=1024 1=1.000000e-05 2=1
511
+ Split splitncnn_40 1 4 607 608 609 610 611
512
+ Gemm gemm_114 1 1 611 612 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
513
+ Reshape reshape_345 1 1 612 613 0=64 1=16 2=128
514
+ Permute transpose_472 1 1 613 614 0=2
515
+ Gemm gemm_115 1 1 610 615 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
516
+ Reshape reshape_346 1 1 615 616 0=64 1=16 2=128
517
+ Gemm gemm_116 1 1 609 617 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
518
+ Reshape reshape_347 1 1 617 618 0=64 1=16 2=128
519
+ Permute transpose_473 1 1 618 619 0=2
520
+ Permute permute_263 1 1 616 620 0=3
521
+ MatMul matmul_404 2 1 614 620 621
522
+ BinaryOp mul_80 1 1 621 622 0=2 1=1 2=0.125
523
+ BinaryOp add_81 2 1 622 37 623 0=0
524
+ Softmax softmax_188 1 1 623 624 0=2 1=1
525
+ MatMul matmul_405 2 1 624 619 625
526
+ Permute transpose_474 1 1 625 626 0=2
527
+ Reshape reshape_348 1 1 626 627 0=1024 1=128
528
+ Gemm gemm_117 1 1 627 628 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
529
+ BinaryOp add_82 2 1 628 608 629 0=0
530
+ LayerNorm ln_234 1 1 629 630 0=1024 1=1.000000e-05 2=1
531
+ Split splitncnn_41 1 2 630 631 632
532
+ Gemm gemm_118 1 1 632 633 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
533
+ GELU gelu_163 1 1 633 634
534
+ Gemm gemm_119 1 1 634 635 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
535
+ BinaryOp add_83 2 1 635 631 636 0=0
536
+ LayerNorm ln_235 1 1 636 637 0=1024 1=1.000000e-05 2=1
537
+ Split splitncnn_42 1 4 637 638 639 640 641
538
+ Gemm gemm_120 1 1 641 642 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
539
+ Reshape reshape_349 1 1 642 643 0=64 1=16 2=128
540
+ Permute transpose_475 1 1 643 644 0=2
541
+ Gemm gemm_121 1 1 640 645 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
542
+ Reshape reshape_350 1 1 645 646 0=64 1=16 2=128
543
+ Gemm gemm_122 1 1 639 647 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
544
+ Reshape reshape_351 1 1 647 648 0=64 1=16 2=128
545
+ Permute transpose_476 1 1 648 649 0=2
546
+ Permute permute_264 1 1 646 650 0=3
547
+ MatMul matmul_406 2 1 644 650 651
548
+ BinaryOp mul_84 1 1 651 652 0=2 1=1 2=0.125
549
+ BinaryOp add_85 2 1 652 38 653 0=0
550
+ Softmax softmax_189 1 1 653 654 0=2 1=1
551
+ MatMul matmul_407 2 1 654 649 655
552
+ Permute transpose_477 1 1 655 656 0=2
553
+ Reshape reshape_352 1 1 656 657 0=1024 1=128
554
+ Gemm gemm_123 1 1 657 658 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
555
+ BinaryOp add_86 2 1 658 638 659 0=0
556
+ LayerNorm ln_236 1 1 659 660 0=1024 1=1.000000e-05 2=1
557
+ Split splitncnn_43 1 2 660 661 662
558
+ Gemm gemm_124 1 1 662 663 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
559
+ GELU gelu_164 1 1 663 664
560
+ Gemm gemm_125 1 1 664 665 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
561
+ BinaryOp add_87 2 1 665 661 666 0=0
562
+ LayerNorm ln_237 1 1 666 667 0=1024 1=1.000000e-05 2=1
563
+ Split splitncnn_44 1 4 667 668 669 670 671
564
+ Gemm gemm_126 1 1 671 672 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
565
+ Reshape reshape_353 1 1 672 673 0=64 1=16 2=128
566
+ Permute transpose_478 1 1 673 674 0=2
567
+ Gemm gemm_127 1 1 670 675 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
568
+ Reshape reshape_354 1 1 675 676 0=64 1=16 2=128
569
+ Gemm gemm_128 1 1 669 677 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
570
+ Reshape reshape_355 1 1 677 678 0=64 1=16 2=128
571
+ Permute transpose_479 1 1 678 679 0=2
572
+ Permute permute_265 1 1 676 680 0=3
573
+ MatMul matmul_408 2 1 674 680 681
574
+ BinaryOp mul_88 1 1 681 682 0=2 1=1 2=0.125
575
+ BinaryOp add_89 2 1 682 39 683 0=0
576
+ Softmax softmax_190 1 1 683 684 0=2 1=1
577
+ MatMul matmul_409 2 1 684 679 685
578
+ Permute transpose_480 1 1 685 686 0=2
579
+ Reshape reshape_356 1 1 686 687 0=1024 1=128
580
+ Gemm gemm_129 1 1 687 688 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
581
+ BinaryOp add_90 2 1 688 668 689 0=0
582
+ LayerNorm ln_238 1 1 689 690 0=1024 1=1.000000e-05 2=1
583
+ Split splitncnn_45 1 2 690 691 692
584
+ Gemm gemm_130 1 1 692 693 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
585
+ GELU gelu_165 1 1 693 694
586
+ Gemm gemm_131 1 1 694 695 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
587
+ BinaryOp add_91 2 1 695 691 696 0=0
588
+ LayerNorm ln_239 1 1 696 697 0=1024 1=1.000000e-05 2=1
589
+ Split splitncnn_46 1 4 697 698 699 700 701
590
+ Gemm gemm_132 1 1 701 702 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
591
+ Reshape reshape_357 1 1 702 703 0=64 1=16 2=128
592
+ Permute transpose_481 1 1 703 704 0=2
593
+ Gemm gemm_133 1 1 700 705 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
594
+ Reshape reshape_358 1 1 705 706 0=64 1=16 2=128
595
+ Gemm gemm_134 1 1 699 707 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
596
+ Reshape reshape_359 1 1 707 708 0=64 1=16 2=128
597
+ Permute transpose_482 1 1 708 709 0=2
598
+ Permute permute_266 1 1 706 710 0=3
599
+ MatMul matmul_410 2 1 704 710 711
600
+ BinaryOp mul_92 1 1 711 712 0=2 1=1 2=0.125
601
+ BinaryOp add_93 2 1 712 40 713 0=0
602
+ Softmax softmax_191 1 1 713 714 0=2 1=1
603
+ MatMul matmul_411 2 1 714 709 715
604
+ Permute transpose_483 1 1 715 716 0=2
605
+ Reshape reshape_360 1 1 716 717 0=1024 1=128
606
+ Gemm gemm_135 1 1 717 718 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
607
+ BinaryOp add_94 2 1 718 698 719 0=0
608
+ LayerNorm ln_240 1 1 719 720 0=1024 1=1.000000e-05 2=1
609
+ Split splitncnn_47 1 2 720 721 722
610
+ Gemm gemm_136 1 1 722 723 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
611
+ GELU gelu_166 1 1 723 724
612
+ Gemm gemm_137 1 1 724 725 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
613
+ BinaryOp add_95 2 1 725 721 726 0=0
614
+ LayerNorm ln_241 1 1 726 727 0=1024 1=1.000000e-05 2=1
615
+ Split splitncnn_48 1 4 727 728 729 730 731
616
+ Gemm gemm_138 1 1 731 732 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
617
+ Reshape reshape_361 1 1 732 733 0=64 1=16 2=128
618
+ Permute transpose_484 1 1 733 734 0=2
619
+ Gemm gemm_139 1 1 730 735 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
620
+ Reshape reshape_362 1 1 735 736 0=64 1=16 2=128
621
+ Gemm gemm_140 1 1 729 737 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
622
+ Reshape reshape_363 1 1 737 738 0=64 1=16 2=128
623
+ Permute transpose_485 1 1 738 739 0=2
624
+ Permute permute_267 1 1 736 740 0=3
625
+ MatMul matmul_412 2 1 734 740 741
626
+ BinaryOp mul_96 1 1 741 742 0=2 1=1 2=0.125
627
+ BinaryOp add_97 2 1 742 41 743 0=0
628
+ Softmax softmax_192 1 1 743 744 0=2 1=1
629
+ MatMul matmul_413 2 1 744 739 745
630
+ Permute transpose_486 1 1 745 746 0=2
631
+ Reshape reshape_364 1 1 746 747 0=1024 1=128
632
+ Gemm gemm_141 1 1 747 748 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=1024
633
+ BinaryOp add_98 2 1 748 728 749 0=0
634
+ LayerNorm ln_242 1 1 749 750 0=1024 1=1.000000e-05 2=1
635
+ Split splitncnn_49 1 2 750 751 752
636
+ Gemm gemm_142 1 1 752 753 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=4096 9=1024
637
+ GELU gelu_167 1 1 753 754
638
+ Gemm gemm_143 1 1 754 755 10=4 2=0 3=1 4=0 5=1 6=1 7=128 8=1024 9=4096
639
+ BinaryOp add_99 2 1 755 751 756 0=0
640
+ LayerNorm ln_243 1 1 756 757 0=1024 1=1.000000e-05 2=1
641
+ Permute transpose_487 1 1 757 758 0=1
642
+ Reshape reshape_365 1 1 3 759 0=128 1=1
643
+ BinaryOp mul_100 2 1 758 759 760 0=2
644
+ Reduction sum_414 1 1 760 761 0=0 1=0 -23303=1,1 4=0 5=1
645
+ Normalize normalize_168 1 1 761 out0 0=1 1=1 2=1.000000e-12 3=1 4=1 9=1
bge-m3-0.5B-ncnn-int8/sentencepiece.bpe.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
3
+ size 5069051
bge-m3-0.5B-ncnn-int8/special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
bge-m3-0.5B-ncnn-int8/tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5df1f55d60c9705a501ab9a75550728625740741fe4be308dac4806c16b7d51d
3
+ size 17098085
bge-m3-0.5B-ncnn-int8/tokenizer_config.json ADDED
@@ -0,0 +1,17 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": true,
3
+ "backend": "tokenizers",
4
+ "bos_token": "<s>",
5
+ "clean_up_tokenization_spaces": true,
6
+ "cls_token": "<s>",
7
+ "eos_token": "</s>",
8
+ "is_local": true,
9
+ "local_files_only": false,
10
+ "mask_token": "<mask>",
11
+ "model_max_length": 128,
12
+ "pad_token": "<pad>",
13
+ "sep_token": "</s>",
14
+ "sp_model_kwargs": {},
15
+ "tokenizer_class": "XLMRobertaTokenizer",
16
+ "unk_token": "<unk>"
17
+ }