xxzigou commited on
Commit
89847be
·
verified ·
1 Parent(s): c537d13

Upload vision_encoder.ncnn.param with huggingface_hub

Browse files
Files changed (1) hide show
  1. vision_encoder.ncnn.param +305 -0
vision_encoder.ncnn.param ADDED
@@ -0,0 +1,305 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 7767517
2
+ 303 359
3
+ Input in0 0 1 in0
4
+ Reshape reshape_169 1 1 in0 1 0=768 1=1600
5
+ InnerProduct ipatch_55 1 1 1 2 0=1152 1=1 2=884736 9=0
6
+ Reshape reshape_170 1 1 2 3 0=1152 1=1600
7
+ MemoryData pos_embed 0 1 pos_data 0=1152 1=1600
8
+ BinaryOp add_pos 2 1 3 pos_data 3_pos 0=0
9
+ Split splitncnn_0 1 2 3_pos 4 5
10
+ LayerNorm ln_58 1 1 5 6 0=1152 1=1.000000e-5 2=1
11
+ MultiHeadAttention attention_112 1 1 6 7 0=1152 1=16 2=1327104 3=1152 4=1152
12
+ BinaryOp add_0 2 1 4 7 8 0=0
13
+ Split splitncnn_1 1 2 8 9 10
14
+ LayerNorm ln_59 1 1 10 11 0=1152 1=1.000000e-5 2=1
15
+ Gemm gemm_0 1 1 11 12 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
16
+ GELU gelu_139 1 1 12 13
17
+ Gemm gemm_1 1 1 13 14 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
18
+ BinaryOp add_1 2 1 9 14 15 0=0
19
+ Split splitncnn_2 1 2 15 16 17
20
+ LayerNorm ln_60 1 1 17 18 0=1152 1=1.000000e-5 2=1
21
+ MultiHeadAttention attention_113 1 1 18 19 0=1152 1=16 2=1327104 3=1152 4=1152
22
+ BinaryOp add_2 2 1 16 19 20 0=0
23
+ Split splitncnn_3 1 2 20 21 22
24
+ LayerNorm ln_61 1 1 22 23 0=1152 1=1.000000e-5 2=1
25
+ Gemm gemm_2 1 1 23 24 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
26
+ GELU gelu_140 1 1 24 25
27
+ Gemm gemm_3 1 1 25 26 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
28
+ BinaryOp add_3 2 1 21 26 27 0=0
29
+ Split splitncnn_4 1 2 27 28 29
30
+ LayerNorm ln_62 1 1 29 30 0=1152 1=1.000000e-5 2=1
31
+ MultiHeadAttention attention_114 1 1 30 31 0=1152 1=16 2=1327104 3=1152 4=1152
32
+ BinaryOp add_4 2 1 28 31 32 0=0
33
+ Split splitncnn_5 1 2 32 33 34
34
+ LayerNorm ln_63 1 1 34 35 0=1152 1=1.000000e-5 2=1
35
+ Gemm gemm_4 1 1 35 36 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
36
+ GELU gelu_141 1 1 36 37
37
+ Gemm gemm_5 1 1 37 38 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
38
+ BinaryOp add_5 2 1 33 38 39 0=0
39
+ Split splitncnn_6 1 2 39 40 41
40
+ LayerNorm ln_64 1 1 41 42 0=1152 1=1.000000e-5 2=1
41
+ MultiHeadAttention attention_115 1 1 42 43 0=1152 1=16 2=1327104 3=1152 4=1152
42
+ BinaryOp add_6 2 1 40 43 44 0=0
43
+ Split splitncnn_7 1 2 44 45 46
44
+ LayerNorm ln_65 1 1 46 47 0=1152 1=1.000000e-5 2=1
45
+ Gemm gemm_6 1 1 47 48 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
46
+ GELU gelu_142 1 1 48 49
47
+ Gemm gemm_7 1 1 49 50 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
48
+ BinaryOp add_7 2 1 45 50 51 0=0
49
+ Split splitncnn_8 1 2 51 52 53
50
+ LayerNorm ln_66 1 1 53 54 0=1152 1=1.000000e-5 2=1
51
+ MultiHeadAttention attention_116 1 1 54 55 0=1152 1=16 2=1327104 3=1152 4=1152
52
+ BinaryOp add_8 2 1 52 55 56 0=0
53
+ Split splitncnn_9 1 2 56 57 58
54
+ LayerNorm ln_67 1 1 58 59 0=1152 1=1.000000e-5 2=1
55
+ Gemm gemm_8 1 1 59 60 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
56
+ GELU gelu_143 1 1 60 61
57
+ Gemm gemm_9 1 1 61 62 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
58
+ BinaryOp add_9 2 1 57 62 63 0=0
59
+ Split splitncnn_10 1 2 63 64 65
60
+ LayerNorm ln_68 1 1 65 66 0=1152 1=1.000000e-5 2=1
61
+ MultiHeadAttention attention_117 1 1 66 67 0=1152 1=16 2=1327104 3=1152 4=1152
62
+ BinaryOp add_10 2 1 64 67 68 0=0
63
+ Split splitncnn_11 1 2 68 69 70
64
+ LayerNorm ln_69 1 1 70 71 0=1152 1=1.000000e-5 2=1
65
+ Gemm gemm_10 1 1 71 72 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
66
+ GELU gelu_144 1 1 72 73
67
+ Gemm gemm_11 1 1 73 74 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
68
+ BinaryOp add_11 2 1 69 74 75 0=0
69
+ Split splitncnn_12 1 2 75 76 77
70
+ LayerNorm ln_70 1 1 77 78 0=1152 1=1.000000e-5 2=1
71
+ MultiHeadAttention attention_118 1 1 78 79 0=1152 1=16 2=1327104 3=1152 4=1152
72
+ BinaryOp add_12 2 1 76 79 80 0=0
73
+ Split splitncnn_13 1 2 80 81 82
74
+ LayerNorm ln_71 1 1 82 83 0=1152 1=1.000000e-5 2=1
75
+ Gemm gemm_12 1 1 83 84 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
76
+ GELU gelu_145 1 1 84 85
77
+ Gemm gemm_13 1 1 85 86 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
78
+ BinaryOp add_13 2 1 81 86 87 0=0
79
+ Split splitncnn_14 1 2 87 88 89
80
+ LayerNorm ln_72 1 1 89 90 0=1152 1=1.000000e-5 2=1
81
+ MultiHeadAttention attention_119 1 1 90 91 0=1152 1=16 2=1327104 3=1152 4=1152
82
+ BinaryOp add_14 2 1 88 91 92 0=0
83
+ Split splitncnn_15 1 2 92 93 94
84
+ LayerNorm ln_73 1 1 94 95 0=1152 1=1.000000e-5 2=1
85
+ Gemm gemm_14 1 1 95 96 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
86
+ GELU gelu_146 1 1 96 97
87
+ Gemm gemm_15 1 1 97 98 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
88
+ BinaryOp add_15 2 1 93 98 99 0=0
89
+ Split splitncnn_16 1 2 99 100 101
90
+ LayerNorm ln_74 1 1 101 102 0=1152 1=1.000000e-5 2=1
91
+ MultiHeadAttention attention_120 1 1 102 103 0=1152 1=16 2=1327104 3=1152 4=1152
92
+ BinaryOp add_16 2 1 100 103 104 0=0
93
+ Split splitncnn_17 1 2 104 105 106
94
+ LayerNorm ln_75 1 1 106 107 0=1152 1=1.000000e-5 2=1
95
+ Gemm gemm_16 1 1 107 108 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
96
+ GELU gelu_147 1 1 108 109
97
+ Gemm gemm_17 1 1 109 110 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
98
+ BinaryOp add_17 2 1 105 110 111 0=0
99
+ Split splitncnn_18 1 2 111 112 113
100
+ LayerNorm ln_76 1 1 113 114 0=1152 1=1.000000e-5 2=1
101
+ MultiHeadAttention attention_121 1 1 114 115 0=1152 1=16 2=1327104 3=1152 4=1152
102
+ BinaryOp add_18 2 1 112 115 116 0=0
103
+ Split splitncnn_19 1 2 116 117 118
104
+ LayerNorm ln_77 1 1 118 119 0=1152 1=1.000000e-5 2=1
105
+ Gemm gemm_18 1 1 119 120 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
106
+ GELU gelu_148 1 1 120 121
107
+ Gemm gemm_19 1 1 121 122 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
108
+ BinaryOp add_19 2 1 117 122 123 0=0
109
+ Split splitncnn_20 1 2 123 124 125
110
+ LayerNorm ln_78 1 1 125 126 0=1152 1=1.000000e-5 2=1
111
+ MultiHeadAttention attention_122 1 1 126 127 0=1152 1=16 2=1327104 3=1152 4=1152
112
+ BinaryOp add_20 2 1 124 127 128 0=0
113
+ Split splitncnn_21 1 2 128 129 130
114
+ LayerNorm ln_79 1 1 130 131 0=1152 1=1.000000e-5 2=1
115
+ Gemm gemm_20 1 1 131 132 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
116
+ GELU gelu_149 1 1 132 133
117
+ Gemm gemm_21 1 1 133 134 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
118
+ BinaryOp add_21 2 1 129 134 135 0=0
119
+ Split splitncnn_22 1 2 135 136 137
120
+ LayerNorm ln_80 1 1 137 138 0=1152 1=1.000000e-5 2=1
121
+ MultiHeadAttention attention_123 1 1 138 139 0=1152 1=16 2=1327104 3=1152 4=1152
122
+ BinaryOp add_22 2 1 136 139 140 0=0
123
+ Split splitncnn_23 1 2 140 141 142
124
+ LayerNorm ln_81 1 1 142 143 0=1152 1=1.000000e-5 2=1
125
+ Gemm gemm_22 1 1 143 144 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
126
+ GELU gelu_150 1 1 144 145
127
+ Gemm gemm_23 1 1 145 146 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
128
+ BinaryOp add_23 2 1 141 146 147 0=0
129
+ Split splitncnn_24 1 2 147 148 149
130
+ LayerNorm ln_82 1 1 149 150 0=1152 1=1.000000e-5 2=1
131
+ MultiHeadAttention attention_124 1 1 150 151 0=1152 1=16 2=1327104 3=1152 4=1152
132
+ BinaryOp add_24 2 1 148 151 152 0=0
133
+ Split splitncnn_25 1 2 152 153 154
134
+ LayerNorm ln_83 1 1 154 155 0=1152 1=1.000000e-5 2=1
135
+ Gemm gemm_24 1 1 155 156 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
136
+ GELU gelu_151 1 1 156 157
137
+ Gemm gemm_25 1 1 157 158 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
138
+ BinaryOp add_25 2 1 153 158 159 0=0
139
+ Split splitncnn_26 1 2 159 160 161
140
+ LayerNorm ln_84 1 1 161 162 0=1152 1=1.000000e-5 2=1
141
+ MultiHeadAttention attention_125 1 1 162 163 0=1152 1=16 2=1327104 3=1152 4=1152
142
+ BinaryOp add_26 2 1 160 163 164 0=0
143
+ Split splitncnn_27 1 2 164 165 166
144
+ LayerNorm ln_85 1 1 166 167 0=1152 1=1.000000e-5 2=1
145
+ Gemm gemm_26 1 1 167 168 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
146
+ GELU gelu_152 1 1 168 169
147
+ Gemm gemm_27 1 1 169 170 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
148
+ BinaryOp add_27 2 1 165 170 171 0=0
149
+ Split splitncnn_28 1 2 171 172 173
150
+ LayerNorm ln_86 1 1 173 174 0=1152 1=1.000000e-5 2=1
151
+ MultiHeadAttention attention_126 1 1 174 175 0=1152 1=16 2=1327104 3=1152 4=1152
152
+ BinaryOp add_28 2 1 172 175 176 0=0
153
+ Split splitncnn_29 1 2 176 177 178
154
+ LayerNorm ln_87 1 1 178 179 0=1152 1=1.000000e-5 2=1
155
+ Gemm gemm_28 1 1 179 180 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
156
+ GELU gelu_153 1 1 180 181
157
+ Gemm gemm_29 1 1 181 182 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
158
+ BinaryOp add_29 2 1 177 182 183 0=0
159
+ Split splitncnn_30 1 2 183 184 185
160
+ LayerNorm ln_88 1 1 185 186 0=1152 1=1.000000e-5 2=1
161
+ MultiHeadAttention attention_127 1 1 186 187 0=1152 1=16 2=1327104 3=1152 4=1152
162
+ BinaryOp add_30 2 1 184 187 188 0=0
163
+ Split splitncnn_31 1 2 188 189 190
164
+ LayerNorm ln_89 1 1 190 191 0=1152 1=1.000000e-5 2=1
165
+ Gemm gemm_30 1 1 191 192 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
166
+ GELU gelu_154 1 1 192 193
167
+ Gemm gemm_31 1 1 193 194 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
168
+ BinaryOp add_31 2 1 189 194 195 0=0
169
+ Split splitncnn_32 1 2 195 196 197
170
+ LayerNorm ln_90 1 1 197 198 0=1152 1=1.000000e-5 2=1
171
+ MultiHeadAttention attention_128 1 1 198 199 0=1152 1=16 2=1327104 3=1152 4=1152
172
+ BinaryOp add_32 2 1 196 199 200 0=0
173
+ Split splitncnn_33 1 2 200 201 202
174
+ LayerNorm ln_91 1 1 202 203 0=1152 1=1.000000e-5 2=1
175
+ Gemm gemm_32 1 1 203 204 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
176
+ GELU gelu_155 1 1 204 205
177
+ Gemm gemm_33 1 1 205 206 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
178
+ BinaryOp add_33 2 1 201 206 207 0=0
179
+ Split splitncnn_34 1 2 207 208 209
180
+ LayerNorm ln_92 1 1 209 210 0=1152 1=1.000000e-5 2=1
181
+ MultiHeadAttention attention_129 1 1 210 211 0=1152 1=16 2=1327104 3=1152 4=1152
182
+ BinaryOp add_34 2 1 208 211 212 0=0
183
+ Split splitncnn_35 1 2 212 213 214
184
+ LayerNorm ln_93 1 1 214 215 0=1152 1=1.000000e-5 2=1
185
+ Gemm gemm_34 1 1 215 216 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
186
+ GELU gelu_156 1 1 216 217
187
+ Gemm gemm_35 1 1 217 218 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
188
+ BinaryOp add_35 2 1 213 218 219 0=0
189
+ Split splitncnn_36 1 2 219 220 221
190
+ LayerNorm ln_94 1 1 221 222 0=1152 1=1.000000e-5 2=1
191
+ MultiHeadAttention attention_130 1 1 222 223 0=1152 1=16 2=1327104 3=1152 4=1152
192
+ BinaryOp add_36 2 1 220 223 224 0=0
193
+ Split splitncnn_37 1 2 224 225 226
194
+ LayerNorm ln_95 1 1 226 227 0=1152 1=1.000000e-5 2=1
195
+ Gemm gemm_36 1 1 227 228 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
196
+ GELU gelu_157 1 1 228 229
197
+ Gemm gemm_37 1 1 229 230 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
198
+ BinaryOp add_37 2 1 225 230 231 0=0
199
+ Split splitncnn_38 1 2 231 232 233
200
+ LayerNorm ln_96 1 1 233 234 0=1152 1=1.000000e-5 2=1
201
+ MultiHeadAttention attention_131 1 1 234 235 0=1152 1=16 2=1327104 3=1152 4=1152
202
+ BinaryOp add_38 2 1 232 235 236 0=0
203
+ Split splitncnn_39 1 2 236 237 238
204
+ LayerNorm ln_97 1 1 238 239 0=1152 1=1.000000e-5 2=1
205
+ Gemm gemm_38 1 1 239 240 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
206
+ GELU gelu_158 1 1 240 241
207
+ Gemm gemm_39 1 1 241 242 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
208
+ BinaryOp add_39 2 1 237 242 243 0=0
209
+ Split splitncnn_40 1 2 243 244 245
210
+ LayerNorm ln_98 1 1 245 246 0=1152 1=1.000000e-5 2=1
211
+ MultiHeadAttention attention_132 1 1 246 247 0=1152 1=16 2=1327104 3=1152 4=1152
212
+ BinaryOp add_40 2 1 244 247 248 0=0
213
+ Split splitncnn_41 1 2 248 249 250
214
+ LayerNorm ln_99 1 1 250 251 0=1152 1=1.000000e-5 2=1
215
+ Gemm gemm_40 1 1 251 252 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
216
+ GELU gelu_159 1 1 252 253
217
+ Gemm gemm_41 1 1 253 254 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
218
+ BinaryOp add_41 2 1 249 254 255 0=0
219
+ Split splitncnn_42 1 2 255 256 257
220
+ LayerNorm ln_100 1 1 257 258 0=1152 1=1.000000e-5 2=1
221
+ MultiHeadAttention attention_133 1 1 258 259 0=1152 1=16 2=1327104 3=1152 4=1152
222
+ BinaryOp add_42 2 1 256 259 260 0=0
223
+ Split splitncnn_43 1 2 260 261 262
224
+ LayerNorm ln_101 1 1 262 263 0=1152 1=1.000000e-5 2=1
225
+ Gemm gemm_42 1 1 263 264 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
226
+ GELU gelu_160 1 1 264 265
227
+ Gemm gemm_43 1 1 265 266 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
228
+ BinaryOp add_43 2 1 261 266 267 0=0
229
+ Split splitncnn_44 1 2 267 268 269
230
+ LayerNorm ln_102 1 1 269 270 0=1152 1=1.000000e-5 2=1
231
+ MultiHeadAttention attention_134 1 1 270 271 0=1152 1=16 2=1327104 3=1152 4=1152
232
+ BinaryOp add_44 2 1 268 271 272 0=0
233
+ Split splitncnn_45 1 2 272 273 274
234
+ LayerNorm ln_103 1 1 274 275 0=1152 1=1.000000e-5 2=1
235
+ Gemm gemm_44 1 1 275 276 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
236
+ GELU gelu_161 1 1 276 277
237
+ Gemm gemm_45 1 1 277 278 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
238
+ BinaryOp add_45 2 1 273 278 279 0=0
239
+ Split splitncnn_46 1 2 279 280 281
240
+ LayerNorm ln_104 1 1 281 282 0=1152 1=1.000000e-5 2=1
241
+ MultiHeadAttention attention_135 1 1 282 283 0=1152 1=16 2=1327104 3=1152 4=1152
242
+ BinaryOp add_46 2 1 280 283 284 0=0
243
+ Split splitncnn_47 1 2 284 285 286
244
+ LayerNorm ln_105 1 1 286 287 0=1152 1=1.000000e-5 2=1
245
+ Gemm gemm_46 1 1 287 288 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
246
+ GELU gelu_162 1 1 288 289
247
+ Gemm gemm_47 1 1 289 290 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
248
+ BinaryOp add_47 2 1 285 290 291 0=0
249
+ Split splitncnn_48 1 2 291 292 293
250
+ LayerNorm ln_106 1 1 293 294 0=1152 1=1.000000e-5 2=1
251
+ MultiHeadAttention attention_136 1 1 294 295 0=1152 1=16 2=1327104 3=1152 4=1152
252
+ BinaryOp add_48 2 1 292 295 296 0=0
253
+ Split splitncnn_49 1 2 296 297 298
254
+ LayerNorm ln_107 1 1 298 299 0=1152 1=1.000000e-5 2=1
255
+ Gemm gemm_48 1 1 299 300 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
256
+ GELU gelu_163 1 1 300 301
257
+ Gemm gemm_49 1 1 301 302 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
258
+ BinaryOp add_49 2 1 297 302 303 0=0
259
+ Split splitncnn_50 1 2 303 304 305
260
+ LayerNorm ln_108 1 1 305 306 0=1152 1=1.000000e-5 2=1
261
+ MultiHeadAttention attention_137 1 1 306 307 0=1152 1=16 2=1327104 3=1152 4=1152
262
+ BinaryOp add_50 2 1 304 307 308 0=0
263
+ Split splitncnn_51 1 2 308 309 310
264
+ LayerNorm ln_109 1 1 310 311 0=1152 1=1.000000e-5 2=1
265
+ Gemm gemm_50 1 1 311 312 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
266
+ GELU gelu_164 1 1 312 313
267
+ Gemm gemm_51 1 1 313 314 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
268
+ BinaryOp add_51 2 1 309 314 315 0=0
269
+ Split splitncnn_52 1 2 315 316 317
270
+ LayerNorm ln_110 1 1 317 318 0=1152 1=1.000000e-5 2=1
271
+ MultiHeadAttention attention_138 1 1 318 319 0=1152 1=16 2=1327104 3=1152 4=1152
272
+ BinaryOp add_52 2 1 316 319 320 0=0
273
+ Split splitncnn_53 1 2 320 321 322
274
+ LayerNorm ln_111 1 1 322 323 0=1152 1=1.000000e-5 2=1
275
+ Gemm gemm_52 1 1 323 324 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=4304 9=1152
276
+ GELU gelu_165 1 1 324 325
277
+ Gemm gemm_53 1 1 325 326 10=4 2=0 3=1 4=0 5=1 6=1 7=1024 8=1152 9=4304
278
+ BinaryOp add_53 2 1 321 326 327 0=0
279
+ Split splitncnn_54 1 2 327 328 329
280
+ UnaryOp pow_54 1 1 328 330 0=4
281
+ Reduction mean_173 1 1 330 331 0=3 1=0 -23303=1,-1 4=1 5=1
282
+ MemoryData vision.perceive.before_rms.weight 0 1 332 0=1152
283
+ BinaryOp add_55 1 1 331 333 0=0 1=1 2=1.000000e-5
284
+ UnaryOp sqrt_56 1 1 333 334 0=5
285
+ BinaryOp div_57 1 1 334 335 0=8 1=1 2=1.0
286
+ BinaryOp mul_58 2 1 329 335 336 0=2
287
+ BinaryOp mul_59 2 1 336 332 337 0=2
288
+ Permute permute_167 1 1 337 338 0=1
289
+ Reshape reshape_171 1 1 338 339 0=40 1=40 2=1152
290
+ Convolution conv_56 1 1 339 340 0=2304 1=2 11=2 12=1 13=2 14=0 2=1 3=2 4=0 5=1 6=10616832
291
+ GELU gelu_166 1 1 340 341
292
+ Convolution conv_57 1 1 341 342 0=4608 1=1 11=1 12=1 13=1 14=0 2=1 3=1 4=0 5=1 6=10616832
293
+ Reshape reshape_172 1 1 342 343 0=400 1=4608
294
+ Permute permute_168 1 1 343 344 0=1
295
+ GELU gelu_mlp 1 1 344 gelu_out
296
+ Gemm gemm_54 1 1 gelu_out 345 10=4 2=0 3=1 4=0 5=1 6=1 7=400 8=1024 9=4608
297
+ Split splitncnn_55 1 2 345 346 347
298
+ UnaryOp pow_60 1 1 346 348 0=4
299
+ Reduction mean_174 1 1 348 349 0=3 1=0 -23303=1,-1 4=1 5=1
300
+ MemoryData vision.perceive.after_rms.weight 0 1 350 0=1024
301
+ BinaryOp add_61 1 1 349 351 0=0 1=1 2=1.000000e-5
302
+ UnaryOp sqrt_62 1 1 351 352 0=5
303
+ BinaryOp div_63 1 1 352 353 0=8 1=1 2=1.0
304
+ BinaryOp mul_64 2 1 347 353 354 0=2
305
+ BinaryOp mul_65 2 1 354 350 out0 0=2