// Tencent is pleased to support the open source community by making ncnn available. // // Copyright (C) 2021 THL A29 Limited, a Tencent company. All rights reserved. // // Licensed under the BSD 3-Clause License (the "License"); you may not use this file except // in compliance with the License. You may obtain a copy of the License at // // https://opensource.org/licenses/BSD-3-Clause // // Unless required by applicable law or agreed to in writing, software distributed // under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR // CONDITIONS OF ANY KIND, either express or implied. See the License for the // specific language governing permissions and limitations under the License. static void conv7x7s2_pack1to4_msa(const Mat& bottom_blob, Mat& top_blob, const Mat& kernel, const Mat& _bias, const Option& opt) { int w = bottom_blob.w; int inch = bottom_blob.c; int outw = top_blob.w; int outh = top_blob.h; int outch = top_blob.c; const int tailstep = w - 2 * outw + w; const float* bias = _bias; #pragma omp parallel for num_threads(opt.num_threads) for (int p = 0; p < outch; p++) { Mat out0 = top_blob.channel(p); v4f32 _bias0 = bias ? (v4f32)__msa_ld_w(bias + p * 4, 0) : (v4f32)__msa_fill_w(0); out0.fill(_bias0); for (int q = 0; q < inch; q++) { float* outptr0 = out0; const Mat img0 = bottom_blob.channel(q); const float* r0 = img0.row(0); const float* r1 = img0.row(1); const float* r2 = img0.row(2); const float* r3 = img0.row(3); const float* r4 = img0.row(4); const float* r5 = img0.row(5); const float* r6 = img0.row(6); const float* kptr = kernel.channel(p).row(q); int i = 0; for (; i < outh; i++) { int j = 0; for (; j + 3 < outw; j += 4) { v4f32 _sum0 = (v4f32)__msa_ld_w(outptr0, 0); v4f32 _sum1 = (v4f32)__msa_ld_w(outptr0 + 4, 0); v4f32 _sum2 = (v4f32)__msa_ld_w(outptr0 + 4 * 2, 0); v4f32 _sum3 = (v4f32)__msa_ld_w(outptr0 + 4 * 3, 0); v4f32 _k00 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k01 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k02 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k03 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k04 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k05 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k06 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r0 = __msa_ld_w(r0, 0); v4i32 _r0n = __msa_ld_w(r0 + 4, 0); v4i32 _r0nn = __msa_ld_w(r0 + 8, 0); v4f32 _r00 = (v4f32)__msa_splati_w(_r0, 0); v4f32 _r01 = (v4f32)__msa_splati_w(_r0, 1); v4f32 _r02 = (v4f32)__msa_splati_w(_r0, 2); v4f32 _r03 = (v4f32)__msa_splati_w(_r0, 3); v4f32 _r04 = (v4f32)__msa_splati_w(_r0n, 0); v4f32 _r05 = (v4f32)__msa_splati_w(_r0n, 1); v4f32 _r06 = (v4f32)__msa_splati_w(_r0n, 2); v4f32 _r07 = (v4f32)__msa_splati_w(_r0n, 3); v4f32 _r08 = (v4f32)__msa_splati_w(_r0nn, 0); v4f32 _r09 = (v4f32)__msa_splati_w(_r0nn, 1); v4f32 _r0a = (v4f32)__msa_splati_w(_r0nn, 2); v4f32 _r0b = (v4f32)__msa_splati_w(_r0nn, 3); v4f32 _r0c = __msa_fill_w_f32(r0[12]); _sum0 = __msa_fmadd_w(_sum0, _r00, _k00); _sum1 = __msa_fmadd_w(_sum1, _r02, _k00); _sum2 = __msa_fmadd_w(_sum2, _r04, _k00); _sum3 = __msa_fmadd_w(_sum3, _r06, _k00); _sum0 = __msa_fmadd_w(_sum0, _r01, _k01); _sum1 = __msa_fmadd_w(_sum1, _r03, _k01); _sum2 = __msa_fmadd_w(_sum2, _r05, _k01); _sum3 = __msa_fmadd_w(_sum3, _r07, _k01); _sum0 = __msa_fmadd_w(_sum0, _r02, _k02); _sum1 = __msa_fmadd_w(_sum1, _r04, _k02); _sum2 = __msa_fmadd_w(_sum2, _r06, _k02); _sum3 = __msa_fmadd_w(_sum3, _r08, _k02); _sum0 = __msa_fmadd_w(_sum0, _r03, _k03); _sum1 = __msa_fmadd_w(_sum1, _r05, _k03); _sum2 = __msa_fmadd_w(_sum2, _r07, _k03); _sum3 = __msa_fmadd_w(_sum3, _r09, _k03); _sum0 = __msa_fmadd_w(_sum0, _r04, _k04); _sum1 = __msa_fmadd_w(_sum1, _r06, _k04); _sum2 = __msa_fmadd_w(_sum2, _r08, _k04); _sum3 = __msa_fmadd_w(_sum3, _r0a, _k04); _sum0 = __msa_fmadd_w(_sum0, _r05, _k05); _sum1 = __msa_fmadd_w(_sum1, _r07, _k05); _sum2 = __msa_fmadd_w(_sum2, _r09, _k05); _sum3 = __msa_fmadd_w(_sum3, _r0b, _k05); _sum0 = __msa_fmadd_w(_sum0, _r06, _k06); _sum1 = __msa_fmadd_w(_sum1, _r08, _k06); _sum2 = __msa_fmadd_w(_sum2, _r0a, _k06); _sum3 = __msa_fmadd_w(_sum3, _r0c, _k06); v4f32 _k10 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k11 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k12 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k13 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k14 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k15 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k16 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r1 = __msa_ld_w(r1, 0); v4i32 _r1n = __msa_ld_w(r1 + 4, 0); v4i32 _r1nn = __msa_ld_w(r1 + 8, 0); v4f32 _r10 = (v4f32)__msa_splati_w(_r1, 0); v4f32 _r11 = (v4f32)__msa_splati_w(_r1, 1); v4f32 _r12 = (v4f32)__msa_splati_w(_r1, 2); v4f32 _r13 = (v4f32)__msa_splati_w(_r1, 3); v4f32 _r14 = (v4f32)__msa_splati_w(_r1n, 0); v4f32 _r15 = (v4f32)__msa_splati_w(_r1n, 1); v4f32 _r16 = (v4f32)__msa_splati_w(_r1n, 2); v4f32 _r17 = (v4f32)__msa_splati_w(_r1n, 3); v4f32 _r18 = (v4f32)__msa_splati_w(_r1nn, 0); v4f32 _r19 = (v4f32)__msa_splati_w(_r1nn, 1); v4f32 _r1a = (v4f32)__msa_splati_w(_r1nn, 2); v4f32 _r1b = (v4f32)__msa_splati_w(_r1nn, 3); v4f32 _r1c = __msa_fill_w_f32(r1[12]); _sum0 = __msa_fmadd_w(_sum0, _r10, _k10); _sum1 = __msa_fmadd_w(_sum1, _r12, _k10); _sum2 = __msa_fmadd_w(_sum2, _r14, _k10); _sum3 = __msa_fmadd_w(_sum3, _r16, _k10); _sum0 = __msa_fmadd_w(_sum0, _r11, _k11); _sum1 = __msa_fmadd_w(_sum1, _r13, _k11); _sum2 = __msa_fmadd_w(_sum2, _r15, _k11); _sum3 = __msa_fmadd_w(_sum3, _r17, _k11); _sum0 = __msa_fmadd_w(_sum0, _r12, _k12); _sum1 = __msa_fmadd_w(_sum1, _r14, _k12); _sum2 = __msa_fmadd_w(_sum2, _r16, _k12); _sum3 = __msa_fmadd_w(_sum3, _r18, _k12); _sum0 = __msa_fmadd_w(_sum0, _r13, _k13); _sum1 = __msa_fmadd_w(_sum1, _r15, _k13); _sum2 = __msa_fmadd_w(_sum2, _r17, _k13); _sum3 = __msa_fmadd_w(_sum3, _r19, _k13); _sum0 = __msa_fmadd_w(_sum0, _r14, _k14); _sum1 = __msa_fmadd_w(_sum1, _r16, _k14); _sum2 = __msa_fmadd_w(_sum2, _r18, _k14); _sum3 = __msa_fmadd_w(_sum3, _r1a, _k14); _sum0 = __msa_fmadd_w(_sum0, _r15, _k15); _sum1 = __msa_fmadd_w(_sum1, _r17, _k15); _sum2 = __msa_fmadd_w(_sum2, _r19, _k15); _sum3 = __msa_fmadd_w(_sum3, _r1b, _k15); _sum0 = __msa_fmadd_w(_sum0, _r16, _k16); _sum1 = __msa_fmadd_w(_sum1, _r18, _k16); _sum2 = __msa_fmadd_w(_sum2, _r1a, _k16); _sum3 = __msa_fmadd_w(_sum3, _r1c, _k16); v4f32 _k20 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k21 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k22 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k23 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k24 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k25 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k26 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r2 = __msa_ld_w(r2, 0); v4i32 _r2n = __msa_ld_w(r2 + 4, 0); v4i32 _r2nn = __msa_ld_w(r2 + 8, 0); v4f32 _r20 = (v4f32)__msa_splati_w(_r2, 0); v4f32 _r21 = (v4f32)__msa_splati_w(_r2, 1); v4f32 _r22 = (v4f32)__msa_splati_w(_r2, 2); v4f32 _r23 = (v4f32)__msa_splati_w(_r2, 3); v4f32 _r24 = (v4f32)__msa_splati_w(_r2n, 0); v4f32 _r25 = (v4f32)__msa_splati_w(_r2n, 1); v4f32 _r26 = (v4f32)__msa_splati_w(_r2n, 2); v4f32 _r27 = (v4f32)__msa_splati_w(_r2n, 3); v4f32 _r28 = (v4f32)__msa_splati_w(_r2nn, 0); v4f32 _r29 = (v4f32)__msa_splati_w(_r2nn, 1); v4f32 _r2a = (v4f32)__msa_splati_w(_r2nn, 2); v4f32 _r2b = (v4f32)__msa_splati_w(_r2nn, 3); v4f32 _r2c = __msa_fill_w_f32(r2[12]); _sum0 = __msa_fmadd_w(_sum0, _r20, _k20); _sum1 = __msa_fmadd_w(_sum1, _r22, _k20); _sum2 = __msa_fmadd_w(_sum2, _r24, _k20); _sum3 = __msa_fmadd_w(_sum3, _r26, _k20); _sum0 = __msa_fmadd_w(_sum0, _r21, _k21); _sum1 = __msa_fmadd_w(_sum1, _r23, _k21); _sum2 = __msa_fmadd_w(_sum2, _r25, _k21); _sum3 = __msa_fmadd_w(_sum3, _r27, _k21); _sum0 = __msa_fmadd_w(_sum0, _r22, _k22); _sum1 = __msa_fmadd_w(_sum1, _r24, _k22); _sum2 = __msa_fmadd_w(_sum2, _r26, _k22); _sum3 = __msa_fmadd_w(_sum3, _r28, _k22); _sum0 = __msa_fmadd_w(_sum0, _r23, _k23); _sum1 = __msa_fmadd_w(_sum1, _r25, _k23); _sum2 = __msa_fmadd_w(_sum2, _r27, _k23); _sum3 = __msa_fmadd_w(_sum3, _r29, _k23); _sum0 = __msa_fmadd_w(_sum0, _r24, _k24); _sum1 = __msa_fmadd_w(_sum1, _r26, _k24); _sum2 = __msa_fmadd_w(_sum2, _r28, _k24); _sum3 = __msa_fmadd_w(_sum3, _r2a, _k24); _sum0 = __msa_fmadd_w(_sum0, _r25, _k25); _sum1 = __msa_fmadd_w(_sum1, _r27, _k25); _sum2 = __msa_fmadd_w(_sum2, _r29, _k25); _sum3 = __msa_fmadd_w(_sum3, _r2b, _k25); _sum0 = __msa_fmadd_w(_sum0, _r26, _k26); _sum1 = __msa_fmadd_w(_sum1, _r28, _k26); _sum2 = __msa_fmadd_w(_sum2, _r2a, _k26); _sum3 = __msa_fmadd_w(_sum3, _r2c, _k26); v4f32 _k30 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k31 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k32 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k33 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k34 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k35 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k36 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r3 = __msa_ld_w(r3, 0); v4i32 _r3n = __msa_ld_w(r3 + 4, 0); v4i32 _r3nn = __msa_ld_w(r3 + 8, 0); v4f32 _r30 = (v4f32)__msa_splati_w(_r3, 0); v4f32 _r31 = (v4f32)__msa_splati_w(_r3, 1); v4f32 _r32 = (v4f32)__msa_splati_w(_r3, 2); v4f32 _r33 = (v4f32)__msa_splati_w(_r3, 3); v4f32 _r34 = (v4f32)__msa_splati_w(_r3n, 0); v4f32 _r35 = (v4f32)__msa_splati_w(_r3n, 1); v4f32 _r36 = (v4f32)__msa_splati_w(_r3n, 2); v4f32 _r37 = (v4f32)__msa_splati_w(_r3n, 3); v4f32 _r38 = (v4f32)__msa_splati_w(_r3nn, 0); v4f32 _r39 = (v4f32)__msa_splati_w(_r3nn, 1); v4f32 _r3a = (v4f32)__msa_splati_w(_r3nn, 2); v4f32 _r3b = (v4f32)__msa_splati_w(_r3nn, 3); v4f32 _r3c = __msa_fill_w_f32(r3[12]); _sum0 = __msa_fmadd_w(_sum0, _r30, _k30); _sum1 = __msa_fmadd_w(_sum1, _r32, _k30); _sum2 = __msa_fmadd_w(_sum2, _r34, _k30); _sum3 = __msa_fmadd_w(_sum3, _r36, _k30); _sum0 = __msa_fmadd_w(_sum0, _r31, _k31); _sum1 = __msa_fmadd_w(_sum1, _r33, _k31); _sum2 = __msa_fmadd_w(_sum2, _r35, _k31); _sum3 = __msa_fmadd_w(_sum3, _r37, _k31); _sum0 = __msa_fmadd_w(_sum0, _r32, _k32); _sum1 = __msa_fmadd_w(_sum1, _r34, _k32); _sum2 = __msa_fmadd_w(_sum2, _r36, _k32); _sum3 = __msa_fmadd_w(_sum3, _r38, _k32); _sum0 = __msa_fmadd_w(_sum0, _r33, _k33); _sum1 = __msa_fmadd_w(_sum1, _r35, _k33); _sum2 = __msa_fmadd_w(_sum2, _r37, _k33); _sum3 = __msa_fmadd_w(_sum3, _r39, _k33); _sum0 = __msa_fmadd_w(_sum0, _r34, _k34); _sum1 = __msa_fmadd_w(_sum1, _r36, _k34); _sum2 = __msa_fmadd_w(_sum2, _r38, _k34); _sum3 = __msa_fmadd_w(_sum3, _r3a, _k34); _sum0 = __msa_fmadd_w(_sum0, _r35, _k35); _sum1 = __msa_fmadd_w(_sum1, _r37, _k35); _sum2 = __msa_fmadd_w(_sum2, _r39, _k35); _sum3 = __msa_fmadd_w(_sum3, _r3b, _k35); _sum0 = __msa_fmadd_w(_sum0, _r36, _k36); _sum1 = __msa_fmadd_w(_sum1, _r38, _k36); _sum2 = __msa_fmadd_w(_sum2, _r3a, _k36); _sum3 = __msa_fmadd_w(_sum3, _r3c, _k36); v4f32 _k40 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k41 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k42 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k43 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k44 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k45 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k46 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r4 = __msa_ld_w(r4, 0); v4i32 _r4n = __msa_ld_w(r4 + 4, 0); v4i32 _r4nn = __msa_ld_w(r4 + 8, 0); v4f32 _r40 = (v4f32)__msa_splati_w(_r4, 0); v4f32 _r41 = (v4f32)__msa_splati_w(_r4, 1); v4f32 _r42 = (v4f32)__msa_splati_w(_r4, 2); v4f32 _r43 = (v4f32)__msa_splati_w(_r4, 3); v4f32 _r44 = (v4f32)__msa_splati_w(_r4n, 0); v4f32 _r45 = (v4f32)__msa_splati_w(_r4n, 1); v4f32 _r46 = (v4f32)__msa_splati_w(_r4n, 2); v4f32 _r47 = (v4f32)__msa_splati_w(_r4n, 3); v4f32 _r48 = (v4f32)__msa_splati_w(_r4nn, 0); v4f32 _r49 = (v4f32)__msa_splati_w(_r4nn, 1); v4f32 _r4a = (v4f32)__msa_splati_w(_r4nn, 2); v4f32 _r4b = (v4f32)__msa_splati_w(_r4nn, 3); v4f32 _r4c = __msa_fill_w_f32(r4[12]); _sum0 = __msa_fmadd_w(_sum0, _r40, _k40); _sum1 = __msa_fmadd_w(_sum1, _r42, _k40); _sum2 = __msa_fmadd_w(_sum2, _r44, _k40); _sum3 = __msa_fmadd_w(_sum3, _r46, _k40); _sum0 = __msa_fmadd_w(_sum0, _r41, _k41); _sum1 = __msa_fmadd_w(_sum1, _r43, _k41); _sum2 = __msa_fmadd_w(_sum2, _r45, _k41); _sum3 = __msa_fmadd_w(_sum3, _r47, _k41); _sum0 = __msa_fmadd_w(_sum0, _r42, _k42); _sum1 = __msa_fmadd_w(_sum1, _r44, _k42); _sum2 = __msa_fmadd_w(_sum2, _r46, _k42); _sum3 = __msa_fmadd_w(_sum3, _r48, _k42); _sum0 = __msa_fmadd_w(_sum0, _r43, _k43); _sum1 = __msa_fmadd_w(_sum1, _r45, _k43); _sum2 = __msa_fmadd_w(_sum2, _r47, _k43); _sum3 = __msa_fmadd_w(_sum3, _r49, _k43); _sum0 = __msa_fmadd_w(_sum0, _r44, _k44); _sum1 = __msa_fmadd_w(_sum1, _r46, _k44); _sum2 = __msa_fmadd_w(_sum2, _r48, _k44); _sum3 = __msa_fmadd_w(_sum3, _r4a, _k44); _sum0 = __msa_fmadd_w(_sum0, _r45, _k45); _sum1 = __msa_fmadd_w(_sum1, _r47, _k45); _sum2 = __msa_fmadd_w(_sum2, _r49, _k45); _sum3 = __msa_fmadd_w(_sum3, _r4b, _k45); _sum0 = __msa_fmadd_w(_sum0, _r46, _k46); _sum1 = __msa_fmadd_w(_sum1, _r48, _k46); _sum2 = __msa_fmadd_w(_sum2, _r4a, _k46); _sum3 = __msa_fmadd_w(_sum3, _r4c, _k46); v4f32 _k50 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k51 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k52 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k53 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k54 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k55 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k56 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r5 = __msa_ld_w(r5, 0); v4i32 _r5n = __msa_ld_w(r5 + 4, 0); v4i32 _r5nn = __msa_ld_w(r5 + 8, 0); v4f32 _r50 = (v4f32)__msa_splati_w(_r5, 0); v4f32 _r51 = (v4f32)__msa_splati_w(_r5, 1); v4f32 _r52 = (v4f32)__msa_splati_w(_r5, 2); v4f32 _r53 = (v4f32)__msa_splati_w(_r5, 3); v4f32 _r54 = (v4f32)__msa_splati_w(_r5n, 0); v4f32 _r55 = (v4f32)__msa_splati_w(_r5n, 1); v4f32 _r56 = (v4f32)__msa_splati_w(_r5n, 2); v4f32 _r57 = (v4f32)__msa_splati_w(_r5n, 3); v4f32 _r58 = (v4f32)__msa_splati_w(_r5nn, 0); v4f32 _r59 = (v4f32)__msa_splati_w(_r5nn, 1); v4f32 _r5a = (v4f32)__msa_splati_w(_r5nn, 2); v4f32 _r5b = (v4f32)__msa_splati_w(_r5nn, 3); v4f32 _r5c = __msa_fill_w_f32(r5[12]); _sum0 = __msa_fmadd_w(_sum0, _r50, _k50); _sum1 = __msa_fmadd_w(_sum1, _r52, _k50); _sum2 = __msa_fmadd_w(_sum2, _r54, _k50); _sum3 = __msa_fmadd_w(_sum3, _r56, _k50); _sum0 = __msa_fmadd_w(_sum0, _r51, _k51); _sum1 = __msa_fmadd_w(_sum1, _r53, _k51); _sum2 = __msa_fmadd_w(_sum2, _r55, _k51); _sum3 = __msa_fmadd_w(_sum3, _r57, _k51); _sum0 = __msa_fmadd_w(_sum0, _r52, _k52); _sum1 = __msa_fmadd_w(_sum1, _r54, _k52); _sum2 = __msa_fmadd_w(_sum2, _r56, _k52); _sum3 = __msa_fmadd_w(_sum3, _r58, _k52); _sum0 = __msa_fmadd_w(_sum0, _r53, _k53); _sum1 = __msa_fmadd_w(_sum1, _r55, _k53); _sum2 = __msa_fmadd_w(_sum2, _r57, _k53); _sum3 = __msa_fmadd_w(_sum3, _r59, _k53); _sum0 = __msa_fmadd_w(_sum0, _r54, _k54); _sum1 = __msa_fmadd_w(_sum1, _r56, _k54); _sum2 = __msa_fmadd_w(_sum2, _r58, _k54); _sum3 = __msa_fmadd_w(_sum3, _r5a, _k54); _sum0 = __msa_fmadd_w(_sum0, _r55, _k55); _sum1 = __msa_fmadd_w(_sum1, _r57, _k55); _sum2 = __msa_fmadd_w(_sum2, _r59, _k55); _sum3 = __msa_fmadd_w(_sum3, _r5b, _k55); _sum0 = __msa_fmadd_w(_sum0, _r56, _k56); _sum1 = __msa_fmadd_w(_sum1, _r58, _k56); _sum2 = __msa_fmadd_w(_sum2, _r5a, _k56); _sum3 = __msa_fmadd_w(_sum3, _r5c, _k56); v4f32 _k60 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k61 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k62 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k63 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k64 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k65 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k66 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr -= 4 * 42; v4i32 _r6 = __msa_ld_w(r6, 0); v4i32 _r6n = __msa_ld_w(r6 + 4, 0); v4i32 _r6nn = __msa_ld_w(r6 + 8, 0); v4f32 _r60 = (v4f32)__msa_splati_w(_r6, 0); v4f32 _r61 = (v4f32)__msa_splati_w(_r6, 1); v4f32 _r62 = (v4f32)__msa_splati_w(_r6, 2); v4f32 _r63 = (v4f32)__msa_splati_w(_r6, 3); v4f32 _r64 = (v4f32)__msa_splati_w(_r6n, 0); v4f32 _r65 = (v4f32)__msa_splati_w(_r6n, 1); v4f32 _r66 = (v4f32)__msa_splati_w(_r6n, 2); v4f32 _r67 = (v4f32)__msa_splati_w(_r6n, 3); v4f32 _r68 = (v4f32)__msa_splati_w(_r6nn, 0); v4f32 _r69 = (v4f32)__msa_splati_w(_r6nn, 1); v4f32 _r6a = (v4f32)__msa_splati_w(_r6nn, 2); v4f32 _r6b = (v4f32)__msa_splati_w(_r6nn, 3); v4f32 _r6c = __msa_fill_w_f32(r6[12]); _sum0 = __msa_fmadd_w(_sum0, _r60, _k60); _sum1 = __msa_fmadd_w(_sum1, _r62, _k60); _sum2 = __msa_fmadd_w(_sum2, _r64, _k60); _sum3 = __msa_fmadd_w(_sum3, _r66, _k60); _sum0 = __msa_fmadd_w(_sum0, _r61, _k61); _sum1 = __msa_fmadd_w(_sum1, _r63, _k61); _sum2 = __msa_fmadd_w(_sum2, _r65, _k61); _sum3 = __msa_fmadd_w(_sum3, _r67, _k61); _sum0 = __msa_fmadd_w(_sum0, _r62, _k62); _sum1 = __msa_fmadd_w(_sum1, _r64, _k62); _sum2 = __msa_fmadd_w(_sum2, _r66, _k62); _sum3 = __msa_fmadd_w(_sum3, _r68, _k62); _sum0 = __msa_fmadd_w(_sum0, _r63, _k63); _sum1 = __msa_fmadd_w(_sum1, _r65, _k63); _sum2 = __msa_fmadd_w(_sum2, _r67, _k63); _sum3 = __msa_fmadd_w(_sum3, _r69, _k63); _sum0 = __msa_fmadd_w(_sum0, _r64, _k64); _sum1 = __msa_fmadd_w(_sum1, _r66, _k64); _sum2 = __msa_fmadd_w(_sum2, _r68, _k64); _sum3 = __msa_fmadd_w(_sum3, _r6a, _k64); _sum0 = __msa_fmadd_w(_sum0, _r65, _k65); _sum1 = __msa_fmadd_w(_sum1, _r67, _k65); _sum2 = __msa_fmadd_w(_sum2, _r69, _k65); _sum3 = __msa_fmadd_w(_sum3, _r6b, _k65); _sum0 = __msa_fmadd_w(_sum0, _r66, _k66); _sum1 = __msa_fmadd_w(_sum1, _r68, _k66); _sum2 = __msa_fmadd_w(_sum2, _r6a, _k66); _sum3 = __msa_fmadd_w(_sum3, _r6c, _k66); __msa_st_w((v4i32)_sum0, outptr0, 0); __msa_st_w((v4i32)_sum1, outptr0 + 4, 0); __msa_st_w((v4i32)_sum2, outptr0 + 4 * 2, 0); __msa_st_w((v4i32)_sum3, outptr0 + 4 * 3, 0); outptr0 += 4 * 4; r0 += 8; r1 += 8; r2 += 8; r3 += 8; r4 += 8; r5 += 8; r6 += 8; } for (; j < outw; j++) { v4f32 _sum0 = (v4f32)__msa_ld_w(outptr0, 0); v4f32 _k00 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k01 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k02 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k03 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k04 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k05 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k06 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r0 = __msa_ld_w(r0, 0); v4i32 _r0n = __msa_ld_w(r0 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0, 0), _k00); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0, 1), _k01); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0, 2), _k02); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0, 3), _k03); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0n, 0), _k04); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0n, 1), _k05); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r0n, 2), _k06); v4f32 _k10 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k11 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k12 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k13 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k14 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k15 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k16 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r1 = __msa_ld_w(r1, 0); v4i32 _r1n = __msa_ld_w(r1 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1, 0), _k10); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1, 1), _k11); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1, 2), _k12); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1, 3), _k13); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1n, 0), _k14); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1n, 1), _k15); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r1n, 2), _k16); v4f32 _k20 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k21 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k22 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k23 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k24 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k25 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k26 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r2 = __msa_ld_w(r2, 0); v4i32 _r2n = __msa_ld_w(r2 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2, 0), _k20); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2, 1), _k21); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2, 2), _k22); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2, 3), _k23); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2n, 0), _k24); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2n, 1), _k25); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r2n, 2), _k26); v4f32 _k30 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k31 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k32 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k33 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k34 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k35 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k36 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r3 = __msa_ld_w(r3, 0); v4i32 _r3n = __msa_ld_w(r3 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3, 0), _k30); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3, 1), _k31); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3, 2), _k32); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3, 3), _k33); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3n, 0), _k34); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3n, 1), _k35); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r3n, 2), _k36); v4f32 _k40 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k41 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k42 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k43 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k44 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k45 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k46 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r4 = __msa_ld_w(r4, 0); v4i32 _r4n = __msa_ld_w(r4 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4, 0), _k40); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4, 1), _k41); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4, 2), _k42); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4, 3), _k43); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4n, 0), _k44); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4n, 1), _k45); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r4n, 2), _k46); v4f32 _k50 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k51 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k52 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k53 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k54 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k55 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k56 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr += 4 * 7; v4i32 _r5 = __msa_ld_w(r5, 0); v4i32 _r5n = __msa_ld_w(r5 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5, 0), _k50); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5, 1), _k51); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5, 2), _k52); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5, 3), _k53); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5n, 0), _k54); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5n, 1), _k55); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r5n, 2), _k56); v4f32 _k60 = (v4f32)__msa_ld_w(kptr, 0); v4f32 _k61 = (v4f32)__msa_ld_w(kptr + 4, 0); v4f32 _k62 = (v4f32)__msa_ld_w(kptr + 4 * 2, 0); v4f32 _k63 = (v4f32)__msa_ld_w(kptr + 4 * 3, 0); v4f32 _k64 = (v4f32)__msa_ld_w(kptr + 4 * 4, 0); v4f32 _k65 = (v4f32)__msa_ld_w(kptr + 4 * 5, 0); v4f32 _k66 = (v4f32)__msa_ld_w(kptr + 4 * 6, 0); kptr -= 4 * 42; v4i32 _r6 = __msa_ld_w(r6, 0); v4i32 _r6n = __msa_ld_w(r6 + 4, 0); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6, 0), _k60); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6, 1), _k61); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6, 2), _k62); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6, 3), _k63); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6n, 0), _k64); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6n, 1), _k65); _sum0 = __msa_fmadd_w(_sum0, (v4f32)__msa_splati_w(_r6n, 2), _k66); __msa_st_w((v4i32)_sum0, outptr0, 0); outptr0 += 4; r0 += 2; r1 += 2; r2 += 2; r3 += 2; r4 += 2; r5 += 2; r6 += 2; } r0 += tailstep; r1 += tailstep; r2 += tailstep; r3 += tailstep; r4 += tailstep; r5 += tailstep; r6 += tailstep; } } } }