ctx.w 0 110100480 ctx.b 110100480 21504 pin.w 110121984 2064384 pin.b 112186368 21504 head.w 112207872 12386304 head.b 124594176 2304 out.mul 124596480 150528 out.add 124747008 150528 rfin.mul 124897536 21504 sigmas 124919040 28 r0.qkv.w 124919104 115605504 r0.qkv.s 240524608 86016 r0.out.w 240610624 38535168 r0.out.s 279145792 21504 r0.fc1.w 279167296 154140672 r0.fc1.s 433307968 114688 r0.fc2.w 433422656 77070336 r0.fc2.s 510492992 21504 r0.nq 510514496 256 r0.nk 510514752 256 r0.mul1 510515008 21504 r0.add1 510536512 21504 r0.gate1 510558016 21504 r0.mul2 510579520 21504 r0.add2 510601024 21504 r0.gate2 510622528 21504 r1.qkv.w 510644032 115605504 r1.qkv.s 626249536 86016 r1.out.w 626335552 38535168 r1.out.s 664870720 21504 r1.fc1.w 664892224 154140672 r1.fc1.s 819032896 114688 r1.fc2.w 819147584 77070336 r1.fc2.s 896217920 21504 r1.nq 896239424 256 r1.nk 896239680 256 r1.mul1 896239936 21504 r1.add1 896261440 21504 r1.gate1 896282944 21504 r1.mul2 896304448 21504 r1.add2 896325952 21504 r1.gate2 896347456 21504 b0.qkv.w 896368960 115605504 b0.qkv.s 1011974464 86016 b0.out.w 1012060480 38535168 b0.out.s 1050595648 21504 b0.fc1.w 1050617152 154140672 b0.fc1.s 1204757824 114688 b0.fc2.w 1204872512 77070336 b0.fc2.s 1281942848 21504 b0.nq 1281964352 256 b0.nk 1281964608 256 b0.mul1 1281964864 451584 b0.add1 1282416448 451584 b0.gate1 1282868032 451584 b0.mul2 1283319616 451584 b0.add2 1283771200 451584 b0.gate2 1284222784 451584 b1.qkv.w 1284674368 115605504 b1.qkv.s 1400279872 86016 b1.out.w 1400365888 38535168 b1.out.s 1438901056 21504 b1.fc1.w 1438922560 154140672 b1.fc1.s 1593063232 114688 b1.fc2.w 1593177920 77070336 b1.fc2.s 1670248256 21504 b1.nq 1670269760 256 b1.nk 1670270016 256 b1.mul1 1670270272 451584 b1.add1 1670721856 451584 b1.gate1 1671173440 451584 b1.mul2 1671625024 451584 b1.add2 1672076608 451584 b1.gate2 1672528192 451584 b2.qkv.w 1672979776 115605504 b2.qkv.s 1788585280 86016 b2.out.w 1788671296 38535168 b2.out.s 1827206464 21504 b2.fc1.w 1827227968 154140672 b2.fc1.s 1981368640 114688 b2.fc2.w 1981483328 77070336 b2.fc2.s 2058553664 21504 b2.nq 2058575168 256 b2.nk 2058575424 256 b2.mul1 2058575680 451584 b2.add1 2059027264 451584 b2.gate1 2059478848 451584 b2.mul2 2059930432 451584 b2.add2 2060382016 451584 b2.gate2 2060833600 451584 b3.qkv.w 2061285184 115605504 b3.qkv.s 2176890688 86016 b3.out.w 2176976704 38535168 b3.out.s 2215511872 21504 b3.fc1.w 2215533376 154140672 b3.fc1.s 2369674048 114688 b3.fc2.w 2369788736 77070336 b3.fc2.s 2446859072 21504 b3.nq 2446880576 256 b3.nk 2446880832 256 b3.mul1 2446881088 451584 b3.add1 2447332672 451584 b3.gate1 2447784256 451584 b3.mul2 2448235840 451584 b3.add2 2448687424 451584 b3.gate2 2449139008 451584 b4.qkv.w 2449590592 115605504 b4.qkv.s 2565196096 86016 b4.out.w 2565282112 38535168 b4.out.s 2603817280 21504 b4.fc1.w 2603838784 154140672 b4.fc1.s 2757979456 114688 b4.fc2.w 2758094144 77070336 b4.fc2.s 2835164480 21504 b4.nq 2835185984 256 b4.nk 2835186240 256 b4.mul1 2835186496 451584 b4.add1 2835638080 451584 b4.gate1 2836089664 451584 b4.mul2 2836541248 451584 b4.add2 2836992832 451584 b4.gate2 2837444416 451584 b5.qkv.w 2837896000 115605504 b5.qkv.s 2953501504 86016 b5.out.w 2953587520 38535168 b5.out.s 2992122688 21504 b5.fc1.w 2992144192 154140672 b5.fc1.s 3146284864 114688 b5.fc2.w 3146399552 77070336 b5.fc2.s 3223469888 21504 b5.nq 3223491392 256 b5.nk 3223491648 256 b5.mul1 3223491904 451584 b5.add1 3223943488 451584 b5.gate1 3224395072 451584 b5.mul2 3224846656 451584 b5.add2 3225298240 451584 b5.gate2 3225749824 451584 b6.qkv.w 3226201408 115605504 b6.qkv.s 3341806912 86016 b6.out.w 3341892928 38535168 b6.out.s 3380428096 21504 b6.fc1.w 3380449600 154140672 b6.fc1.s 3534590272 114688 b6.fc2.w 3534704960 77070336 b6.fc2.s 3611775296 21504 b6.nq 3611796800 256 b6.nk 3611797056 256 b6.mul1 3611797312 451584 b6.add1 3612248896 451584 b6.gate1 3612700480 451584 b6.mul2 3613152064 451584 b6.add2 3613603648 451584 b6.gate2 3614055232 451584 b7.qkv.w 3614506816 115605504 b7.qkv.s 3730112320 86016 b7.out.w 3730198336 38535168 b7.out.s 3768733504 21504 b7.fc1.w 3768755008 154140672 b7.fc1.s 3922895680 114688 b7.fc2.w 3923010368 77070336 b7.fc2.s 4000080704 21504 b7.nq 4000102208 256 b7.nk 4000102464 256 b7.mul1 4000102720 451584 b7.add1 4000554304 451584 b7.gate1 4001005888 451584 b7.mul2 4001457472 451584 b7.add2 4001909056 451584 b7.gate2 4002360640 451584 b8.qkv.w 4002812224 115605504 b8.qkv.s 4118417728 86016 b8.out.w 4118503744 38535168 b8.out.s 4157038912 21504 b8.fc1.w 4157060416 154140672 b8.fc1.s 4311201088 114688 b8.fc2.w 4311315776 77070336 b8.fc2.s 4388386112 21504 b8.nq 4388407616 256 b8.nk 4388407872 256 b8.mul1 4388408128 451584 b8.add1 4388859712 451584 b8.gate1 4389311296 451584 b8.mul2 4389762880 451584 b8.add2 4390214464 451584 b8.gate2 4390666048 451584 b9.qkv.w 4391117632 115605504 b9.qkv.s 4506723136 86016 b9.out.w 4506809152 38535168 b9.out.s 4545344320 21504 b9.fc1.w 4545365824 154140672 b9.fc1.s 4699506496 114688 b9.fc2.w 4699621184 77070336 b9.fc2.s 4776691520 21504 b9.nq 4776713024 256 b9.nk 4776713280 256 b9.mul1 4776713536 451584 b9.add1 4777165120 451584 b9.gate1 4777616704 451584 b9.mul2 4778068288 451584 b9.add2 4778519872 451584 b9.gate2 4778971456 451584 b10.qkv.w 4779423040 115605504 b10.qkv.s 4895028544 86016 b10.out.w 4895114560 38535168 b10.out.s 4933649728 21504 b10.fc1.w 4933671232 154140672 b10.fc1.s 5087811904 114688 b10.fc2.w 5087926592 77070336 b10.fc2.s 5164996928 21504 b10.nq 5165018432 256 b10.nk 5165018688 256 b10.mul1 5165018944 451584 b10.add1 5165470528 451584 b10.gate1 5165922112 451584 b10.mul2 5166373696 451584 b10.add2 5166825280 451584 b10.gate2 5167276864 451584 b11.qkv.w 5167728448 115605504 b11.qkv.s 5283333952 86016 b11.out.w 5283419968 38535168 b11.out.s 5321955136 21504 b11.fc1.w 5321976640 154140672 b11.fc1.s 5476117312 114688 b11.fc2.w 5476232000 77070336 b11.fc2.s 5553302336 21504 b11.nq 5553323840 256 b11.nk 5553324096 256 b11.mul1 5553324352 451584 b11.add1 5553775936 451584 b11.gate1 5554227520 451584 b11.mul2 5554679104 451584 b11.add2 5555130688 451584 b11.gate2 5555582272 451584 b12.qkv.w 5556033856 115605504 b12.qkv.s 5671639360 86016 b12.out.w 5671725376 38535168 b12.out.s 5710260544 21504 b12.fc1.w 5710282048 154140672 b12.fc1.s 5864422720 114688 b12.fc2.w 5864537408 77070336 b12.fc2.s 5941607744 21504 b12.nq 5941629248 256 b12.nk 5941629504 256 b12.mul1 5941629760 451584 b12.add1 5942081344 451584 b12.gate1 5942532928 451584 b12.mul2 5942984512 451584 b12.add2 5943436096 451584 b12.gate2 5943887680 451584 b13.qkv.w 5944339264 115605504 b13.qkv.s 6059944768 86016 b13.out.w 6060030784 38535168 b13.out.s 6098565952 21504 b13.fc1.w 6098587456 154140672 b13.fc1.s 6252728128 114688 b13.fc2.w 6252842816 77070336 b13.fc2.s 6329913152 21504 b13.nq 6329934656 256 b13.nk 6329934912 256 b13.mul1 6329935168 451584 b13.add1 6330386752 451584 b13.gate1 6330838336 451584 b13.mul2 6331289920 451584 b13.add2 6331741504 451584 b13.gate2 6332193088 451584 b14.qkv.w 6332644672 115605504 b14.qkv.s 6448250176 86016 b14.out.w 6448336192 38535168 b14.out.s 6486871360 21504 b14.fc1.w 6486892864 154140672 b14.fc1.s 6641033536 114688 b14.fc2.w 6641148224 77070336 b14.fc2.s 6718218560 21504 b14.nq 6718240064 256 b14.nk 6718240320 256 b14.mul1 6718240576 451584 b14.add1 6718692160 451584 b14.gate1 6719143744 451584 b14.mul2 6719595328 451584 b14.add2 6720046912 451584 b14.gate2 6720498496 451584 b15.qkv.w 6720950080 115605504 b15.qkv.s 6836555584 86016 b15.out.w 6836641600 38535168 b15.out.s 6875176768 21504 b15.fc1.w 6875198272 154140672 b15.fc1.s 7029338944 114688 b15.fc2.w 7029453632 77070336 b15.fc2.s 7106523968 21504 b15.nq 7106545472 256 b15.nk 7106545728 256 b15.mul1 7106545984 451584 b15.add1 7106997568 451584 b15.gate1 7107449152 451584 b15.mul2 7107900736 451584 b15.add2 7108352320 451584 b15.gate2 7108803904 451584 b16.qkv.w 7109255488 115605504 b16.qkv.s 7224860992 86016 b16.out.w 7224947008 38535168 b16.out.s 7263482176 21504 b16.fc1.w 7263503680 154140672 b16.fc1.s 7417644352 114688 b16.fc2.w 7417759040 77070336 b16.fc2.s 7494829376 21504 b16.nq 7494850880 256 b16.nk 7494851136 256 b16.mul1 7494851392 451584 b16.add1 7495302976 451584 b16.gate1 7495754560 451584 b16.mul2 7496206144 451584 b16.add2 7496657728 451584 b16.gate2 7497109312 451584 b17.qkv.w 7497560896 115605504 b17.qkv.s 7613166400 86016 b17.out.w 7613252416 38535168 b17.out.s 7651787584 21504 b17.fc1.w 7651809088 154140672 b17.fc1.s 7805949760 114688 b17.fc2.w 7806064448 77070336 b17.fc2.s 7883134784 21504 b17.nq 7883156288 256 b17.nk 7883156544 256 b17.mul1 7883156800 451584 b17.add1 7883608384 451584 b17.gate1 7884059968 451584 b17.mul2 7884511552 451584 b17.add2 7884963136 451584 b17.gate2 7885414720 451584 b18.qkv.w 7885866304 115605504 b18.qkv.s 8001471808 86016 b18.out.w 8001557824 38535168 b18.out.s 8040092992 21504 b18.fc1.w 8040114496 154140672 b18.fc1.s 8194255168 114688 b18.fc2.w 8194369856 77070336 b18.fc2.s 8271440192 21504 b18.nq 8271461696 256 b18.nk 8271461952 256 b18.mul1 8271462208 451584 b18.add1 8271913792 451584 b18.gate1 8272365376 451584 b18.mul2 8272816960 451584 b18.add2 8273268544 451584 b18.gate2 8273720128 451584 b19.qkv.w 8274171712 115605504 b19.qkv.s 8389777216 86016 b19.out.w 8389863232 38535168 b19.out.s 8428398400 21504 b19.fc1.w 8428419904 154140672 b19.fc1.s 8582560576 114688 b19.fc2.w 8582675264 77070336 b19.fc2.s 8659745600 21504 b19.nq 8659767104 256 b19.nk 8659767360 256 b19.mul1 8659767616 451584 b19.add1 8660219200 451584 b19.gate1 8660670784 451584 b19.mul2 8661122368 451584 b19.add2 8661573952 451584 b19.gate2 8662025536 451584 b20.qkv.w 8662477120 115605504 b20.qkv.s 8778082624 86016 b20.out.w 8778168640 38535168 b20.out.s 8816703808 21504 b20.fc1.w 8816725312 154140672 b20.fc1.s 8970865984 114688 b20.fc2.w 8970980672 77070336 b20.fc2.s 9048051008 21504 b20.nq 9048072512 256 b20.nk 9048072768 256 b20.mul1 9048073024 451584 b20.add1 9048524608 451584 b20.gate1 9048976192 451584 b20.mul2 9049427776 451584 b20.add2 9049879360 451584 b20.gate2 9050330944 451584 b21.qkv.w 9050782528 115605504 b21.qkv.s 9166388032 86016 b21.out.w 9166474048 38535168 b21.out.s 9205009216 21504 b21.fc1.w 9205030720 154140672 b21.fc1.s 9359171392 114688 b21.fc2.w 9359286080 77070336 b21.fc2.s 9436356416 21504 b21.nq 9436377920 256 b21.nk 9436378176 256 b21.mul1 9436378432 451584 b21.add1 9436830016 451584 b21.gate1 9437281600 451584 b21.mul2 9437733184 451584 b21.add2 9438184768 451584 b21.gate2 9438636352 451584 b22.qkv.w 9439087936 115605504 b22.qkv.s 9554693440 86016 b22.out.w 9554779456 38535168 b22.out.s 9593314624 21504 b22.fc1.w 9593336128 154140672 b22.fc1.s 9747476800 114688 b22.fc2.w 9747591488 77070336 b22.fc2.s 9824661824 21504 b22.nq 9824683328 256 b22.nk 9824683584 256 b22.mul1 9824683840 451584 b22.add1 9825135424 451584 b22.gate1 9825587008 451584 b22.mul2 9826038592 451584 b22.add2 9826490176 451584 b22.gate2 9826941760 451584 b23.qkv.w 9827393344 115605504 b23.qkv.s 9942998848 86016 b23.out.w 9943084864 38535168 b23.out.s 9981620032 21504 b23.fc1.w 9981641536 154140672 b23.fc1.s 10135782208 114688 b23.fc2.w 10135896896 77070336 b23.fc2.s 10212967232 21504 b23.nq 10212988736 256 b23.nk 10212988992 256 b23.mul1 10212989248 451584 b23.add1 10213440832 451584 b23.gate1 10213892416 451584 b23.mul2 10214344000 451584 b23.add2 10214795584 451584 b23.gate2 10215247168 451584 b24.qkv.w 10215698752 115605504 b24.qkv.s 10331304256 86016 b24.out.w 10331390272 38535168 b24.out.s 10369925440 21504 b24.fc1.w 10369946944 154140672 b24.fc1.s 10524087616 114688 b24.fc2.w 10524202304 77070336 b24.fc2.s 10601272640 21504 b24.nq 10601294144 256 b24.nk 10601294400 256 b24.mul1 10601294656 451584 b24.add1 10601746240 451584 b24.gate1 10602197824 451584 b24.mul2 10602649408 451584 b24.add2 10603100992 451584 b24.gate2 10603552576 451584 b25.qkv.w 10604004160 115605504 b25.qkv.s 10719609664 86016 b25.out.w 10719695680 38535168 b25.out.s 10758230848 21504 b25.fc1.w 10758252352 154140672 b25.fc1.s 10912393024 114688 b25.fc2.w 10912507712 77070336 b25.fc2.s 10989578048 21504 b25.nq 10989599552 256 b25.nk 10989599808 256 b25.mul1 10989600064 451584 b25.add1 10990051648 451584 b25.gate1 10990503232 451584 b25.mul2 10990954816 451584 b25.add2 10991406400 451584 b25.gate2 10991857984 451584 b26.qkv.w 10992309568 115605504 b26.qkv.s 11107915072 86016 b26.out.w 11108001088 38535168 b26.out.s 11146536256 21504 b26.fc1.w 11146557760 154140672 b26.fc1.s 11300698432 114688 b26.fc2.w 11300813120 77070336 b26.fc2.s 11377883456 21504 b26.nq 11377904960 256 b26.nk 11377905216 256 b26.mul1 11377905472 451584 b26.add1 11378357056 451584 b26.gate1 11378808640 451584 b26.mul2 11379260224 451584 b26.add2 11379711808 451584 b26.gate2 11380163392 451584 b27.qkv.w 11380614976 115605504 b27.qkv.s 11496220480 86016 b27.out.w 11496306496 38535168 b27.out.s 11534841664 21504 b27.fc1.w 11534863168 154140672 b27.fc1.s 11689003840 114688 b27.fc2.w 11689118528 77070336 b27.fc2.s 11766188864 21504 b27.nq 11766210368 256 b27.nk 11766210624 256 b27.mul1 11766210880 451584 b27.add1 11766662464 451584 b27.gate1 11767114048 451584 b27.mul2 11767565632 451584 b27.add2 11768017216 451584 b27.gate2 11768468800 451584 b28.qkv.w 11768920384 115605504 b28.qkv.s 11884525888 86016 b28.out.w 11884611904 38535168 b28.out.s 11923147072 21504 b28.fc1.w 11923168576 154140672 b28.fc1.s 12077309248 114688 b28.fc2.w 12077423936 77070336 b28.fc2.s 12154494272 21504 b28.nq 12154515776 256 b28.nk 12154516032 256 b28.mul1 12154516288 451584 b28.add1 12154967872 451584 b28.gate1 12155419456 451584 b28.mul2 12155871040 451584 b28.add2 12156322624 451584 b28.gate2 12156774208 451584 b29.qkv.w 12157225792 115605504 b29.qkv.s 12272831296 86016 b29.out.w 12272917312 38535168 b29.out.s 12311452480 21504 b29.fc1.w 12311473984 154140672 b29.fc1.s 12465614656 114688 b29.fc2.w 12465729344 77070336 b29.fc2.s 12542799680 21504 b29.nq 12542821184 256 b29.nk 12542821440 256 b29.mul1 12542821696 451584 b29.add1 12543273280 451584 b29.gate1 12543724864 451584 b29.mul2 12544176448 451584 b29.add2 12544628032 451584 b29.gate2 12545079616 451584 b30.qkv.w 12545531200 115605504 b30.qkv.s 12661136704 86016 b30.out.w 12661222720 38535168 b30.out.s 12699757888 21504 b30.fc1.w 12699779392 154140672 b30.fc1.s 12853920064 114688 b30.fc2.w 12854034752 77070336 b30.fc2.s 12931105088 21504 b30.nq 12931126592 256 b30.nk 12931126848 256 b30.mul1 12931127104 451584 b30.add1 12931578688 451584 b30.gate1 12932030272 451584 b30.mul2 12932481856 451584 b30.add2 12932933440 451584 b30.gate2 12933385024 451584 b31.qkv.w 12933836608 115605504 b31.qkv.s 13049442112 86016 b31.out.w 13049528128 38535168 b31.out.s 13088063296 21504 b31.fc1.w 13088084800 154140672 b31.fc1.s 13242225472 114688 b31.fc2.w 13242340160 77070336 b31.fc2.s 13319410496 21504 b31.nq 13319432000 256 b31.nk 13319432256 256 b31.mul1 13319432512 451584 b31.add1 13319884096 451584 b31.gate1 13320335680 451584 b31.mul2 13320787264 451584 b31.add2 13321238848 451584 b31.gate2 13321690432 451584 b32.qkv.w 13322142016 115605504 b32.qkv.s 13437747520 86016 b32.out.w 13437833536 38535168 b32.out.s 13476368704 21504 b32.fc1.w 13476390208 154140672 b32.fc1.s 13630530880 114688 b32.fc2.w 13630645568 77070336 b32.fc2.s 13707715904 21504 b32.nq 13707737408 256 b32.nk 13707737664 256 b32.mul1 13707737920 451584 b32.add1 13708189504 451584 b32.gate1 13708641088 451584 b32.mul2 13709092672 451584 b32.add2 13709544256 451584 b32.gate2 13709995840 451584 b33.qkv.w 13710447424 115605504 b33.qkv.s 13826052928 86016 b33.out.w 13826138944 38535168 b33.out.s 13864674112 21504 b33.fc1.w 13864695616 154140672 b33.fc1.s 14018836288 114688 b33.fc2.w 14018950976 77070336 b33.fc2.s 14096021312 21504 b33.nq 14096042816 256 b33.nk 14096043072 256 b33.mul1 14096043328 451584 b33.add1 14096494912 451584 b33.gate1 14096946496 451584 b33.mul2 14097398080 451584 b33.add2 14097849664 451584 b33.gate2 14098301248 451584 b34.qkv.w 14098752832 115605504 b34.qkv.s 14214358336 86016 b34.out.w 14214444352 38535168 b34.out.s 14252979520 21504 b34.fc1.w 14253001024 154140672 b34.fc1.s 14407141696 114688 b34.fc2.w 14407256384 77070336 b34.fc2.s 14484326720 21504 b34.nq 14484348224 256 b34.nk 14484348480 256 b34.mul1 14484348736 451584 b34.add1 14484800320 451584 b34.gate1 14485251904 451584 b34.mul2 14485703488 451584 b34.add2 14486155072 451584 b34.gate2 14486606656 451584 b35.qkv.w 14487058240 115605504 b35.qkv.s 14602663744 86016 b35.out.w 14602749760 38535168 b35.out.s 14641284928 21504 b35.fc1.w 14641306432 154140672 b35.fc1.s 14795447104 114688 b35.fc2.w 14795561792 77070336 b35.fc2.s 14872632128 21504 b35.nq 14872653632 256 b35.nk 14872653888 256 b35.mul1 14872654144 451584 b35.add1 14873105728 451584 b35.gate1 14873557312 451584 b35.mul2 14874008896 451584 b35.add2 14874460480 451584 b35.gate2 14874912064 451584 b36.qkv.w 14875363648 115605504 b36.qkv.s 14990969152 86016 b36.out.w 14991055168 38535168 b36.out.s 15029590336 21504 b36.fc1.w 15029611840 154140672 b36.fc1.s 15183752512 114688 b36.fc2.w 15183867200 77070336 b36.fc2.s 15260937536 21504 b36.nq 15260959040 256 b36.nk 15260959296 256 b36.mul1 15260959552 451584 b36.add1 15261411136 451584 b36.gate1 15261862720 451584 b36.mul2 15262314304 451584 b36.add2 15262765888 451584 b36.gate2 15263217472 451584 b37.qkv.w 15263669056 115605504 b37.qkv.s 15379274560 86016 b37.out.w 15379360576 38535168 b37.out.s 15417895744 21504 b37.fc1.w 15417917248 154140672 b37.fc1.s 15572057920 114688 b37.fc2.w 15572172608 77070336 b37.fc2.s 15649242944 21504 b37.nq 15649264448 256 b37.nk 15649264704 256 b37.mul1 15649264960 451584 b37.add1 15649716544 451584 b37.gate1 15650168128 451584 b37.mul2 15650619712 451584 b37.add2 15651071296 451584 b37.gate2 15651522880 451584 b38.qkv.w 15651974464 115605504 b38.qkv.s 15767579968 86016 b38.out.w 15767665984 38535168 b38.out.s 15806201152 21504 b38.fc1.w 15806222656 154140672 b38.fc1.s 15960363328 114688 b38.fc2.w 15960478016 77070336 b38.fc2.s 16037548352 21504 b38.nq 16037569856 256 b38.nk 16037570112 256 b38.mul1 16037570368 451584 b38.add1 16038021952 451584 b38.gate1 16038473536 451584 b38.mul2 16038925120 451584 b38.add2 16039376704 451584 b38.gate2 16039828288 451584 b39.qkv.w 16040279872 115605504 b39.qkv.s 16155885376 86016 b39.out.w 16155971392 38535168 b39.out.s 16194506560 21504 b39.fc1.w 16194528064 154140672 b39.fc1.s 16348668736 114688 b39.fc2.w 16348783424 77070336 b39.fc2.s 16425853760 21504 b39.nq 16425875264 256 b39.nk 16425875520 256 b39.mul1 16425875776 451584 b39.add1 16426327360 451584 b39.gate1 16426778944 451584 b39.mul2 16427230528 451584 b39.add2 16427682112 451584 b39.gate2 16428133696 451584 b40.qkv.w 16428585280 115605504 b40.qkv.s 16544190784 86016 b40.out.w 16544276800 38535168 b40.out.s 16582811968 21504 b40.fc1.w 16582833472 154140672 b40.fc1.s 16736974144 114688 b40.fc2.w 16737088832 77070336 b40.fc2.s 16814159168 21504 b40.nq 16814180672 256 b40.nk 16814180928 256 b40.mul1 16814181184 451584 b40.add1 16814632768 451584 b40.gate1 16815084352 451584 b40.mul2 16815535936 451584 b40.add2 16815987520 451584 b40.gate2 16816439104 451584 b41.qkv.w 16816890688 115605504 b41.qkv.s 16932496192 86016 b41.out.w 16932582208 38535168 b41.out.s 16971117376 21504 b41.fc1.w 16971138880 154140672 b41.fc1.s 17125279552 114688 b41.fc2.w 17125394240 77070336 b41.fc2.s 17202464576 21504 b41.nq 17202486080 256 b41.nk 17202486336 256 b41.mul1 17202486592 451584 b41.add1 17202938176 451584 b41.gate1 17203389760 451584 b41.mul2 17203841344 451584 b41.add2 17204292928 451584 b41.gate2 17204744512 451584 b42.qkv.w 17205196096 115605504 b42.qkv.s 17320801600 86016 b42.out.w 17320887616 38535168 b42.out.s 17359422784 21504 b42.fc1.w 17359444288 154140672 b42.fc1.s 17513584960 114688 b42.fc2.w 17513699648 77070336 b42.fc2.s 17590769984 21504 b42.nq 17590791488 256 b42.nk 17590791744 256 b42.mul1 17590792000 451584 b42.add1 17591243584 451584 b42.gate1 17591695168 451584 b42.mul2 17592146752 451584 b42.add2 17592598336 451584 b42.gate2 17593049920 451584 b43.qkv.w 17593501504 115605504 b43.qkv.s 17709107008 86016 b43.out.w 17709193024 38535168 b43.out.s 17747728192 21504 b43.fc1.w 17747749696 154140672 b43.fc1.s 17901890368 114688 b43.fc2.w 17902005056 77070336 b43.fc2.s 17979075392 21504 b43.nq 17979096896 256 b43.nk 17979097152 256 b43.mul1 17979097408 451584 b43.add1 17979548992 451584 b43.gate1 17980000576 451584 b43.mul2 17980452160 451584 b43.add2 17980903744 451584 b43.gate2 17981355328 451584 b44.qkv.w 17981806912 115605504 b44.qkv.s 18097412416 86016 b44.out.w 18097498432 38535168 b44.out.s 18136033600 21504 b44.fc1.w 18136055104 154140672 b44.fc1.s 18290195776 114688 b44.fc2.w 18290310464 77070336 b44.fc2.s 18367380800 21504 b44.nq 18367402304 256 b44.nk 18367402560 256 b44.mul1 18367402816 451584 b44.add1 18367854400 451584 b44.gate1 18368305984 451584 b44.mul2 18368757568 451584 b44.add2 18369209152 451584 b44.gate2 18369660736 451584 b45.qkv.w 18370112320 115605504 b45.qkv.s 18485717824 86016 b45.out.w 18485803840 38535168 b45.out.s 18524339008 21504 b45.fc1.w 18524360512 154140672 b45.fc1.s 18678501184 114688 b45.fc2.w 18678615872 77070336 b45.fc2.s 18755686208 21504 b45.nq 18755707712 256 b45.nk 18755707968 256 b45.mul1 18755708224 451584 b45.add1 18756159808 451584 b45.gate1 18756611392 451584 b45.mul2 18757062976 451584 b45.add2 18757514560 451584 b45.gate2 18757966144 451584 b46.qkv.w 18758417728 115605504 b46.qkv.s 18874023232 86016 b46.out.w 18874109248 38535168 b46.out.s 18912644416 21504 b46.fc1.w 18912665920 154140672 b46.fc1.s 19066806592 114688 b46.fc2.w 19066921280 77070336 b46.fc2.s 19143991616 21504 b46.nq 19144013120 256 b46.nk 19144013376 256 b46.mul1 19144013632 451584 b46.add1 19144465216 451584 b46.gate1 19144916800 451584 b46.mul2 19145368384 451584 b46.add2 19145819968 451584 b46.gate2 19146271552 451584 b47.qkv.w 19146723136 115605504 b47.qkv.s 19262328640 86016 b47.out.w 19262414656 38535168 b47.out.s 19300949824 21504 b47.fc1.w 19300971328 154140672 b47.fc1.s 19455112000 114688 b47.fc2.w 19455226688 77070336 b47.fc2.s 19532297024 21504 b47.nq 19532318528 256 b47.nk 19532318784 256 b47.mul1 19532319040 451584 b47.add1 19532770624 451584 b47.gate1 19533222208 451584 b47.mul2 19533673792 451584 b47.add2 19534125376 451584 b47.gate2 19534576960 451584 b48.qkv.w 19535028544 115605504 b48.qkv.s 19650634048 86016 b48.out.w 19650720064 38535168 b48.out.s 19689255232 21504 b48.fc1.w 19689276736 154140672 b48.fc1.s 19843417408 114688 b48.fc2.w 19843532096 77070336 b48.fc2.s 19920602432 21504 b48.nq 19920623936 256 b48.nk 19920624192 256 b48.mul1 19920624448 451584 b48.add1 19921076032 451584 b48.gate1 19921527616 451584 b48.mul2 19921979200 451584 b48.add2 19922430784 451584 b48.gate2 19922882368 451584 b49.qkv.w 19923333952 115605504 b49.qkv.s 20038939456 86016 b49.out.w 20039025472 38535168 b49.out.s 20077560640 21504 b49.fc1.w 20077582144 154140672 b49.fc1.s 20231722816 114688 b49.fc2.w 20231837504 77070336 b49.fc2.s 20308907840 21504 b49.nq 20308929344 256 b49.nk 20308929600 256 b49.mul1 20308929856 451584 b49.add1 20309381440 451584 b49.gate1 20309833024 451584 b49.mul2 20310284608 451584 b49.add2 20310736192 451584 b49.gate2 20311187776 451584