Eliovp's picture
Add files using upload-large-folder tool
efc8ac1 verified
Raw History Blame Contribute Delete
23.2 kB
ctx.w 0 110100480
ctx.b 110100480 21504
pin.w 110121984 2064384
pin.b 112186368 21504
head.w 112207872 12386304
head.b 124594176 2304
out.mul 124596480 150528
out.add 124747008 150528
rfin.mul 124897536 21504
sigmas 124919040 28
r0.qkv.w 124919104 115605504
r0.qkv.s 240524608 86016
r0.out.w 240610624 38535168
r0.out.s 279145792 21504
r0.fc1.w 279167296 154140672
r0.fc1.s 433307968 114688
r0.fc2.w 433422656 77070336
r0.fc2.s 510492992 21504
r0.nq 510514496 256
r0.nk 510514752 256
r0.mul1 510515008 21504
r0.add1 510536512 21504
r0.gate1 510558016 21504
r0.mul2 510579520 21504
r0.add2 510601024 21504
r0.gate2 510622528 21504
r1.qkv.w 510644032 115605504
r1.qkv.s 626249536 86016
r1.out.w 626335552 38535168
r1.out.s 664870720 21504
r1.fc1.w 664892224 154140672
r1.fc1.s 819032896 114688
r1.fc2.w 819147584 77070336
r1.fc2.s 896217920 21504
r1.nq 896239424 256
r1.nk 896239680 256
r1.mul1 896239936 21504
r1.add1 896261440 21504
r1.gate1 896282944 21504
r1.mul2 896304448 21504
r1.add2 896325952 21504
r1.gate2 896347456 21504
b0.qkv.w 896368960 115605504
b0.qkv.s 1011974464 86016
b0.out.w 1012060480 38535168
b0.out.s 1050595648 21504
b0.fc1.w 1050617152 154140672
b0.fc1.s 1204757824 114688
b0.fc2.w 1204872512 77070336
b0.fc2.s 1281942848 21504
b0.nq 1281964352 256
b0.nk 1281964608 256
b0.mul1 1281964864 451584
b0.add1 1282416448 451584
b0.gate1 1282868032 451584
b0.mul2 1283319616 451584
b0.add2 1283771200 451584
b0.gate2 1284222784 451584
b1.qkv.w 1284674368 115605504
b1.qkv.s 1400279872 86016
b1.out.w 1400365888 38535168
b1.out.s 1438901056 21504
b1.fc1.w 1438922560 154140672
b1.fc1.s 1593063232 114688
b1.fc2.w 1593177920 77070336
b1.fc2.s 1670248256 21504
b1.nq 1670269760 256
b1.nk 1670270016 256
b1.mul1 1670270272 451584
b1.add1 1670721856 451584
b1.gate1 1671173440 451584
b1.mul2 1671625024 451584
b1.add2 1672076608 451584
b1.gate2 1672528192 451584
b2.qkv.w 1672979776 115605504
b2.qkv.s 1788585280 86016
b2.out.w 1788671296 38535168
b2.out.s 1827206464 21504
b2.fc1.w 1827227968 154140672
b2.fc1.s 1981368640 114688
b2.fc2.w 1981483328 77070336
b2.fc2.s 2058553664 21504
b2.nq 2058575168 256
b2.nk 2058575424 256
b2.mul1 2058575680 451584
b2.add1 2059027264 451584
b2.gate1 2059478848 451584
b2.mul2 2059930432 451584
b2.add2 2060382016 451584
b2.gate2 2060833600 451584
b3.qkv.w 2061285184 115605504
b3.qkv.s 2176890688 86016
b3.out.w 2176976704 38535168
b3.out.s 2215511872 21504
b3.fc1.w 2215533376 154140672
b3.fc1.s 2369674048 114688
b3.fc2.w 2369788736 77070336
b3.fc2.s 2446859072 21504
b3.nq 2446880576 256
b3.nk 2446880832 256
b3.mul1 2446881088 451584
b3.add1 2447332672 451584
b3.gate1 2447784256 451584
b3.mul2 2448235840 451584
b3.add2 2448687424 451584
b3.gate2 2449139008 451584
b4.qkv.w 2449590592 115605504
b4.qkv.s 2565196096 86016
b4.out.w 2565282112 38535168
b4.out.s 2603817280 21504
b4.fc1.w 2603838784 154140672
b4.fc1.s 2757979456 114688
b4.fc2.w 2758094144 77070336
b4.fc2.s 2835164480 21504
b4.nq 2835185984 256
b4.nk 2835186240 256
b4.mul1 2835186496 451584
b4.add1 2835638080 451584
b4.gate1 2836089664 451584
b4.mul2 2836541248 451584
b4.add2 2836992832 451584
b4.gate2 2837444416 451584
b5.qkv.w 2837896000 115605504
b5.qkv.s 2953501504 86016
b5.out.w 2953587520 38535168
b5.out.s 2992122688 21504
b5.fc1.w 2992144192 154140672
b5.fc1.s 3146284864 114688
b5.fc2.w 3146399552 77070336
b5.fc2.s 3223469888 21504
b5.nq 3223491392 256
b5.nk 3223491648 256
b5.mul1 3223491904 451584
b5.add1 3223943488 451584
b5.gate1 3224395072 451584
b5.mul2 3224846656 451584
b5.add2 3225298240 451584
b5.gate2 3225749824 451584
b6.qkv.w 3226201408 115605504
b6.qkv.s 3341806912 86016
b6.out.w 3341892928 38535168
b6.out.s 3380428096 21504
b6.fc1.w 3380449600 154140672
b6.fc1.s 3534590272 114688
b6.fc2.w 3534704960 77070336
b6.fc2.s 3611775296 21504
b6.nq 3611796800 256
b6.nk 3611797056 256
b6.mul1 3611797312 451584
b6.add1 3612248896 451584
b6.gate1 3612700480 451584
b6.mul2 3613152064 451584
b6.add2 3613603648 451584
b6.gate2 3614055232 451584
b7.qkv.w 3614506816 115605504
b7.qkv.s 3730112320 86016
b7.out.w 3730198336 38535168
b7.out.s 3768733504 21504
b7.fc1.w 3768755008 154140672
b7.fc1.s 3922895680 114688
b7.fc2.w 3923010368 77070336
b7.fc2.s 4000080704 21504
b7.nq 4000102208 256
b7.nk 4000102464 256
b7.mul1 4000102720 451584
b7.add1 4000554304 451584
b7.gate1 4001005888 451584
b7.mul2 4001457472 451584
b7.add2 4001909056 451584
b7.gate2 4002360640 451584
b8.qkv.w 4002812224 115605504
b8.qkv.s 4118417728 86016
b8.out.w 4118503744 38535168
b8.out.s 4157038912 21504
b8.fc1.w 4157060416 154140672
b8.fc1.s 4311201088 114688
b8.fc2.w 4311315776 77070336
b8.fc2.s 4388386112 21504
b8.nq 4388407616 256
b8.nk 4388407872 256
b8.mul1 4388408128 451584
b8.add1 4388859712 451584
b8.gate1 4389311296 451584
b8.mul2 4389762880 451584
b8.add2 4390214464 451584
b8.gate2 4390666048 451584
b9.qkv.w 4391117632 115605504
b9.qkv.s 4506723136 86016
b9.out.w 4506809152 38535168
b9.out.s 4545344320 21504
b9.fc1.w 4545365824 154140672
b9.fc1.s 4699506496 114688
b9.fc2.w 4699621184 77070336
b9.fc2.s 4776691520 21504
b9.nq 4776713024 256
b9.nk 4776713280 256
b9.mul1 4776713536 451584
b9.add1 4777165120 451584
b9.gate1 4777616704 451584
b9.mul2 4778068288 451584
b9.add2 4778519872 451584
b9.gate2 4778971456 451584
b10.qkv.w 4779423040 115605504
b10.qkv.s 4895028544 86016
b10.out.w 4895114560 38535168
b10.out.s 4933649728 21504
b10.fc1.w 4933671232 154140672
b10.fc1.s 5087811904 114688
b10.fc2.w 5087926592 77070336
b10.fc2.s 5164996928 21504
b10.nq 5165018432 256
b10.nk 5165018688 256
b10.mul1 5165018944 451584
b10.add1 5165470528 451584
b10.gate1 5165922112 451584
b10.mul2 5166373696 451584
b10.add2 5166825280 451584
b10.gate2 5167276864 451584
b11.qkv.w 5167728448 115605504
b11.qkv.s 5283333952 86016
b11.out.w 5283419968 38535168
b11.out.s 5321955136 21504
b11.fc1.w 5321976640 154140672
b11.fc1.s 5476117312 114688
b11.fc2.w 5476232000 77070336
b11.fc2.s 5553302336 21504
b11.nq 5553323840 256
b11.nk 5553324096 256
b11.mul1 5553324352 451584
b11.add1 5553775936 451584
b11.gate1 5554227520 451584
b11.mul2 5554679104 451584
b11.add2 5555130688 451584
b11.gate2 5555582272 451584
b12.qkv.w 5556033856 115605504
b12.qkv.s 5671639360 86016
b12.out.w 5671725376 38535168
b12.out.s 5710260544 21504
b12.fc1.w 5710282048 154140672
b12.fc1.s 5864422720 114688
b12.fc2.w 5864537408 77070336
b12.fc2.s 5941607744 21504
b12.nq 5941629248 256
b12.nk 5941629504 256
b12.mul1 5941629760 451584
b12.add1 5942081344 451584
b12.gate1 5942532928 451584
b12.mul2 5942984512 451584
b12.add2 5943436096 451584
b12.gate2 5943887680 451584
b13.qkv.w 5944339264 115605504
b13.qkv.s 6059944768 86016
b13.out.w 6060030784 38535168
b13.out.s 6098565952 21504
b13.fc1.w 6098587456 154140672
b13.fc1.s 6252728128 114688
b13.fc2.w 6252842816 77070336
b13.fc2.s 6329913152 21504
b13.nq 6329934656 256
b13.nk 6329934912 256
b13.mul1 6329935168 451584
b13.add1 6330386752 451584
b13.gate1 6330838336 451584
b13.mul2 6331289920 451584
b13.add2 6331741504 451584
b13.gate2 6332193088 451584
b14.qkv.w 6332644672 115605504
b14.qkv.s 6448250176 86016
b14.out.w 6448336192 38535168
b14.out.s 6486871360 21504
b14.fc1.w 6486892864 154140672
b14.fc1.s 6641033536 114688
b14.fc2.w 6641148224 77070336
b14.fc2.s 6718218560 21504
b14.nq 6718240064 256
b14.nk 6718240320 256
b14.mul1 6718240576 451584
b14.add1 6718692160 451584
b14.gate1 6719143744 451584
b14.mul2 6719595328 451584
b14.add2 6720046912 451584
b14.gate2 6720498496 451584
b15.qkv.w 6720950080 115605504
b15.qkv.s 6836555584 86016
b15.out.w 6836641600 38535168
b15.out.s 6875176768 21504
b15.fc1.w 6875198272 154140672
b15.fc1.s 7029338944 114688
b15.fc2.w 7029453632 77070336
b15.fc2.s 7106523968 21504
b15.nq 7106545472 256
b15.nk 7106545728 256
b15.mul1 7106545984 451584
b15.add1 7106997568 451584
b15.gate1 7107449152 451584
b15.mul2 7107900736 451584
b15.add2 7108352320 451584
b15.gate2 7108803904 451584
b16.qkv.w 7109255488 115605504
b16.qkv.s 7224860992 86016
b16.out.w 7224947008 38535168
b16.out.s 7263482176 21504
b16.fc1.w 7263503680 154140672
b16.fc1.s 7417644352 114688
b16.fc2.w 7417759040 77070336
b16.fc2.s 7494829376 21504
b16.nq 7494850880 256
b16.nk 7494851136 256
b16.mul1 7494851392 451584
b16.add1 7495302976 451584
b16.gate1 7495754560 451584
b16.mul2 7496206144 451584
b16.add2 7496657728 451584
b16.gate2 7497109312 451584
b17.qkv.w 7497560896 115605504
b17.qkv.s 7613166400 86016
b17.out.w 7613252416 38535168
b17.out.s 7651787584 21504
b17.fc1.w 7651809088 154140672
b17.fc1.s 7805949760 114688
b17.fc2.w 7806064448 77070336
b17.fc2.s 7883134784 21504
b17.nq 7883156288 256
b17.nk 7883156544 256
b17.mul1 7883156800 451584
b17.add1 7883608384 451584
b17.gate1 7884059968 451584
b17.mul2 7884511552 451584
b17.add2 7884963136 451584
b17.gate2 7885414720 451584
b18.qkv.w 7885866304 115605504
b18.qkv.s 8001471808 86016
b18.out.w 8001557824 38535168
b18.out.s 8040092992 21504
b18.fc1.w 8040114496 154140672
b18.fc1.s 8194255168 114688
b18.fc2.w 8194369856 77070336
b18.fc2.s 8271440192 21504
b18.nq 8271461696 256
b18.nk 8271461952 256
b18.mul1 8271462208 451584
b18.add1 8271913792 451584
b18.gate1 8272365376 451584
b18.mul2 8272816960 451584
b18.add2 8273268544 451584
b18.gate2 8273720128 451584
b19.qkv.w 8274171712 115605504
b19.qkv.s 8389777216 86016
b19.out.w 8389863232 38535168
b19.out.s 8428398400 21504
b19.fc1.w 8428419904 154140672
b19.fc1.s 8582560576 114688
b19.fc2.w 8582675264 77070336
b19.fc2.s 8659745600 21504
b19.nq 8659767104 256
b19.nk 8659767360 256
b19.mul1 8659767616 451584
b19.add1 8660219200 451584
b19.gate1 8660670784 451584
b19.mul2 8661122368 451584
b19.add2 8661573952 451584
b19.gate2 8662025536 451584
b20.qkv.w 8662477120 115605504
b20.qkv.s 8778082624 86016
b20.out.w 8778168640 38535168
b20.out.s 8816703808 21504
b20.fc1.w 8816725312 154140672
b20.fc1.s 8970865984 114688
b20.fc2.w 8970980672 77070336
b20.fc2.s 9048051008 21504
b20.nq 9048072512 256
b20.nk 9048072768 256
b20.mul1 9048073024 451584
b20.add1 9048524608 451584
b20.gate1 9048976192 451584
b20.mul2 9049427776 451584
b20.add2 9049879360 451584
b20.gate2 9050330944 451584
b21.qkv.w 9050782528 115605504
b21.qkv.s 9166388032 86016
b21.out.w 9166474048 38535168
b21.out.s 9205009216 21504
b21.fc1.w 9205030720 154140672
b21.fc1.s 9359171392 114688
b21.fc2.w 9359286080 77070336
b21.fc2.s 9436356416 21504
b21.nq 9436377920 256
b21.nk 9436378176 256
b21.mul1 9436378432 451584
b21.add1 9436830016 451584
b21.gate1 9437281600 451584
b21.mul2 9437733184 451584
b21.add2 9438184768 451584
b21.gate2 9438636352 451584
b22.qkv.w 9439087936 115605504
b22.qkv.s 9554693440 86016
b22.out.w 9554779456 38535168
b22.out.s 9593314624 21504
b22.fc1.w 9593336128 154140672
b22.fc1.s 9747476800 114688
b22.fc2.w 9747591488 77070336
b22.fc2.s 9824661824 21504
b22.nq 9824683328 256
b22.nk 9824683584 256
b22.mul1 9824683840 451584
b22.add1 9825135424 451584
b22.gate1 9825587008 451584
b22.mul2 9826038592 451584
b22.add2 9826490176 451584
b22.gate2 9826941760 451584
b23.qkv.w 9827393344 115605504
b23.qkv.s 9942998848 86016
b23.out.w 9943084864 38535168
b23.out.s 9981620032 21504
b23.fc1.w 9981641536 154140672
b23.fc1.s 10135782208 114688
b23.fc2.w 10135896896 77070336
b23.fc2.s 10212967232 21504
b23.nq 10212988736 256
b23.nk 10212988992 256
b23.mul1 10212989248 451584
b23.add1 10213440832 451584
b23.gate1 10213892416 451584
b23.mul2 10214344000 451584
b23.add2 10214795584 451584
b23.gate2 10215247168 451584
b24.qkv.w 10215698752 115605504
b24.qkv.s 10331304256 86016
b24.out.w 10331390272 38535168
b24.out.s 10369925440 21504
b24.fc1.w 10369946944 154140672
b24.fc1.s 10524087616 114688
b24.fc2.w 10524202304 77070336
b24.fc2.s 10601272640 21504
b24.nq 10601294144 256
b24.nk 10601294400 256
b24.mul1 10601294656 451584
b24.add1 10601746240 451584
b24.gate1 10602197824 451584
b24.mul2 10602649408 451584
b24.add2 10603100992 451584
b24.gate2 10603552576 451584
b25.qkv.w 10604004160 115605504
b25.qkv.s 10719609664 86016
b25.out.w 10719695680 38535168
b25.out.s 10758230848 21504
b25.fc1.w 10758252352 154140672
b25.fc1.s 10912393024 114688
b25.fc2.w 10912507712 77070336
b25.fc2.s 10989578048 21504
b25.nq 10989599552 256
b25.nk 10989599808 256
b25.mul1 10989600064 451584
b25.add1 10990051648 451584
b25.gate1 10990503232 451584
b25.mul2 10990954816 451584
b25.add2 10991406400 451584
b25.gate2 10991857984 451584
b26.qkv.w 10992309568 115605504
b26.qkv.s 11107915072 86016
b26.out.w 11108001088 38535168
b26.out.s 11146536256 21504
b26.fc1.w 11146557760 154140672
b26.fc1.s 11300698432 114688
b26.fc2.w 11300813120 77070336
b26.fc2.s 11377883456 21504
b26.nq 11377904960 256
b26.nk 11377905216 256
b26.mul1 11377905472 451584
b26.add1 11378357056 451584
b26.gate1 11378808640 451584
b26.mul2 11379260224 451584
b26.add2 11379711808 451584
b26.gate2 11380163392 451584
b27.qkv.w 11380614976 115605504
b27.qkv.s 11496220480 86016
b27.out.w 11496306496 38535168
b27.out.s 11534841664 21504
b27.fc1.w 11534863168 154140672
b27.fc1.s 11689003840 114688
b27.fc2.w 11689118528 77070336
b27.fc2.s 11766188864 21504
b27.nq 11766210368 256
b27.nk 11766210624 256
b27.mul1 11766210880 451584
b27.add1 11766662464 451584
b27.gate1 11767114048 451584
b27.mul2 11767565632 451584
b27.add2 11768017216 451584
b27.gate2 11768468800 451584
b28.qkv.w 11768920384 115605504
b28.qkv.s 11884525888 86016
b28.out.w 11884611904 38535168
b28.out.s 11923147072 21504
b28.fc1.w 11923168576 154140672
b28.fc1.s 12077309248 114688
b28.fc2.w 12077423936 77070336
b28.fc2.s 12154494272 21504
b28.nq 12154515776 256
b28.nk 12154516032 256
b28.mul1 12154516288 451584
b28.add1 12154967872 451584
b28.gate1 12155419456 451584
b28.mul2 12155871040 451584
b28.add2 12156322624 451584
b28.gate2 12156774208 451584
b29.qkv.w 12157225792 115605504
b29.qkv.s 12272831296 86016
b29.out.w 12272917312 38535168
b29.out.s 12311452480 21504
b29.fc1.w 12311473984 154140672
b29.fc1.s 12465614656 114688
b29.fc2.w 12465729344 77070336
b29.fc2.s 12542799680 21504
b29.nq 12542821184 256
b29.nk 12542821440 256
b29.mul1 12542821696 451584
b29.add1 12543273280 451584
b29.gate1 12543724864 451584
b29.mul2 12544176448 451584
b29.add2 12544628032 451584
b29.gate2 12545079616 451584
b30.qkv.w 12545531200 115605504
b30.qkv.s 12661136704 86016
b30.out.w 12661222720 38535168
b30.out.s 12699757888 21504
b30.fc1.w 12699779392 154140672
b30.fc1.s 12853920064 114688
b30.fc2.w 12854034752 77070336
b30.fc2.s 12931105088 21504
b30.nq 12931126592 256
b30.nk 12931126848 256
b30.mul1 12931127104 451584
b30.add1 12931578688 451584
b30.gate1 12932030272 451584
b30.mul2 12932481856 451584
b30.add2 12932933440 451584
b30.gate2 12933385024 451584
b31.qkv.w 12933836608 115605504
b31.qkv.s 13049442112 86016
b31.out.w 13049528128 38535168
b31.out.s 13088063296 21504
b31.fc1.w 13088084800 154140672
b31.fc1.s 13242225472 114688
b31.fc2.w 13242340160 77070336
b31.fc2.s 13319410496 21504
b31.nq 13319432000 256
b31.nk 13319432256 256
b31.mul1 13319432512 451584
b31.add1 13319884096 451584
b31.gate1 13320335680 451584
b31.mul2 13320787264 451584
b31.add2 13321238848 451584
b31.gate2 13321690432 451584
b32.qkv.w 13322142016 115605504
b32.qkv.s 13437747520 86016
b32.out.w 13437833536 38535168
b32.out.s 13476368704 21504
b32.fc1.w 13476390208 154140672
b32.fc1.s 13630530880 114688
b32.fc2.w 13630645568 77070336
b32.fc2.s 13707715904 21504
b32.nq 13707737408 256
b32.nk 13707737664 256
b32.mul1 13707737920 451584
b32.add1 13708189504 451584
b32.gate1 13708641088 451584
b32.mul2 13709092672 451584
b32.add2 13709544256 451584
b32.gate2 13709995840 451584
b33.qkv.w 13710447424 115605504
b33.qkv.s 13826052928 86016
b33.out.w 13826138944 38535168
b33.out.s 13864674112 21504
b33.fc1.w 13864695616 154140672
b33.fc1.s 14018836288 114688
b33.fc2.w 14018950976 77070336
b33.fc2.s 14096021312 21504
b33.nq 14096042816 256
b33.nk 14096043072 256
b33.mul1 14096043328 451584
b33.add1 14096494912 451584
b33.gate1 14096946496 451584
b33.mul2 14097398080 451584
b33.add2 14097849664 451584
b33.gate2 14098301248 451584
b34.qkv.w 14098752832 115605504
b34.qkv.s 14214358336 86016
b34.out.w 14214444352 38535168
b34.out.s 14252979520 21504
b34.fc1.w 14253001024 154140672
b34.fc1.s 14407141696 114688
b34.fc2.w 14407256384 77070336
b34.fc2.s 14484326720 21504
b34.nq 14484348224 256
b34.nk 14484348480 256
b34.mul1 14484348736 451584
b34.add1 14484800320 451584
b34.gate1 14485251904 451584
b34.mul2 14485703488 451584
b34.add2 14486155072 451584
b34.gate2 14486606656 451584
b35.qkv.w 14487058240 115605504
b35.qkv.s 14602663744 86016
b35.out.w 14602749760 38535168
b35.out.s 14641284928 21504
b35.fc1.w 14641306432 154140672
b35.fc1.s 14795447104 114688
b35.fc2.w 14795561792 77070336
b35.fc2.s 14872632128 21504
b35.nq 14872653632 256
b35.nk 14872653888 256
b35.mul1 14872654144 451584
b35.add1 14873105728 451584
b35.gate1 14873557312 451584
b35.mul2 14874008896 451584
b35.add2 14874460480 451584
b35.gate2 14874912064 451584
b36.qkv.w 14875363648 115605504
b36.qkv.s 14990969152 86016
b36.out.w 14991055168 38535168
b36.out.s 15029590336 21504
b36.fc1.w 15029611840 154140672
b36.fc1.s 15183752512 114688
b36.fc2.w 15183867200 77070336
b36.fc2.s 15260937536 21504
b36.nq 15260959040 256
b36.nk 15260959296 256
b36.mul1 15260959552 451584
b36.add1 15261411136 451584
b36.gate1 15261862720 451584
b36.mul2 15262314304 451584
b36.add2 15262765888 451584
b36.gate2 15263217472 451584
b37.qkv.w 15263669056 115605504
b37.qkv.s 15379274560 86016
b37.out.w 15379360576 38535168
b37.out.s 15417895744 21504
b37.fc1.w 15417917248 154140672
b37.fc1.s 15572057920 114688
b37.fc2.w 15572172608 77070336
b37.fc2.s 15649242944 21504
b37.nq 15649264448 256
b37.nk 15649264704 256
b37.mul1 15649264960 451584
b37.add1 15649716544 451584
b37.gate1 15650168128 451584
b37.mul2 15650619712 451584
b37.add2 15651071296 451584
b37.gate2 15651522880 451584
b38.qkv.w 15651974464 115605504
b38.qkv.s 15767579968 86016
b38.out.w 15767665984 38535168
b38.out.s 15806201152 21504
b38.fc1.w 15806222656 154140672
b38.fc1.s 15960363328 114688
b38.fc2.w 15960478016 77070336
b38.fc2.s 16037548352 21504
b38.nq 16037569856 256
b38.nk 16037570112 256
b38.mul1 16037570368 451584
b38.add1 16038021952 451584
b38.gate1 16038473536 451584
b38.mul2 16038925120 451584
b38.add2 16039376704 451584
b38.gate2 16039828288 451584
b39.qkv.w 16040279872 115605504
b39.qkv.s 16155885376 86016
b39.out.w 16155971392 38535168
b39.out.s 16194506560 21504
b39.fc1.w 16194528064 154140672
b39.fc1.s 16348668736 114688
b39.fc2.w 16348783424 77070336
b39.fc2.s 16425853760 21504
b39.nq 16425875264 256
b39.nk 16425875520 256
b39.mul1 16425875776 451584
b39.add1 16426327360 451584
b39.gate1 16426778944 451584
b39.mul2 16427230528 451584
b39.add2 16427682112 451584
b39.gate2 16428133696 451584
b40.qkv.w 16428585280 115605504
b40.qkv.s 16544190784 86016
b40.out.w 16544276800 38535168
b40.out.s 16582811968 21504
b40.fc1.w 16582833472 154140672
b40.fc1.s 16736974144 114688
b40.fc2.w 16737088832 77070336
b40.fc2.s 16814159168 21504
b40.nq 16814180672 256
b40.nk 16814180928 256
b40.mul1 16814181184 451584
b40.add1 16814632768 451584
b40.gate1 16815084352 451584
b40.mul2 16815535936 451584
b40.add2 16815987520 451584
b40.gate2 16816439104 451584
b41.qkv.w 16816890688 115605504
b41.qkv.s 16932496192 86016
b41.out.w 16932582208 38535168
b41.out.s 16971117376 21504
b41.fc1.w 16971138880 154140672
b41.fc1.s 17125279552 114688
b41.fc2.w 17125394240 77070336
b41.fc2.s 17202464576 21504
b41.nq 17202486080 256
b41.nk 17202486336 256
b41.mul1 17202486592 451584
b41.add1 17202938176 451584
b41.gate1 17203389760 451584
b41.mul2 17203841344 451584
b41.add2 17204292928 451584
b41.gate2 17204744512 451584
b42.qkv.w 17205196096 115605504
b42.qkv.s 17320801600 86016
b42.out.w 17320887616 38535168
b42.out.s 17359422784 21504
b42.fc1.w 17359444288 154140672
b42.fc1.s 17513584960 114688
b42.fc2.w 17513699648 77070336
b42.fc2.s 17590769984 21504
b42.nq 17590791488 256
b42.nk 17590791744 256
b42.mul1 17590792000 451584
b42.add1 17591243584 451584
b42.gate1 17591695168 451584
b42.mul2 17592146752 451584
b42.add2 17592598336 451584
b42.gate2 17593049920 451584
b43.qkv.w 17593501504 115605504
b43.qkv.s 17709107008 86016
b43.out.w 17709193024 38535168
b43.out.s 17747728192 21504
b43.fc1.w 17747749696 154140672
b43.fc1.s 17901890368 114688
b43.fc2.w 17902005056 77070336
b43.fc2.s 17979075392 21504
b43.nq 17979096896 256
b43.nk 17979097152 256
b43.mul1 17979097408 451584
b43.add1 17979548992 451584
b43.gate1 17980000576 451584
b43.mul2 17980452160 451584
b43.add2 17980903744 451584
b43.gate2 17981355328 451584
b44.qkv.w 17981806912 115605504
b44.qkv.s 18097412416 86016
b44.out.w 18097498432 38535168
b44.out.s 18136033600 21504
b44.fc1.w 18136055104 154140672
b44.fc1.s 18290195776 114688
b44.fc2.w 18290310464 77070336
b44.fc2.s 18367380800 21504
b44.nq 18367402304 256
b44.nk 18367402560 256
b44.mul1 18367402816 451584
b44.add1 18367854400 451584
b44.gate1 18368305984 451584
b44.mul2 18368757568 451584
b44.add2 18369209152 451584
b44.gate2 18369660736 451584
b45.qkv.w 18370112320 115605504
b45.qkv.s 18485717824 86016
b45.out.w 18485803840 38535168
b45.out.s 18524339008 21504
b45.fc1.w 18524360512 154140672
b45.fc1.s 18678501184 114688
b45.fc2.w 18678615872 77070336
b45.fc2.s 18755686208 21504
b45.nq 18755707712 256
b45.nk 18755707968 256
b45.mul1 18755708224 451584
b45.add1 18756159808 451584
b45.gate1 18756611392 451584
b45.mul2 18757062976 451584
b45.add2 18757514560 451584
b45.gate2 18757966144 451584
b46.qkv.w 18758417728 115605504
b46.qkv.s 18874023232 86016
b46.out.w 18874109248 38535168
b46.out.s 18912644416 21504
b46.fc1.w 18912665920 154140672
b46.fc1.s 19066806592 114688
b46.fc2.w 19066921280 77070336
b46.fc2.s 19143991616 21504
b46.nq 19144013120 256
b46.nk 19144013376 256
b46.mul1 19144013632 451584
b46.add1 19144465216 451584
b46.gate1 19144916800 451584
b46.mul2 19145368384 451584
b46.add2 19145819968 451584
b46.gate2 19146271552 451584
b47.qkv.w 19146723136 115605504
b47.qkv.s 19262328640 86016
b47.out.w 19262414656 38535168
b47.out.s 19300949824 21504
b47.fc1.w 19300971328 154140672
b47.fc1.s 19455112000 114688
b47.fc2.w 19455226688 77070336
b47.fc2.s 19532297024 21504
b47.nq 19532318528 256
b47.nk 19532318784 256
b47.mul1 19532319040 451584
b47.add1 19532770624 451584
b47.gate1 19533222208 451584
b47.mul2 19533673792 451584
b47.add2 19534125376 451584
b47.gate2 19534576960 451584
b48.qkv.w 19535028544 115605504
b48.qkv.s 19650634048 86016
b48.out.w 19650720064 38535168
b48.out.s 19689255232 21504
b48.fc1.w 19689276736 154140672
b48.fc1.s 19843417408 114688
b48.fc2.w 19843532096 77070336
b48.fc2.s 19920602432 21504
b48.nq 19920623936 256
b48.nk 19920624192 256
b48.mul1 19920624448 451584
b48.add1 19921076032 451584
b48.gate1 19921527616 451584
b48.mul2 19921979200 451584
b48.add2 19922430784 451584
b48.gate2 19922882368 451584
b49.qkv.w 19923333952 115605504
b49.qkv.s 20038939456 86016
b49.out.w 20039025472 38535168
b49.out.s 20077560640 21504
b49.fc1.w 20077582144 154140672
b49.fc1.s 20231722816 114688
b49.fc2.w 20231837504 77070336
b49.fc2.s 20308907840 21504
b49.nq 20308929344 256
b49.nk 20308929600 256
b49.mul1 20308929856 451584
b49.add1 20309381440 451584
b49.gate1 20309833024 451584
b49.mul2 20310284608 451584
b49.add2 20310736192 451584
b49.gate2 20311187776 451584