Add cpu-amx: torch-free C++/AMX engines (T5Gemma bf16, medium DiT int8, SAME-S/L bf16+int8 decoders, SAME-S/L encoders) + weight blobs + README
dec2054 verified | running_std f32 0 1 1 | |
| project_in.q i8 4 393216 256 1536 | |
| project_in.scale f32 393220 1536 1536 | |
| project_in.b f32 399364 1536 1536 | |
| new_tokens f32 405508 1536 1536 | |
| b0.pre.alpha f32 411652 1 1 | |
| b0.pre.gamma f32 411656 1536 1536 | |
| b0.pre.beta f32 417800 1536 1536 | |
| b0.qkv.q i8 423944 11796480 1536 7680 | |
| b0.qkv.scale f32 12220424 7680 7680 | |
| b0.qn.alpha f32 12251144 1 1 | |
| b0.qn.gamma f32 12251148 64 64 | |
| b0.qn.beta f32 12251404 64 64 | |
| b0.kn.alpha f32 12251660 1 1 | |
| b0.kn.gamma f32 12251664 64 64 | |
| b0.kn.beta f32 12251920 64 64 | |
| b0.out.q i8 12252176 2359296 1536 1536 | |
| b0.out.scale f32 14611472 1536 1536 | |
| b0.ff.alpha f32 14617616 1 1 | |
| b0.ff.gamma f32 14617620 1536 1536 | |
| b0.ff.beta f32 14623764 1536 1536 | |
| b0.glu.q i8 14629908 14155776 1536 9216 | |
| b0.glu.scale f32 28785684 9216 9216 | |
| b0.glu.b f32 28822548 9216 9216 | |
| b0.proj.q i8 28859412 7077888 4608 1536 | |
| b0.proj.scale f32 35937300 1536 1536 | |
| b0.proj.b f32 35943444 1536 1536 | |
| b1.pre.alpha f32 35949588 1 1 | |
| b1.pre.gamma f32 35949592 1536 1536 | |
| b1.pre.beta f32 35955736 1536 1536 | |
| b1.qkv.q i8 35961880 11796480 1536 7680 | |
| b1.qkv.scale f32 47758360 7680 7680 | |
| b1.qn.alpha f32 47789080 1 1 | |
| b1.qn.gamma f32 47789084 64 64 | |
| b1.qn.beta f32 47789340 64 64 | |
| b1.kn.alpha f32 47789596 1 1 | |
| b1.kn.gamma f32 47789600 64 64 | |
| b1.kn.beta f32 47789856 64 64 | |
| b1.out.q i8 47790112 2359296 1536 1536 | |
| b1.out.scale f32 50149408 1536 1536 | |
| b1.ff.alpha f32 50155552 1 1 | |
| b1.ff.gamma f32 50155556 1536 1536 | |
| b1.ff.beta f32 50161700 1536 1536 | |
| b1.glu.q i8 50167844 14155776 1536 9216 | |
| b1.glu.scale f32 64323620 9216 9216 | |
| b1.glu.b f32 64360484 9216 9216 | |
| b1.proj.q i8 64397348 7077888 4608 1536 | |
| b1.proj.scale f32 71475236 1536 1536 | |
| b1.proj.b f32 71481380 1536 1536 | |
| b2.pre.alpha f32 71487524 1 1 | |
| b2.pre.gamma f32 71487528 1536 1536 | |
| b2.pre.beta f32 71493672 1536 1536 | |
| b2.qkv.q i8 71499816 11796480 1536 7680 | |
| b2.qkv.scale f32 83296296 7680 7680 | |
| b2.qn.alpha f32 83327016 1 1 | |
| b2.qn.gamma f32 83327020 64 64 | |
| b2.qn.beta f32 83327276 64 64 | |
| b2.kn.alpha f32 83327532 1 1 | |
| b2.kn.gamma f32 83327536 64 64 | |
| b2.kn.beta f32 83327792 64 64 | |
| b2.out.q i8 83328048 2359296 1536 1536 | |
| b2.out.scale f32 85687344 1536 1536 | |
| b2.ff.alpha f32 85693488 1 1 | |
| b2.ff.gamma f32 85693492 1536 1536 | |
| b2.ff.beta f32 85699636 1536 1536 | |
| b2.glu.q i8 85705780 14155776 1536 9216 | |
| b2.glu.scale f32 99861556 9216 9216 | |
| b2.glu.b f32 99898420 9216 9216 | |
| b2.proj.q i8 99935284 7077888 4608 1536 | |
| b2.proj.scale f32 107013172 1536 1536 | |
| b2.proj.b f32 107019316 1536 1536 | |
| b3.pre.alpha f32 107025460 1 1 | |
| b3.pre.gamma f32 107025464 1536 1536 | |
| b3.pre.beta f32 107031608 1536 1536 | |
| b3.qkv.q i8 107037752 11796480 1536 7680 | |
| b3.qkv.scale f32 118834232 7680 7680 | |
| b3.qn.alpha f32 118864952 1 1 | |
| b3.qn.gamma f32 118864956 64 64 | |
| b3.qn.beta f32 118865212 64 64 | |
| b3.kn.alpha f32 118865468 1 1 | |
| b3.kn.gamma f32 118865472 64 64 | |
| b3.kn.beta f32 118865728 64 64 | |
| b3.out.q i8 118865984 2359296 1536 1536 | |
| b3.out.scale f32 121225280 1536 1536 | |
| b3.ff.alpha f32 121231424 1 1 | |
| b3.ff.gamma f32 121231428 1536 1536 | |
| b3.ff.beta f32 121237572 1536 1536 | |
| b3.glu.q i8 121243716 14155776 1536 9216 | |
| b3.glu.scale f32 135399492 9216 9216 | |
| b3.glu.b f32 135436356 9216 9216 | |
| b3.proj.q i8 135473220 7077888 4608 1536 | |
| b3.proj.scale f32 142551108 1536 1536 | |
| b3.proj.b f32 142557252 1536 1536 | |
| b4.pre.alpha f32 142563396 1 1 | |
| b4.pre.gamma f32 142563400 1536 1536 | |
| b4.pre.beta f32 142569544 1536 1536 | |
| b4.qkv.q i8 142575688 11796480 1536 7680 | |
| b4.qkv.scale f32 154372168 7680 7680 | |
| b4.qn.alpha f32 154402888 1 1 | |
| b4.qn.gamma f32 154402892 64 64 | |
| b4.qn.beta f32 154403148 64 64 | |
| b4.kn.alpha f32 154403404 1 1 | |
| b4.kn.gamma f32 154403408 64 64 | |
| b4.kn.beta f32 154403664 64 64 | |
| b4.out.q i8 154403920 2359296 1536 1536 | |
| b4.out.scale f32 156763216 1536 1536 | |
| b4.ff.alpha f32 156769360 1 1 | |
| b4.ff.gamma f32 156769364 1536 1536 | |
| b4.ff.beta f32 156775508 1536 1536 | |
| b4.glu.q i8 156781652 14155776 1536 9216 | |
| b4.glu.scale f32 170937428 9216 9216 | |
| b4.glu.b f32 170974292 9216 9216 | |
| b4.proj.q i8 171011156 7077888 4608 1536 | |
| b4.proj.scale f32 178089044 1536 1536 | |
| b4.proj.b f32 178095188 1536 1536 | |
| b5.pre.alpha f32 178101332 1 1 | |
| b5.pre.gamma f32 178101336 1536 1536 | |
| b5.pre.beta f32 178107480 1536 1536 | |
| b5.qkv.q i8 178113624 11796480 1536 7680 | |
| b5.qkv.scale f32 189910104 7680 7680 | |
| b5.qn.alpha f32 189940824 1 1 | |
| b5.qn.gamma f32 189940828 64 64 | |
| b5.qn.beta f32 189941084 64 64 | |
| b5.kn.alpha f32 189941340 1 1 | |
| b5.kn.gamma f32 189941344 64 64 | |
| b5.kn.beta f32 189941600 64 64 | |
| b5.out.q i8 189941856 2359296 1536 1536 | |
| b5.out.scale f32 192301152 1536 1536 | |
| b5.ff.alpha f32 192307296 1 1 | |
| b5.ff.gamma f32 192307300 1536 1536 | |
| b5.ff.beta f32 192313444 1536 1536 | |
| b5.glu.q i8 192319588 14155776 1536 9216 | |
| b5.glu.scale f32 206475364 9216 9216 | |
| b5.glu.b f32 206512228 9216 9216 | |
| b5.proj.q i8 206549092 7077888 4608 1536 | |
| b5.proj.scale f32 213626980 1536 1536 | |
| b5.proj.b f32 213633124 1536 1536 | |
| b6.pre.alpha f32 213639268 1 1 | |
| b6.pre.gamma f32 213639272 1536 1536 | |
| b6.pre.beta f32 213645416 1536 1536 | |
| b6.qkv.q i8 213651560 11796480 1536 7680 | |
| b6.qkv.scale f32 225448040 7680 7680 | |
| b6.qn.alpha f32 225478760 1 1 | |
| b6.qn.gamma f32 225478764 64 64 | |
| b6.qn.beta f32 225479020 64 64 | |
| b6.kn.alpha f32 225479276 1 1 | |
| b6.kn.gamma f32 225479280 64 64 | |
| b6.kn.beta f32 225479536 64 64 | |
| b6.out.q i8 225479792 2359296 1536 1536 | |
| b6.out.scale f32 227839088 1536 1536 | |
| b6.ff.alpha f32 227845232 1 1 | |
| b6.ff.gamma f32 227845236 1536 1536 | |
| b6.ff.beta f32 227851380 1536 1536 | |
| b6.glu.q i8 227857524 14155776 1536 9216 | |
| b6.glu.scale f32 242013300 9216 9216 | |
| b6.glu.b f32 242050164 9216 9216 | |
| b6.proj.q i8 242087028 7077888 4608 1536 | |
| b6.proj.scale f32 249164916 1536 1536 | |
| b6.proj.b f32 249171060 1536 1536 | |
| b7.pre.alpha f32 249177204 1 1 | |
| b7.pre.gamma f32 249177208 1536 1536 | |
| b7.pre.beta f32 249183352 1536 1536 | |
| b7.qkv.q i8 249189496 11796480 1536 7680 | |
| b7.qkv.scale f32 260985976 7680 7680 | |
| b7.qn.alpha f32 261016696 1 1 | |
| b7.qn.gamma f32 261016700 64 64 | |
| b7.qn.beta f32 261016956 64 64 | |
| b7.kn.alpha f32 261017212 1 1 | |
| b7.kn.gamma f32 261017216 64 64 | |
| b7.kn.beta f32 261017472 64 64 | |
| b7.out.q i8 261017728 2359296 1536 1536 | |
| b7.out.scale f32 263377024 1536 1536 | |
| b7.ff.alpha f32 263383168 1 1 | |
| b7.ff.gamma f32 263383172 1536 1536 | |
| b7.ff.beta f32 263389316 1536 1536 | |
| b7.glu.q i8 263395460 14155776 1536 9216 | |
| b7.glu.scale f32 277551236 9216 9216 | |
| b7.glu.b f32 277588100 9216 9216 | |
| b7.proj.q i8 277624964 7077888 4608 1536 | |
| b7.proj.scale f32 284702852 1536 1536 | |
| b7.proj.b f32 284708996 1536 1536 | |
| b8.pre.alpha f32 284715140 1 1 | |
| b8.pre.gamma f32 284715144 1536 1536 | |
| b8.pre.beta f32 284721288 1536 1536 | |
| b8.qkv.q i8 284727432 11796480 1536 7680 | |
| b8.qkv.scale f32 296523912 7680 7680 | |
| b8.qn.alpha f32 296554632 1 1 | |
| b8.qn.gamma f32 296554636 64 64 | |
| b8.qn.beta f32 296554892 64 64 | |
| b8.kn.alpha f32 296555148 1 1 | |
| b8.kn.gamma f32 296555152 64 64 | |
| b8.kn.beta f32 296555408 64 64 | |
| b8.out.q i8 296555664 2359296 1536 1536 | |
| b8.out.scale f32 298914960 1536 1536 | |
| b8.ff.alpha f32 298921104 1 1 | |
| b8.ff.gamma f32 298921108 1536 1536 | |
| b8.ff.beta f32 298927252 1536 1536 | |
| b8.glu.q i8 298933396 14155776 1536 9216 | |
| b8.glu.scale f32 313089172 9216 9216 | |
| b8.glu.b f32 313126036 9216 9216 | |
| b8.proj.q i8 313162900 7077888 4608 1536 | |
| b8.proj.scale f32 320240788 1536 1536 | |
| b8.proj.b f32 320246932 1536 1536 | |
| b9.pre.alpha f32 320253076 1 1 | |
| b9.pre.gamma f32 320253080 1536 1536 | |
| b9.pre.beta f32 320259224 1536 1536 | |
| b9.qkv.q i8 320265368 11796480 1536 7680 | |
| b9.qkv.scale f32 332061848 7680 7680 | |
| b9.qn.alpha f32 332092568 1 1 | |
| b9.qn.gamma f32 332092572 64 64 | |
| b9.qn.beta f32 332092828 64 64 | |
| b9.kn.alpha f32 332093084 1 1 | |
| b9.kn.gamma f32 332093088 64 64 | |
| b9.kn.beta f32 332093344 64 64 | |
| b9.out.q i8 332093600 2359296 1536 1536 | |
| b9.out.scale f32 334452896 1536 1536 | |
| b9.ff.alpha f32 334459040 1 1 | |
| b9.ff.gamma f32 334459044 1536 1536 | |
| b9.ff.beta f32 334465188 1536 1536 | |
| b9.glu.q i8 334471332 14155776 1536 9216 | |
| b9.glu.scale f32 348627108 9216 9216 | |
| b9.glu.b f32 348663972 9216 9216 | |
| b9.proj.q i8 348700836 7077888 4608 1536 | |
| b9.proj.scale f32 355778724 1536 1536 | |
| b9.proj.b f32 355784868 1536 1536 | |
| b10.pre.alpha f32 355791012 1 1 | |
| b10.pre.gamma f32 355791016 1536 1536 | |
| b10.pre.beta f32 355797160 1536 1536 | |
| b10.qkv.q i8 355803304 11796480 1536 7680 | |
| b10.qkv.scale f32 367599784 7680 7680 | |
| b10.qn.alpha f32 367630504 1 1 | |
| b10.qn.gamma f32 367630508 64 64 | |
| b10.qn.beta f32 367630764 64 64 | |
| b10.kn.alpha f32 367631020 1 1 | |
| b10.kn.gamma f32 367631024 64 64 | |
| b10.kn.beta f32 367631280 64 64 | |
| b10.out.q i8 367631536 2359296 1536 1536 | |
| b10.out.scale f32 369990832 1536 1536 | |
| b10.ff.alpha f32 369996976 1 1 | |
| b10.ff.gamma f32 369996980 1536 1536 | |
| b10.ff.beta f32 370003124 1536 1536 | |
| b10.glu.q i8 370009268 14155776 1536 9216 | |
| b10.glu.scale f32 384165044 9216 9216 | |
| b10.glu.b f32 384201908 9216 9216 | |
| b10.proj.q i8 384238772 7077888 4608 1536 | |
| b10.proj.scale f32 391316660 1536 1536 | |
| b10.proj.b f32 391322804 1536 1536 | |
| b11.pre.alpha f32 391328948 1 1 | |
| b11.pre.gamma f32 391328952 1536 1536 | |
| b11.pre.beta f32 391335096 1536 1536 | |
| b11.qkv.q i8 391341240 11796480 1536 7680 | |
| b11.qkv.scale f32 403137720 7680 7680 | |
| b11.qn.alpha f32 403168440 1 1 | |
| b11.qn.gamma f32 403168444 64 64 | |
| b11.qn.beta f32 403168700 64 64 | |
| b11.kn.alpha f32 403168956 1 1 | |
| b11.kn.gamma f32 403168960 64 64 | |
| b11.kn.beta f32 403169216 64 64 | |
| b11.out.q i8 403169472 2359296 1536 1536 | |
| b11.out.scale f32 405528768 1536 1536 | |
| b11.ff.alpha f32 405534912 1 1 | |
| b11.ff.gamma f32 405534916 1536 1536 | |
| b11.ff.beta f32 405541060 1536 1536 | |
| b11.glu.q i8 405547204 14155776 1536 9216 | |
| b11.glu.scale f32 419702980 9216 9216 | |
| b11.glu.b f32 419739844 9216 9216 | |
| b11.proj.q i8 419776708 7077888 4608 1536 | |
| b11.proj.scale f32 426854596 1536 1536 | |
| b11.proj.b f32 426860740 1536 1536 | |
| map.q i8 426866884 786432 1536 512 | |
| map.scale f32 427653316 512 512 | |
| map.b f32 427655364 512 512 | |