cpu-amx/same_s_decoder_int8_weights_manifest.txt

running_std f32 0 1 1
project_in.q i8 4 196608 256 768
project_in.scale f32 196612 768 768
project_in.b f32 199684 768 768
new_tokens f32 202756 768 768
b0.pre.alpha f32 205828 1 1
b0.pre.gamma f32 205832 768 768
b0.pre.beta f32 208904 768 768
b0.qkv.q i8 211976 2949120 768 3840
b0.qkv.scale f32 3161096 3840 3840
b0.qn.alpha f32 3176456 1 1
b0.qn.gamma f32 3176460 64 64
b0.qn.beta f32 3176716 64 64
b0.kn.alpha f32 3176972 1 1
b0.kn.gamma f32 3176976 64 64
b0.kn.beta f32 3177232 64 64
b0.out.q i8 3177488 589824 768 768
b0.out.scale f32 3767312 768 768
b0.ff.alpha f32 3770384 1 1
b0.ff.gamma f32 3770388 768 768
b0.ff.beta f32 3773460 768 768
b0.glu.q i8 3776532 3538944 768 4608
b0.glu.scale f32 7315476 4608 4608
b0.glu.b f32 7333908 4608 4608
b0.proj.q i8 7352340 1769472 2304 768
b0.proj.scale f32 9121812 768 768
b0.proj.b f32 9124884 768 768
b1.pre.alpha f32 9127956 1 1
b1.pre.gamma f32 9127960 768 768
b1.pre.beta f32 9131032 768 768
b1.qkv.q i8 9134104 2949120 768 3840
b1.qkv.scale f32 12083224 3840 3840
b1.qn.alpha f32 12098584 1 1
b1.qn.gamma f32 12098588 64 64
b1.qn.beta f32 12098844 64 64
b1.kn.alpha f32 12099100 1 1
b1.kn.gamma f32 12099104 64 64
b1.kn.beta f32 12099360 64 64
b1.out.q i8 12099616 589824 768 768
b1.out.scale f32 12689440 768 768
b1.ff.alpha f32 12692512 1 1
b1.ff.gamma f32 12692516 768 768
b1.ff.beta f32 12695588 768 768
b1.glu.q i8 12698660 3538944 768 4608
b1.glu.scale f32 16237604 4608 4608
b1.glu.b f32 16256036 4608 4608
b1.proj.q i8 16274468 1769472 2304 768
b1.proj.scale f32 18043940 768 768
b1.proj.b f32 18047012 768 768
b2.pre.alpha f32 18050084 1 1
b2.pre.gamma f32 18050088 768 768
b2.pre.beta f32 18053160 768 768
b2.qkv.q i8 18056232 2949120 768 3840
b2.qkv.scale f32 21005352 3840 3840
b2.qn.alpha f32 21020712 1 1
b2.qn.gamma f32 21020716 64 64
b2.qn.beta f32 21020972 64 64
b2.kn.alpha f32 21021228 1 1
b2.kn.gamma f32 21021232 64 64
b2.kn.beta f32 21021488 64 64
b2.out.q i8 21021744 589824 768 768
b2.out.scale f32 21611568 768 768
b2.ff.alpha f32 21614640 1 1
b2.ff.gamma f32 21614644 768 768
b2.ff.beta f32 21617716 768 768
b2.glu.q i8 21620788 3538944 768 4608
b2.glu.scale f32 25159732 4608 4608
b2.glu.b f32 25178164 4608 4608
b2.proj.q i8 25196596 1769472 2304 768
b2.proj.scale f32 26966068 768 768
b2.proj.b f32 26969140 768 768
b3.pre.alpha f32 26972212 1 1
b3.pre.gamma f32 26972216 768 768
b3.pre.beta f32 26975288 768 768
b3.qkv.q i8 26978360 2949120 768 3840
b3.qkv.scale f32 29927480 3840 3840
b3.qn.alpha f32 29942840 1 1
b3.qn.gamma f32 29942844 64 64
b3.qn.beta f32 29943100 64 64
b3.kn.alpha f32 29943356 1 1
b3.kn.gamma f32 29943360 64 64
b3.kn.beta f32 29943616 64 64
b3.out.q i8 29943872 589824 768 768
b3.out.scale f32 30533696 768 768
b3.ff.alpha f32 30536768 1 1
b3.ff.gamma f32 30536772 768 768
b3.ff.beta f32 30539844 768 768
b3.glu.q i8 30542916 3538944 768 4608
b3.glu.scale f32 34081860 4608 4608
b3.glu.b f32 34100292 4608 4608
b3.proj.q i8 34118724 1769472 2304 768
b3.proj.scale f32 35888196 768 768
b3.proj.b f32 35891268 768 768
b4.pre.alpha f32 35894340 1 1
b4.pre.gamma f32 35894344 768 768
b4.pre.beta f32 35897416 768 768
b4.qkv.q i8 35900488 2949120 768 3840
b4.qkv.scale f32 38849608 3840 3840
b4.qn.alpha f32 38864968 1 1
b4.qn.gamma f32 38864972 64 64
b4.qn.beta f32 38865228 64 64
b4.kn.alpha f32 38865484 1 1
b4.kn.gamma f32 38865488 64 64
b4.kn.beta f32 38865744 64 64
b4.out.q i8 38866000 589824 768 768
b4.out.scale f32 39455824 768 768
b4.ff.alpha f32 39458896 1 1
b4.ff.gamma f32 39458900 768 768
b4.ff.beta f32 39461972 768 768
b4.glu.q i8 39465044 3538944 768 4608
b4.glu.scale f32 43003988 4608 4608
b4.glu.b f32 43022420 4608 4608
b4.proj.q i8 43040852 1769472 2304 768
b4.proj.scale f32 44810324 768 768
b4.proj.b f32 44813396 768 768
b5.pre.alpha f32 44816468 1 1
b5.pre.gamma f32 44816472 768 768
b5.pre.beta f32 44819544 768 768
b5.qkv.q i8 44822616 2949120 768 3840
b5.qkv.scale f32 47771736 3840 3840
b5.qn.alpha f32 47787096 1 1
b5.qn.gamma f32 47787100 64 64
b5.qn.beta f32 47787356 64 64
b5.kn.alpha f32 47787612 1 1
b5.kn.gamma f32 47787616 64 64
b5.kn.beta f32 47787872 64 64
b5.out.q i8 47788128 589824 768 768
b5.out.scale f32 48377952 768 768
b5.ff.alpha f32 48381024 1 1
b5.ff.gamma f32 48381028 768 768
b5.ff.beta f32 48384100 768 768
b5.glu.q i8 48387172 3538944 768 4608
b5.glu.scale f32 51926116 4608 4608
b5.glu.b f32 51944548 4608 4608
b5.proj.q i8 51962980 1769472 2304 768
b5.proj.scale f32 53732452 768 768
b5.proj.b f32 53735524 768 768
conv.q i8 53738596 1179648 2304 512
conv.scale f32 54918244 512 512
conv.b f32 54920292 512 512