File size: 3,729 Bytes

dec2054

running_std f32 0 1 1
project_in.w bf16 4 196608 256 768
project_in.b f32 393220 768 768
new_tokens f32 396292 768 768
b0.pre.alpha f32 399364 1 1
b0.pre.gamma f32 399368 768 768
b0.pre.beta f32 402440 768 768
b0.qkv.w bf16 405512 2949120 768 3840
b0.qn.alpha f32 6303752 1 1
b0.qn.gamma f32 6303756 64 64
b0.qn.beta f32 6304012 64 64
b0.kn.alpha f32 6304268 1 1
b0.kn.gamma f32 6304272 64 64
b0.kn.beta f32 6304528 64 64
b0.out.w bf16 6304784 589824 768 768
b0.ff.alpha f32 7484432 1 1
b0.ff.gamma f32 7484436 768 768
b0.ff.beta f32 7487508 768 768
b0.glu.w bf16 7490580 3538944 768 4608
b0.glu.b f32 14568468 4608 4608
b0.proj.w bf16 14586900 1769472 2304 768
b0.proj.b f32 18125844 768 768
b1.pre.alpha f32 18128916 1 1
b1.pre.gamma f32 18128920 768 768
b1.pre.beta f32 18131992 768 768
b1.qkv.w bf16 18135064 2949120 768 3840
b1.qn.alpha f32 24033304 1 1
b1.qn.gamma f32 24033308 64 64
b1.qn.beta f32 24033564 64 64
b1.kn.alpha f32 24033820 1 1
b1.kn.gamma f32 24033824 64 64
b1.kn.beta f32 24034080 64 64
b1.out.w bf16 24034336 589824 768 768
b1.ff.alpha f32 25213984 1 1
b1.ff.gamma f32 25213988 768 768
b1.ff.beta f32 25217060 768 768
b1.glu.w bf16 25220132 3538944 768 4608
b1.glu.b f32 32298020 4608 4608
b1.proj.w bf16 32316452 1769472 2304 768
b1.proj.b f32 35855396 768 768
b2.pre.alpha f32 35858468 1 1
b2.pre.gamma f32 35858472 768 768
b2.pre.beta f32 35861544 768 768
b2.qkv.w bf16 35864616 2949120 768 3840
b2.qn.alpha f32 41762856 1 1
b2.qn.gamma f32 41762860 64 64
b2.qn.beta f32 41763116 64 64
b2.kn.alpha f32 41763372 1 1
b2.kn.gamma f32 41763376 64 64
b2.kn.beta f32 41763632 64 64
b2.out.w bf16 41763888 589824 768 768
b2.ff.alpha f32 42943536 1 1
b2.ff.gamma f32 42943540 768 768
b2.ff.beta f32 42946612 768 768
b2.glu.w bf16 42949684 3538944 768 4608
b2.glu.b f32 50027572 4608 4608
b2.proj.w bf16 50046004 1769472 2304 768
b2.proj.b f32 53584948 768 768
b3.pre.alpha f32 53588020 1 1
b3.pre.gamma f32 53588024 768 768
b3.pre.beta f32 53591096 768 768
b3.qkv.w bf16 53594168 2949120 768 3840
b3.qn.alpha f32 59492408 1 1
b3.qn.gamma f32 59492412 64 64
b3.qn.beta f32 59492668 64 64
b3.kn.alpha f32 59492924 1 1
b3.kn.gamma f32 59492928 64 64
b3.kn.beta f32 59493184 64 64
b3.out.w bf16 59493440 589824 768 768
b3.ff.alpha f32 60673088 1 1
b3.ff.gamma f32 60673092 768 768
b3.ff.beta f32 60676164 768 768
b3.glu.w bf16 60679236 3538944 768 4608
b3.glu.b f32 67757124 4608 4608
b3.proj.w bf16 67775556 1769472 2304 768
b3.proj.b f32 71314500 768 768
b4.pre.alpha f32 71317572 1 1
b4.pre.gamma f32 71317576 768 768
b4.pre.beta f32 71320648 768 768
b4.qkv.w bf16 71323720 2949120 768 3840
b4.qn.alpha f32 77221960 1 1
b4.qn.gamma f32 77221964 64 64
b4.qn.beta f32 77222220 64 64
b4.kn.alpha f32 77222476 1 1
b4.kn.gamma f32 77222480 64 64
b4.kn.beta f32 77222736 64 64
b4.out.w bf16 77222992 589824 768 768
b4.ff.alpha f32 78402640 1 1
b4.ff.gamma f32 78402644 768 768
b4.ff.beta f32 78405716 768 768
b4.glu.w bf16 78408788 3538944 768 4608
b4.glu.b f32 85486676 4608 4608
b4.proj.w bf16 85505108 1769472 2304 768
b4.proj.b f32 89044052 768 768
b5.pre.alpha f32 89047124 1 1
b5.pre.gamma f32 89047128 768 768
b5.pre.beta f32 89050200 768 768
b5.qkv.w bf16 89053272 2949120 768 3840
b5.qn.alpha f32 94951512 1 1
b5.qn.gamma f32 94951516 64 64
b5.qn.beta f32 94951772 64 64
b5.kn.alpha f32 94952028 1 1
b5.kn.gamma f32 94952032 64 64
b5.kn.beta f32 94952288 64 64
b5.out.w bf16 94952544 589824 768 768
b5.ff.alpha f32 96132192 1 1
b5.ff.gamma f32 96132196 768 768
b5.ff.beta f32 96135268 768 768
b5.glu.w bf16 96138340 3538944 768 4608
b5.glu.b f32 103216228 4608 4608
b5.proj.w bf16 103234660 1769472 2304 768
b5.proj.b f32 106773604 768 768
conv.w bf16 106776676 1179648 2304 512
conv.b f32 109135972 512 512