File size: 7,732 Bytes
dec2054 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 | running_std f32 0 1 1 project_in.w bf16 4 393216 256 1536 project_in.b f32 786436 1536 1536 new_tokens f32 792580 1536 1536 b0.pre.alpha f32 798724 1 1 b0.pre.gamma f32 798728 1536 1536 b0.pre.beta f32 804872 1536 1536 b0.qkv.w bf16 811016 11796480 1536 7680 b0.qn.alpha f32 24403976 1 1 b0.qn.gamma f32 24403980 64 64 b0.qn.beta f32 24404236 64 64 b0.kn.alpha f32 24404492 1 1 b0.kn.gamma f32 24404496 64 64 b0.kn.beta f32 24404752 64 64 b0.out.w bf16 24405008 2359296 1536 1536 b0.ff.alpha f32 29123600 1 1 b0.ff.gamma f32 29123604 1536 1536 b0.ff.beta f32 29129748 1536 1536 b0.glu.w bf16 29135892 14155776 1536 9216 b0.glu.b f32 57447444 9216 9216 b0.proj.w bf16 57484308 7077888 4608 1536 b0.proj.b f32 71640084 1536 1536 b1.pre.alpha f32 71646228 1 1 b1.pre.gamma f32 71646232 1536 1536 b1.pre.beta f32 71652376 1536 1536 b1.qkv.w bf16 71658520 11796480 1536 7680 b1.qn.alpha f32 95251480 1 1 b1.qn.gamma f32 95251484 64 64 b1.qn.beta f32 95251740 64 64 b1.kn.alpha f32 95251996 1 1 b1.kn.gamma f32 95252000 64 64 b1.kn.beta f32 95252256 64 64 b1.out.w bf16 95252512 2359296 1536 1536 b1.ff.alpha f32 99971104 1 1 b1.ff.gamma f32 99971108 1536 1536 b1.ff.beta f32 99977252 1536 1536 b1.glu.w bf16 99983396 14155776 1536 9216 b1.glu.b f32 128294948 9216 9216 b1.proj.w bf16 128331812 7077888 4608 1536 b1.proj.b f32 142487588 1536 1536 b2.pre.alpha f32 142493732 1 1 b2.pre.gamma f32 142493736 1536 1536 b2.pre.beta f32 142499880 1536 1536 b2.qkv.w bf16 142506024 11796480 1536 7680 b2.qn.alpha f32 166098984 1 1 b2.qn.gamma f32 166098988 64 64 b2.qn.beta f32 166099244 64 64 b2.kn.alpha f32 166099500 1 1 b2.kn.gamma f32 166099504 64 64 b2.kn.beta f32 166099760 64 64 b2.out.w bf16 166100016 2359296 1536 1536 b2.ff.alpha f32 170818608 1 1 b2.ff.gamma f32 170818612 1536 1536 b2.ff.beta f32 170824756 1536 1536 b2.glu.w bf16 170830900 14155776 1536 9216 b2.glu.b f32 199142452 9216 9216 b2.proj.w bf16 199179316 7077888 4608 1536 b2.proj.b f32 213335092 1536 1536 b3.pre.alpha f32 213341236 1 1 b3.pre.gamma f32 213341240 1536 1536 b3.pre.beta f32 213347384 1536 1536 b3.qkv.w bf16 213353528 11796480 1536 7680 b3.qn.alpha f32 236946488 1 1 b3.qn.gamma f32 236946492 64 64 b3.qn.beta f32 236946748 64 64 b3.kn.alpha f32 236947004 1 1 b3.kn.gamma f32 236947008 64 64 b3.kn.beta f32 236947264 64 64 b3.out.w bf16 236947520 2359296 1536 1536 b3.ff.alpha f32 241666112 1 1 b3.ff.gamma f32 241666116 1536 1536 b3.ff.beta f32 241672260 1536 1536 b3.glu.w bf16 241678404 14155776 1536 9216 b3.glu.b f32 269989956 9216 9216 b3.proj.w bf16 270026820 7077888 4608 1536 b3.proj.b f32 284182596 1536 1536 b4.pre.alpha f32 284188740 1 1 b4.pre.gamma f32 284188744 1536 1536 b4.pre.beta f32 284194888 1536 1536 b4.qkv.w bf16 284201032 11796480 1536 7680 b4.qn.alpha f32 307793992 1 1 b4.qn.gamma f32 307793996 64 64 b4.qn.beta f32 307794252 64 64 b4.kn.alpha f32 307794508 1 1 b4.kn.gamma f32 307794512 64 64 b4.kn.beta f32 307794768 64 64 b4.out.w bf16 307795024 2359296 1536 1536 b4.ff.alpha f32 312513616 1 1 b4.ff.gamma f32 312513620 1536 1536 b4.ff.beta f32 312519764 1536 1536 b4.glu.w bf16 312525908 14155776 1536 9216 b4.glu.b f32 340837460 9216 9216 b4.proj.w bf16 340874324 7077888 4608 1536 b4.proj.b f32 355030100 1536 1536 b5.pre.alpha f32 355036244 1 1 b5.pre.gamma f32 355036248 1536 1536 b5.pre.beta f32 355042392 1536 1536 b5.qkv.w bf16 355048536 11796480 1536 7680 b5.qn.alpha f32 378641496 1 1 b5.qn.gamma f32 378641500 64 64 b5.qn.beta f32 378641756 64 64 b5.kn.alpha f32 378642012 1 1 b5.kn.gamma f32 378642016 64 64 b5.kn.beta f32 378642272 64 64 b5.out.w bf16 378642528 2359296 1536 1536 b5.ff.alpha f32 383361120 1 1 b5.ff.gamma f32 383361124 1536 1536 b5.ff.beta f32 383367268 1536 1536 b5.glu.w bf16 383373412 14155776 1536 9216 b5.glu.b f32 411684964 9216 9216 b5.proj.w bf16 411721828 7077888 4608 1536 b5.proj.b f32 425877604 1536 1536 b6.pre.alpha f32 425883748 1 1 b6.pre.gamma f32 425883752 1536 1536 b6.pre.beta f32 425889896 1536 1536 b6.qkv.w bf16 425896040 11796480 1536 7680 b6.qn.alpha f32 449489000 1 1 b6.qn.gamma f32 449489004 64 64 b6.qn.beta f32 449489260 64 64 b6.kn.alpha f32 449489516 1 1 b6.kn.gamma f32 449489520 64 64 b6.kn.beta f32 449489776 64 64 b6.out.w bf16 449490032 2359296 1536 1536 b6.ff.alpha f32 454208624 1 1 b6.ff.gamma f32 454208628 1536 1536 b6.ff.beta f32 454214772 1536 1536 b6.glu.w bf16 454220916 14155776 1536 9216 b6.glu.b f32 482532468 9216 9216 b6.proj.w bf16 482569332 7077888 4608 1536 b6.proj.b f32 496725108 1536 1536 b7.pre.alpha f32 496731252 1 1 b7.pre.gamma f32 496731256 1536 1536 b7.pre.beta f32 496737400 1536 1536 b7.qkv.w bf16 496743544 11796480 1536 7680 b7.qn.alpha f32 520336504 1 1 b7.qn.gamma f32 520336508 64 64 b7.qn.beta f32 520336764 64 64 b7.kn.alpha f32 520337020 1 1 b7.kn.gamma f32 520337024 64 64 b7.kn.beta f32 520337280 64 64 b7.out.w bf16 520337536 2359296 1536 1536 b7.ff.alpha f32 525056128 1 1 b7.ff.gamma f32 525056132 1536 1536 b7.ff.beta f32 525062276 1536 1536 b7.glu.w bf16 525068420 14155776 1536 9216 b7.glu.b f32 553379972 9216 9216 b7.proj.w bf16 553416836 7077888 4608 1536 b7.proj.b f32 567572612 1536 1536 b8.pre.alpha f32 567578756 1 1 b8.pre.gamma f32 567578760 1536 1536 b8.pre.beta f32 567584904 1536 1536 b8.qkv.w bf16 567591048 11796480 1536 7680 b8.qn.alpha f32 591184008 1 1 b8.qn.gamma f32 591184012 64 64 b8.qn.beta f32 591184268 64 64 b8.kn.alpha f32 591184524 1 1 b8.kn.gamma f32 591184528 64 64 b8.kn.beta f32 591184784 64 64 b8.out.w bf16 591185040 2359296 1536 1536 b8.ff.alpha f32 595903632 1 1 b8.ff.gamma f32 595903636 1536 1536 b8.ff.beta f32 595909780 1536 1536 b8.glu.w bf16 595915924 14155776 1536 9216 b8.glu.b f32 624227476 9216 9216 b8.proj.w bf16 624264340 7077888 4608 1536 b8.proj.b f32 638420116 1536 1536 b9.pre.alpha f32 638426260 1 1 b9.pre.gamma f32 638426264 1536 1536 b9.pre.beta f32 638432408 1536 1536 b9.qkv.w bf16 638438552 11796480 1536 7680 b9.qn.alpha f32 662031512 1 1 b9.qn.gamma f32 662031516 64 64 b9.qn.beta f32 662031772 64 64 b9.kn.alpha f32 662032028 1 1 b9.kn.gamma f32 662032032 64 64 b9.kn.beta f32 662032288 64 64 b9.out.w bf16 662032544 2359296 1536 1536 b9.ff.alpha f32 666751136 1 1 b9.ff.gamma f32 666751140 1536 1536 b9.ff.beta f32 666757284 1536 1536 b9.glu.w bf16 666763428 14155776 1536 9216 b9.glu.b f32 695074980 9216 9216 b9.proj.w bf16 695111844 7077888 4608 1536 b9.proj.b f32 709267620 1536 1536 b10.pre.alpha f32 709273764 1 1 b10.pre.gamma f32 709273768 1536 1536 b10.pre.beta f32 709279912 1536 1536 b10.qkv.w bf16 709286056 11796480 1536 7680 b10.qn.alpha f32 732879016 1 1 b10.qn.gamma f32 732879020 64 64 b10.qn.beta f32 732879276 64 64 b10.kn.alpha f32 732879532 1 1 b10.kn.gamma f32 732879536 64 64 b10.kn.beta f32 732879792 64 64 b10.out.w bf16 732880048 2359296 1536 1536 b10.ff.alpha f32 737598640 1 1 b10.ff.gamma f32 737598644 1536 1536 b10.ff.beta f32 737604788 1536 1536 b10.glu.w bf16 737610932 14155776 1536 9216 b10.glu.b f32 765922484 9216 9216 b10.proj.w bf16 765959348 7077888 4608 1536 b10.proj.b f32 780115124 1536 1536 b11.pre.alpha f32 780121268 1 1 b11.pre.gamma f32 780121272 1536 1536 b11.pre.beta f32 780127416 1536 1536 b11.qkv.w bf16 780133560 11796480 1536 7680 b11.qn.alpha f32 803726520 1 1 b11.qn.gamma f32 803726524 64 64 b11.qn.beta f32 803726780 64 64 b11.kn.alpha f32 803727036 1 1 b11.kn.gamma f32 803727040 64 64 b11.kn.beta f32 803727296 64 64 b11.out.w bf16 803727552 2359296 1536 1536 b11.ff.alpha f32 808446144 1 1 b11.ff.gamma f32 808446148 1536 1536 b11.ff.beta f32 808452292 1536 1536 b11.glu.w bf16 808458436 14155776 1536 9216 b11.glu.b f32 836769988 9216 9216 b11.proj.w bf16 836806852 7077888 4608 1536 b11.proj.b f32 850962628 1536 1536 map.w bf16 850968772 786432 1536 512 map.b f32 852541636 512 512 |