File size: 6,509 Bytes
6476597 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 |
{
"prefill": {
"memory": {
"unit": "MB",
"max_ram": 3443.720192,
"max_vram": 6025.117696,
"max_reserved": 5540.675584,
"max_allocated": 5388.153344
},
"latency": {
"unit": "s",
"mean": 0.2740576312090899,
"stdev": 0.0010989146381610653,
"values": [
0.28063232421875,
0.2741053466796875,
0.27385037231445314,
0.27369778442382814,
0.27390872192382815,
0.27380020141601563,
0.2738739318847656,
0.2738114624023438,
0.2738688049316406,
0.2738595886230469,
0.27389132690429685,
0.273786865234375,
0.27388314819335935,
0.27380224609375,
0.2739517517089844,
0.2738011474609375,
0.27385855102539064,
0.273807373046875,
0.2739568786621094,
0.2738319396972656,
0.27399679565429685,
0.27385549926757813,
0.2739507141113281,
0.2738472900390625,
0.2739578857421875,
0.2738472900390625,
0.2740223999023437,
0.27382785034179685,
0.27391180419921873,
0.27378176879882815,
0.2739169311523437,
0.27378994750976565,
0.273944580078125,
0.2737991638183594,
0.27390054321289065,
0.2737684631347656,
0.27403366088867187
]
},
"throughput": {
"unit": "tokens/s",
"value": 2043.3658334175445
},
"energy": null,
"efficiency": null
},
"decode": {
"memory": {
"unit": "MB",
"max_ram": 3447.865344,
"max_vram": 7134.511104,
"max_reserved": 6650.068992,
"max_allocated": 6483.66848
},
"latency": {
"unit": "s",
"mean": 14.578696182250976,
"stdev": 0,
"values": [
14.578696182250976
]
},
"throughput": {
"unit": "tokens/s",
"value": 237.67557514632273
},
"energy": null,
"efficiency": null
},
"per_token": {
"memory": null,
"latency": {
"unit": "s",
"mean": 0.1472595573964745,
"stdev": 0.0031237285892666312,
"values": [
0.1419008026123047,
0.14224179077148438,
0.14238514709472655,
0.14256536865234376,
0.14229913330078126,
0.14246298217773437,
0.14251315307617188,
0.14276914978027344,
0.14279986572265624,
0.14289202880859375,
0.14289715576171874,
0.14330880737304688,
0.14314802551269531,
0.14349005126953124,
0.14334976196289062,
0.1436846008300781,
0.14350335693359376,
0.14384844970703126,
0.14376243591308593,
0.14424575805664064,
0.14396723937988282,
0.1442734069824219,
0.14417510986328125,
0.14462669372558593,
0.14453248596191406,
0.14464921569824218,
0.1446051788330078,
0.14509056091308595,
0.14469223022460936,
0.1450557403564453,
0.14497074890136719,
0.14546739196777345,
0.1451304931640625,
0.1454776306152344,
0.14529330444335936,
0.14594355773925782,
0.1455503387451172,
0.1457960968017578,
0.14573670959472657,
0.14628659057617188,
0.14597427368164062,
0.1463009338378906,
0.14620672607421875,
0.1467893829345703,
0.14639718627929688,
0.1467310028076172,
0.14675558471679687,
0.14733106994628906,
0.14694400024414062,
0.147272705078125,
0.1471805419921875,
0.1478481903076172,
0.14733517456054687,
0.14773043823242188,
0.1476259765625,
0.14830181884765625,
0.1478604736328125,
0.14818508911132813,
0.14819941711425783,
0.1488773193359375,
0.14832127380371093,
0.1486499786376953,
0.14849740600585937,
0.14922547912597656,
0.14875135803222655,
0.14909542846679688,
0.1489582061767578,
0.14968421936035156,
0.14915072631835938,
0.1494978485107422,
0.1493237762451172,
0.1501644744873047,
0.14953471374511718,
0.14998527526855468,
0.14990028381347656,
0.15070719909667968,
0.14999142456054687,
0.15040409851074218,
0.15021157836914062,
0.15108096313476563,
0.1504102325439453,
0.15087820434570312,
0.15066316223144532,
0.1515888671875,
0.150935546875,
0.15129087829589843,
0.1512499237060547,
0.15167181396484375,
0.1510123596191406,
0.15173324584960937,
0.1517701110839844,
0.15265895080566405,
0.15192063903808595,
0.15193702697753905,
0.15167999267578125,
0.15261184692382812,
0.15188172912597656,
0.15233331298828126,
0.15209677124023438
]
},
"throughput": {
"unit": "tokens/s",
"value": 237.67557514632273
},
"energy": null,
"efficiency": null
}
} |