Spaces:
Running
Running
File size: 1,448 Bytes
4149ca9 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
model,parameters,quantization,framework,slope_origin
llama2,13b,none,vllm,3.24421E-06
llama2,13b,none,llamacpp,3.43068E-06
llama2,13b,none,pytorch,3.51018E-06
llama3,8b,none,vllm,1.92179E-06
llama3,8b,none,llamacpp,2.87246E-06
llama3,8b,none,pytorch,2.32852E-06
llama3,13b,8bit0,llamacpp,3.31447E-06
llama3,13b,q6k,llamacpp,3.52838E-06
llama3,13b,q5ks,llamacpp,3.12965E-06
llama3,13b,q5km,llamacpp,3.19602E-06
llama3,13b,q4ks,llamacpp,2.86233E-06
llama3,13b,q4km,llamacpp,2.93048E-06
llama3,13b,q3ks,llamacpp,3.4747E-06
llama3,13b,q3km,llamacpp,3.27895E-06
llama3,13b,q3kl,llamacpp,3.36582E-06
llama3,13b,q2k,llamacpp,3.07847E-06
llama3,13b,none,llamacpp,3.23606E-06
llama3.1,8b,none,pytorch,2.34381E-06
llama3.1,8b,q2k,llamacpp,4.26261E-05
llama3.1,8b,q3kl,llamacpp,5.02938E-05
llama3.1,8b,q3km,llamacpp,4.62286E-05
llama3.1,8b,q3ks,llamacpp,5.09315E-05
llama3.1,8b,none,vllm,1.8103E-06
llama3.1,8b,q4km,llamacpp,5.30587E-05
llama3.1,8b,q4ks,llamacpp,5.46234E-05
llama3.1,8b,q5km,llamacpp,5.9949E-05
llama3.1,8b,q5ks,llamacpp,5.89191E-05
llama3.1,8b,q6k,llamacpp,6.29528E-05
llama3.1,8b,q8_0,llamacpp,6.66807E-05
mistral,7b,none,vllm,1.91394E-06
mistral,7b,none,pytorch,2.59965E-06
multiverse-llama3.1,8b,none,pytorch,1.73898E-06
multiverse-llama3.1,8b,none,vllm,8.38701E-07
phi3med,14b,none,vllm,3.71934E-06
pleias,3b,none,vllm,9.30737E-07
pleias,3b,none,pytorch,1.43136E-06
pleias,350m,none,vllm,2.30133E-07
pleias,350m,none,pytorch,1.11277E-06
|