metrics/quant_bench.json

{
  "fp32": {
    "f1_macro": 0.9782544248318343,
    "accuracy": 0.9783333333333334,
    "size_mb": 563.1
  },
  "fp16": {
    "f1_macro": 0.9782544248318343,
    "accuracy": 0.9783333333333334,
    "size_mb": 281.8
  },
  "int8": {
    "f1_macro": 0.9793082026279428,
    "accuracy": 0.9791666666666666,
    "size_mb": 142.1
  },
  "int8_int4_embeddings": {
    "f1_macro": 0.9789760479875023,
    "accuracy": 0.9791666666666666,
    "size_mb": 96.3
  }
}