{
  "artifact_bytes": 1167680422,
  "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl",
  "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
  "input_limits": {
    "max_passage_chars": 4000,
    "max_query_chars": 1200,
    "passage_tokens": 2048,
    "query_tokens": 512
  },
  "language_counts": {
    "c": 95,
    "cpp": 750,
    "cuda": 1,
    "go": 750,
    "java": 750,
    "javascript": 750,
    "php": 750,
    "python": 750,
    "ruby": 750,
    "rust": 750,
    "shell": 6,
    "swift": 1,
    "toml": 129,
    "typescript": 750,
    "yaml": 13
  },
  "mlx_peak_memory_bytes": 2240834788,
  "model_path": "/Users/kearm/AlphaHENG/contrib/jina-code-mlx/artifacts/jina-code-embeddings-1.5b-block-gptq-mxfp4-32k",
  "passage_seconds": 911.0980732080061,
  "passages_per_second": 7.6775488892983565,
  "quantization": {
    "algorithm": "activation_calibrated_block_gptq",
    "bits": 4,
    "group_size": 32,
    "mode": "mxfp4"
  },
  "queries_per_second": 105.21865375394287,
  "query_seconds": 66.48060729191639,
  "samples": 6995,
  "schema_version": 1,
  "slices": {
    "all": {
      "mean_rank": 103.54639027877055,
      "mrr": 0.6645307132129207,
      "ndcg_at_10": 0.6832195198595511,
      "recall_at_1": 0.6132952108649035,
      "recall_at_10": 0.7571122230164403,
      "recall_at_5": 0.7220872051465332
    },
    "c": {
      "mean_rank": 10.536842105263158,
      "mrr": 0.3892350185776422,
      "ndcg_at_10": 0.4356184122309751,
      "recall_at_1": 0.25263157894736843,
      "recall_at_10": 0.6421052631578947,
      "recall_at_5": 0.5052631578947369,
      "samples": 95
    },
    "cpp": {
      "mean_rank": 152.416,
      "mrr": 0.15427718580417377,
      "ndcg_at_10": 0.16714531254791365,
      "recall_at_1": 0.09866666666666667,
      "recall_at_10": 0.252,
      "recall_at_5": 0.19866666666666666,
      "samples": 750
    },
    "cuda": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "go": {
      "mean_rank": 4.412,
      "mrr": 0.8582833049575193,
      "ndcg_at_10": 0.8651855424934813,
      "recall_at_1": 0.8306666666666667,
      "recall_at_10": 0.9,
      "recall_at_5": 0.8826666666666667,
      "samples": 750
    },
    "java": {
      "mean_rank": 16.785333333333334,
      "mrr": 0.66186456149203,
      "ndcg_at_10": 0.691268227161557,
      "recall_at_1": 0.5893333333333334,
      "recall_at_10": 0.808,
      "recall_at_5": 0.752,
      "samples": 750
    },
    "javascript": {
      "mean_rank": 27.624,
      "mrr": 0.6826498449161382,
      "ndcg_at_10": 0.7014276716148345,
      "recall_at_1": 0.6213333333333333,
      "recall_at_10": 0.776,
      "recall_at_5": 0.7493333333333333,
      "samples": 750
    },
    "php": {
      "mean_rank": 1.268,
      "mrr": 0.9669247234247235,
      "ndcg_at_10": 0.9735119733985235,
      "recall_at_1": 0.9493333333333334,
      "recall_at_10": 0.9946666666666667,
      "recall_at_5": 0.988,
      "samples": 750
    },
    "python": {
      "mean_rank": 4.644,
      "mrr": 0.9461748374111352,
      "ndcg_at_10": 0.9538578205814637,
      "recall_at_1": 0.928,
      "recall_at_10": 0.9786666666666667,
      "recall_at_5": 0.9746666666666667,
      "samples": 750
    },
    "ruby": {
      "mean_rank": 7.512,
      "mrr": 0.9067472399844737,
      "ndcg_at_10": 0.9196154278222062,
      "recall_at_1": 0.8693333333333333,
      "recall_at_10": 0.9613333333333334,
      "recall_at_5": 0.9493333333333334,
      "samples": 750
    },
    "rust": {
      "mean_rank": 37.792,
      "mrr": 0.6631819513078547,
      "ndcg_at_10": 0.6858336492369697,
      "recall_at_1": 0.5946666666666667,
      "recall_at_10": 0.7733333333333333,
      "recall_at_5": 0.744,
      "samples": 750
    },
    "shell": {
      "mean_rank": 1.1666666666666667,
      "mrr": 0.9166666666666666,
      "ndcg_at_10": 0.9384882922619097,
      "recall_at_1": 0.8333333333333334,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 6
    },
    "swift": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "toml": {
      "mean_rank": 50.58914728682171,
      "mrr": 0.08224830770599856,
      "ndcg_at_10": 0.08961173144962573,
      "recall_at_1": 0.023255813953488372,
      "recall_at_10": 0.17829457364341086,
      "recall_at_5": 0.10852713178294573,
      "samples": 129
    },
    "typescript": {
      "mean_rank": 72.01733333333334,
      "mrr": 0.505671283186395,
      "ndcg_at_10": 0.5357110087200713,
      "recall_at_1": 0.428,
      "recall_at_10": 0.6533333333333333,
      "recall_at_5": 0.592,
      "samples": 750
    },
    "yaml": {
      "mean_rank": 4.384615384615385,
      "mrr": 0.4211871461871462,
      "ndcg_at_10": 0.5338924197527659,
      "recall_at_1": 0.23076923076923078,
      "recall_at_10": 0.9230769230769231,
      "recall_at_5": 0.6153846153846154,
      "samples": 13
    }
  }
}