{
  "artifact_bytes": 464159282,
  "attention_implementation": "sdpa",
  "backend": "pytorch_cuda_bf16",
  "batch_sizes": {
    "passage": 4,
    "query": 32
  },
  "corpus": "corpus/test.jsonl",
  "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
  "cuda": {
    "device": "NVIDIA GeForce RTX 3090 Ti",
    "peak_memory_bytes": 736232960,
    "torch": "2.13.0+cu130"
  },
  "input_limits": {
    "max_passage_chars": 4000,
    "max_query_chars": 1200,
    "passage_tokens": 2048,
    "query_tokens": 512
  },
  "language_counts": {
    "c": 95,
    "cpp": 750,
    "cuda": 1,
    "go": 750,
    "java": 750,
    "javascript": 750,
    "php": 750,
    "python": 750,
    "ruby": 750,
    "rust": 750,
    "shell": 6,
    "swift": 1,
    "toml": 129,
    "typescript": 750,
    "yaml": 13
  },
  "model_path": "artifacts/LFM2.5-Encoder-230M-Code-BF16",
  "passage_seconds": 36.66620972999999,
  "passages_per_second": 190.77510469473884,
  "queries_per_second": 755.686463584362,
  "query_seconds": 9.256484451000233,
  "samples": 6995,
  "schema_version": 1,
  "slices": {
    "all": {
      "mean_rank": 314.2793423874196,
      "mrr": 0.3962739246063872,
      "ndcg_at_10": 0.42364173920455106,
      "recall_at_1": 0.3222301644031451,
      "recall_at_10": 0.5373838456040029,
      "recall_at_5": 0.4751965689778413
    },
    "c": {
      "mean_rank": 13.052631578947368,
      "mrr": 0.2737884028682507,
      "ndcg_at_10": 0.3169729359077213,
      "recall_at_1": 0.12631578947368421,
      "recall_at_10": 0.5368421052631579,
      "recall_at_5": 0.4,
      "samples": 95
    },
    "cpp": {
      "mean_rank": 225.32933333333332,
      "mrr": 0.08600343125333741,
      "ndcg_at_10": 0.0910546934939449,
      "recall_at_1": 0.050666666666666665,
      "recall_at_10": 0.14133333333333334,
      "recall_at_5": 0.108,
      "samples": 750
    },
    "cuda": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "go": {
      "mean_rank": 12.850666666666667,
      "mrr": 0.6596772572519141,
      "ndcg_at_10": 0.6892601855452422,
      "recall_at_1": 0.5733333333333334,
      "recall_at_10": 0.8,
      "recall_at_5": 0.756,
      "samples": 750
    },
    "java": {
      "mean_rank": 33.64666666666667,
      "mrr": 0.45932888241935205,
      "ndcg_at_10": 0.5034351901738695,
      "recall_at_1": 0.35333333333333333,
      "recall_at_10": 0.676,
      "recall_at_5": 0.5813333333333334,
      "samples": 750
    },
    "javascript": {
      "mean_rank": 60.748,
      "mrr": 0.4212374168111231,
      "ndcg_at_10": 0.4547832561213962,
      "recall_at_1": 0.336,
      "recall_at_10": 0.5933333333333334,
      "recall_at_5": 0.516,
      "samples": 750
    },
    "php": {
      "mean_rank": 14.878666666666666,
      "mrr": 0.6847110916702501,
      "ndcg_at_10": 0.7201481645824124,
      "recall_at_1": 0.6013333333333334,
      "recall_at_10": 0.8493333333333334,
      "recall_at_5": 0.784,
      "samples": 750
    },
    "python": {
      "mean_rank": 9.890666666666666,
      "mrr": 0.83537476194661,
      "ndcg_at_10": 0.8503649612192248,
      "recall_at_1": 0.7946666666666666,
      "recall_at_10": 0.9066666666666666,
      "recall_at_5": 0.8826666666666667,
      "samples": 750
    },
    "ruby": {
      "mean_rank": 21.602666666666668,
      "mrr": 0.6119444880719548,
      "ndcg_at_10": 0.6505055322380063,
      "recall_at_1": 0.5093333333333333,
      "recall_at_10": 0.7946666666666666,
      "recall_at_5": 0.732,
      "samples": 750
    },
    "rust": {
      "mean_rank": 62.42133333333334,
      "mrr": 0.3392667537492009,
      "ndcg_at_10": 0.379030616915146,
      "recall_at_1": 0.236,
      "recall_at_10": 0.544,
      "recall_at_5": 0.4533333333333333,
      "samples": 750
    },
    "shell": {
      "mean_rank": 1.3333333333333333,
      "mrr": 0.8333333333333334,
      "ndcg_at_10": 0.8769765845238192,
      "recall_at_1": 0.6666666666666666,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 6
    },
    "swift": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "toml": {
      "mean_rank": 60.713178294573645,
      "mrr": 0.04564208938294146,
      "ndcg_at_10": 0.038325852962882274,
      "recall_at_1": 0.007751937984496124,
      "recall_at_10": 0.08527131782945736,
      "recall_at_5": 0.03875968992248062,
      "samples": 129
    },
    "typescript": {
      "mean_rank": 111.74533333333333,
      "mrr": 0.25350446065401616,
      "ndcg_at_10": 0.2827095492191127,
      "recall_at_1": 0.17066666666666666,
      "recall_at_10": 0.416,
      "recall_at_5": 0.332,
      "samples": 750
    },
    "yaml": {
      "mean_rank": 5.846153846153846,
      "mrr": 0.37979050863666247,
      "ndcg_at_10": 0.4554739368028557,
      "recall_at_1": 0.23076923076923078,
      "recall_at_10": 0.7692307692307693,
      "recall_at_5": 0.5384615384615384,
      "samples": 13
    }
  }
}