{
  "artifact_bytes": 713740038,
  "attention_implementation": "sdpa",
  "backend": "pytorch_cuda_bf16",
  "batch_sizes": {
    "passage": 4,
    "query": 32
  },
  "corpus": "corpus/test.jsonl",
  "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
  "cuda": {
    "device": "NVIDIA GeForce RTX 3090 Ti",
    "peak_memory_bytes": 1109022208,
    "torch": "2.13.0+cu130"
  },
  "input_limits": {
    "max_passage_chars": 4000,
    "max_query_chars": 1200,
    "passage_tokens": 2048,
    "query_tokens": 512
  },
  "language_counts": {
    "c": 95,
    "cpp": 750,
    "cuda": 1,
    "go": 750,
    "java": 750,
    "javascript": 750,
    "php": 750,
    "python": 750,
    "ruby": 750,
    "rust": 750,
    "shell": 6,
    "swift": 1,
    "toml": 129,
    "typescript": 750,
    "yaml": 13
  },
  "model_path": "artifacts/LFM2.5-Encoder-350M-Code-BF16",
  "passage_seconds": 50.30001908699978,
  "passages_per_second": 139.06555359156678,
  "queries_per_second": 616.2373005553991,
  "query_seconds": 11.351146698999855,
  "samples": 6995,
  "schema_version": 1,
  "slices": {
    "all": {
      "mean_rank": 330.28591851322375,
      "mrr": 0.37089093999564154,
      "ndcg_at_10": 0.3962590273267118,
      "recall_at_1": 0.3005003573981415,
      "recall_at_10": 0.5049320943531094,
      "recall_at_5": 0.4437455325232309
    },
    "c": {
      "mean_rank": 20.442105263157895,
      "mrr": 0.2117731377864393,
      "ndcg_at_10": 0.25758555301843117,
      "recall_at_1": 0.08421052631578947,
      "recall_at_10": 0.47368421052631576,
      "recall_at_5": 0.3473684210526316,
      "samples": 95
    },
    "cpp": {
      "mean_rank": 237.88933333333333,
      "mrr": 0.06541919883247528,
      "ndcg_at_10": 0.07290348520617336,
      "recall_at_1": 0.032,
      "recall_at_10": 0.128,
      "recall_at_5": 0.08133333333333333,
      "samples": 750
    },
    "cuda": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "go": {
      "mean_rank": 13.869333333333334,
      "mrr": 0.6293734301417436,
      "ndcg_at_10": 0.6621000353289516,
      "recall_at_1": 0.54,
      "recall_at_10": 0.7866666666666666,
      "recall_at_5": 0.7346666666666667,
      "samples": 750
    },
    "java": {
      "mean_rank": 48.08266666666667,
      "mrr": 0.40234729303495803,
      "ndcg_at_10": 0.43446309427036295,
      "recall_at_1": 0.31066666666666665,
      "recall_at_10": 0.576,
      "recall_at_5": 0.492,
      "samples": 750
    },
    "javascript": {
      "mean_rank": 63.85066666666667,
      "mrr": 0.3910450252557199,
      "ndcg_at_10": 0.42094312386513455,
      "recall_at_1": 0.30933333333333335,
      "recall_at_10": 0.5506666666666666,
      "recall_at_5": 0.4693333333333333,
      "samples": 750
    },
    "php": {
      "mean_rank": 14.481333333333334,
      "mrr": 0.6705795049717042,
      "ndcg_at_10": 0.7096795137502152,
      "recall_at_1": 0.5773333333333334,
      "recall_at_10": 0.8493333333333334,
      "recall_at_5": 0.7733333333333333,
      "samples": 750
    },
    "python": {
      "mean_rank": 10.656,
      "mrr": 0.7955152937681796,
      "ndcg_at_10": 0.8114962511678071,
      "recall_at_1": 0.7466666666666667,
      "recall_at_10": 0.8733333333333333,
      "recall_at_5": 0.8506666666666667,
      "samples": 750
    },
    "ruby": {
      "mean_rank": 24.110666666666667,
      "mrr": 0.5751810813270319,
      "ndcg_at_10": 0.6209289374969588,
      "recall_at_1": 0.45866666666666667,
      "recall_at_10": 0.7866666666666666,
      "recall_at_5": 0.7106666666666667,
      "samples": 750
    },
    "rust": {
      "mean_rank": 74.77466666666666,
      "mrr": 0.28952116580703935,
      "ndcg_at_10": 0.3245350728741736,
      "recall_at_1": 0.18933333333333333,
      "recall_at_10": 0.476,
      "recall_at_5": 0.4,
      "samples": 750
    },
    "shell": {
      "mean_rank": 1.8333333333333333,
      "mrr": 0.6944444444444445,
      "ndcg_at_10": 0.7718216255952429,
      "recall_at_1": 0.5,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 6
    },
    "swift": {
      "mean_rank": 1.0,
      "mrr": 1.0,
      "ndcg_at_10": 1.0,
      "recall_at_1": 1.0,
      "recall_at_10": 1.0,
      "recall_at_5": 1.0,
      "samples": 1
    },
    "toml": {
      "mean_rank": 62.21705426356589,
      "mrr": 0.05538568674278197,
      "ndcg_at_10": 0.05145324796436084,
      "recall_at_1": 0.015503875968992248,
      "recall_at_10": 0.10077519379844961,
      "recall_at_5": 0.06201550387596899,
      "samples": 129
    },
    "typescript": {
      "mean_rank": 128.28,
      "mrr": 0.19319093360004239,
      "ndcg_at_10": 0.20877946282216098,
      "recall_at_1": 0.128,
      "recall_at_10": 0.30666666666666664,
      "recall_at_5": 0.24266666666666667,
      "samples": 750
    },
    "yaml": {
      "mean_rank": 6.153846153846154,
      "mrr": 0.3277453315914854,
      "ndcg_at_10": 0.4153737804972049,
      "recall_at_1": 0.15384615384615385,
      "recall_at_10": 0.7692307692307693,
      "recall_at_5": 0.46153846153846156,
      "samples": 13
    }
  }
}