| { |
| "artifact_bytes": 713740038, |
| "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200, |
| "passage_tokens": 2048, |
| "query_tokens": 512 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "mlx_peak_memory_bytes": 1551146738, |
| "model_path": "artifacts/LFM2.5-Encoder-350M-Code-BF16", |
| "passage_seconds": 505.6955839579459, |
| "passages_per_second": 13.832432439397593, |
| "quantization": "bf16", |
| "queries_per_second": 252.47090862678058, |
| "query_seconds": 27.706162417074665, |
| "samples": 6995, |
| "schema_version": 1, |
| "slices": { |
| "all": { |
| "mean_rank": 331.0953538241601, |
| "mrr": 0.3704795643671784, |
| "ndcg_at_10": 0.3962709744776596, |
| "recall_at_1": 0.29964260185847036, |
| "recall_at_10": 0.5060757684060043, |
| "recall_at_5": 0.4421729807005004 |
| }, |
| "c": { |
| "mean_rank": 20.54736842105263, |
| "mrr": 0.21095173924886765, |
| "ndcg_at_10": 0.2569881104925872, |
| "recall_at_1": 0.08421052631578947, |
| "recall_at_10": 0.47368421052631576, |
| "recall_at_5": 0.3368421052631579, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 238.18133333333333, |
| "mrr": 0.06537377415958481, |
| "ndcg_at_10": 0.07290200700406414, |
| "recall_at_1": 0.032, |
| "recall_at_10": 0.128, |
| "recall_at_5": 0.07866666666666666, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 13.856, |
| "mrr": 0.6284409286203163, |
| "ndcg_at_10": 0.6613684484965817, |
| "recall_at_1": 0.5386666666666666, |
| "recall_at_10": 0.7866666666666666, |
| "recall_at_5": 0.732, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 48.13066666666667, |
| "mrr": 0.4015390314240865, |
| "ndcg_at_10": 0.4330160179199639, |
| "recall_at_1": 0.31066666666666665, |
| "recall_at_10": 0.5733333333333334, |
| "recall_at_5": 0.48933333333333334, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 64.01466666666667, |
| "mrr": 0.3897290967353729, |
| "ndcg_at_10": 0.41958737996866924, |
| "recall_at_1": 0.30666666666666664, |
| "recall_at_10": 0.5493333333333333, |
| "recall_at_5": 0.4693333333333333, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 14.493333333333334, |
| "mrr": 0.6702037333407703, |
| "ndcg_at_10": 0.7097228078687818, |
| "recall_at_1": 0.576, |
| "recall_at_10": 0.8506666666666667, |
| "recall_at_5": 0.7706666666666667, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 10.653333333333334, |
| "mrr": 0.7968788884159944, |
| "ndcg_at_10": 0.8125410804494589, |
| "recall_at_1": 0.7493333333333333, |
| "recall_at_10": 0.8733333333333333, |
| "recall_at_5": 0.8493333333333334, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 24.136, |
| "mrr": 0.5742627443997549, |
| "ndcg_at_10": 0.6203685978482657, |
| "recall_at_1": 0.456, |
| "recall_at_10": 0.7866666666666666, |
| "recall_at_5": 0.7146666666666667, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 74.88933333333334, |
| "mrr": 0.29005996933100103, |
| "ndcg_at_10": 0.32692189533181065, |
| "recall_at_1": 0.18933333333333333, |
| "recall_at_10": 0.4826666666666667, |
| "recall_at_5": 0.4, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 1.8333333333333333, |
| "mrr": 0.6944444444444445, |
| "ndcg_at_10": 0.7718216255952429, |
| "recall_at_1": 0.5, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 62.14728682170543, |
| "mrr": 0.055453269943213854, |
| "ndcg_at_10": 0.051546001215105754, |
| "recall_at_1": 0.015503875968992248, |
| "recall_at_10": 0.10077519379844961, |
| "recall_at_5": 0.06201550387596899, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 128.44933333333333, |
| "mrr": 0.19172971814726994, |
| "ndcg_at_10": 0.20842580625692433, |
| "recall_at_1": 0.12533333333333332, |
| "recall_at_10": 0.30933333333333335, |
| "recall_at_5": 0.24266666666666667, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 6.153846153846154, |
| "mrr": 0.3277453315914854, |
| "ndcg_at_10": 0.4153737804972049, |
| "recall_at_1": 0.15384615384615385, |
| "recall_at_10": 0.7692307692307693, |
| "recall_at_5": 0.46153846153846156, |
| "samples": 13 |
| } |
| } |
| } |
|
|
