| { |
| "artifact_bytes": 464159282, |
| "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200, |
| "passage_tokens": 2048, |
| "query_tokens": 512 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "mlx_peak_memory_bytes": 1410661986, |
| "model_path": "artifacts/LFM2.5-Encoder-230M-Code-BF16", |
| "passage_seconds": 271.1142002919223, |
| "passages_per_second": 25.800935518936786, |
| "quantization": "bf16", |
| "queries_per_second": 361.96893716199827, |
| "query_seconds": 19.324862665962428, |
| "samples": 6995, |
| "schema_version": 1, |
| "slices": { |
| "all": { |
| "mean_rank": 314.9765546819157, |
| "mrr": 0.39598055159047874, |
| "ndcg_at_10": 0.4234753226292455, |
| "recall_at_1": 0.32122944960686206, |
| "recall_at_10": 0.5375268048606148, |
| "recall_at_5": 0.4756254467476769 |
| }, |
| "c": { |
| "mean_rank": 13.2, |
| "mrr": 0.27127259362683326, |
| "ndcg_at_10": 0.31489596446779305, |
| "recall_at_1": 0.12631578947368421, |
| "recall_at_10": 0.5368421052631579, |
| "recall_at_5": 0.37894736842105264, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 225.38266666666667, |
| "mrr": 0.08604463882815502, |
| "ndcg_at_10": 0.09148357992239335, |
| "recall_at_1": 0.050666666666666665, |
| "recall_at_10": 0.14266666666666666, |
| "recall_at_5": 0.11066666666666666, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 12.889333333333333, |
| "mrr": 0.6583533907742375, |
| "ndcg_at_10": 0.6879186551747272, |
| "recall_at_1": 0.5706666666666667, |
| "recall_at_10": 0.7986666666666666, |
| "recall_at_5": 0.7573333333333333, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 33.752, |
| "mrr": 0.4596354857845634, |
| "ndcg_at_10": 0.5029461493746858, |
| "recall_at_1": 0.352, |
| "recall_at_10": 0.6733333333333333, |
| "recall_at_5": 0.5786666666666667, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 61.00266666666667, |
| "mrr": 0.4204841433840473, |
| "ndcg_at_10": 0.45503489086380006, |
| "recall_at_1": 0.33466666666666667, |
| "recall_at_10": 0.596, |
| "recall_at_5": 0.516, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 14.898666666666667, |
| "mrr": 0.684684789217518, |
| "ndcg_at_10": 0.7201693391468748, |
| "recall_at_1": 0.6, |
| "recall_at_10": 0.8493333333333334, |
| "recall_at_5": 0.7853333333333333, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 9.902666666666667, |
| "mrr": 0.8360201718005046, |
| "ndcg_at_10": 0.8508192256574992, |
| "recall_at_1": 0.796, |
| "recall_at_10": 0.9066666666666666, |
| "recall_at_5": 0.8813333333333333, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 21.604, |
| "mrr": 0.6108544028135342, |
| "ndcg_at_10": 0.6486016939943591, |
| "recall_at_1": 0.508, |
| "recall_at_10": 0.7906666666666666, |
| "recall_at_5": 0.7333333333333333, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 62.276, |
| "mrr": 0.33950767317069686, |
| "ndcg_at_10": 0.3799804050647669, |
| "recall_at_1": 0.236, |
| "recall_at_10": 0.5466666666666666, |
| "recall_at_5": 0.456, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 1.3333333333333333, |
| "mrr": 0.8333333333333334, |
| "ndcg_at_10": 0.8769765845238192, |
| "recall_at_1": 0.6666666666666666, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 60.70542635658915, |
| "mrr": 0.045741052176932806, |
| "ndcg_at_10": 0.04280747817711309, |
| "recall_at_1": 0.007751937984496124, |
| "recall_at_10": 0.10077519379844961, |
| "recall_at_5": 0.03875968992248062, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 112.34, |
| "mrr": 0.2526504842825891, |
| "ndcg_at_10": 0.28206333694952074, |
| "recall_at_1": 0.16933333333333334, |
| "recall_at_10": 0.416, |
| "recall_at_5": 0.33466666666666667, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 5.923076923076923, |
| "mrr": 0.3787221325682864, |
| "ndcg_at_10": 0.45436356133195205, |
| "recall_at_1": 0.23076923076923078, |
| "recall_at_10": 0.7692307692307693, |
| "recall_at_5": 0.5384615384615384, |
| "samples": 13 |
| } |
| } |
| } |
|
|
