| { |
| "artifact_bytes": 464159282, |
| "attention_implementation": "sdpa", |
| "backend": "pytorch_cuda_bf16", |
| "batch_sizes": { |
| "passage": 4, |
| "query": 32 |
| }, |
| "corpus": "corpus/test.jsonl", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "cuda": { |
| "device": "NVIDIA GeForce RTX 3090 Ti", |
| "peak_memory_bytes": 736232960, |
| "torch": "2.13.0+cu130" |
| }, |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200, |
| "passage_tokens": 2048, |
| "query_tokens": 512 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "model_path": "artifacts/LFM2.5-Encoder-230M-Code-BF16", |
| "passage_seconds": 36.66620972999999, |
| "passages_per_second": 190.77510469473884, |
| "queries_per_second": 755.686463584362, |
| "query_seconds": 9.256484451000233, |
| "samples": 6995, |
| "schema_version": 1, |
| "slices": { |
| "all": { |
| "mean_rank": 314.2793423874196, |
| "mrr": 0.3962739246063872, |
| "ndcg_at_10": 0.42364173920455106, |
| "recall_at_1": 0.3222301644031451, |
| "recall_at_10": 0.5373838456040029, |
| "recall_at_5": 0.4751965689778413 |
| }, |
| "c": { |
| "mean_rank": 13.052631578947368, |
| "mrr": 0.2737884028682507, |
| "ndcg_at_10": 0.3169729359077213, |
| "recall_at_1": 0.12631578947368421, |
| "recall_at_10": 0.5368421052631579, |
| "recall_at_5": 0.4, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 225.32933333333332, |
| "mrr": 0.08600343125333741, |
| "ndcg_at_10": 0.0910546934939449, |
| "recall_at_1": 0.050666666666666665, |
| "recall_at_10": 0.14133333333333334, |
| "recall_at_5": 0.108, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 12.850666666666667, |
| "mrr": 0.6596772572519141, |
| "ndcg_at_10": 0.6892601855452422, |
| "recall_at_1": 0.5733333333333334, |
| "recall_at_10": 0.8, |
| "recall_at_5": 0.756, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 33.64666666666667, |
| "mrr": 0.45932888241935205, |
| "ndcg_at_10": 0.5034351901738695, |
| "recall_at_1": 0.35333333333333333, |
| "recall_at_10": 0.676, |
| "recall_at_5": 0.5813333333333334, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 60.748, |
| "mrr": 0.4212374168111231, |
| "ndcg_at_10": 0.4547832561213962, |
| "recall_at_1": 0.336, |
| "recall_at_10": 0.5933333333333334, |
| "recall_at_5": 0.516, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 14.878666666666666, |
| "mrr": 0.6847110916702501, |
| "ndcg_at_10": 0.7201481645824124, |
| "recall_at_1": 0.6013333333333334, |
| "recall_at_10": 0.8493333333333334, |
| "recall_at_5": 0.784, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 9.890666666666666, |
| "mrr": 0.83537476194661, |
| "ndcg_at_10": 0.8503649612192248, |
| "recall_at_1": 0.7946666666666666, |
| "recall_at_10": 0.9066666666666666, |
| "recall_at_5": 0.8826666666666667, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 21.602666666666668, |
| "mrr": 0.6119444880719548, |
| "ndcg_at_10": 0.6505055322380063, |
| "recall_at_1": 0.5093333333333333, |
| "recall_at_10": 0.7946666666666666, |
| "recall_at_5": 0.732, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 62.42133333333334, |
| "mrr": 0.3392667537492009, |
| "ndcg_at_10": 0.379030616915146, |
| "recall_at_1": 0.236, |
| "recall_at_10": 0.544, |
| "recall_at_5": 0.4533333333333333, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 1.3333333333333333, |
| "mrr": 0.8333333333333334, |
| "ndcg_at_10": 0.8769765845238192, |
| "recall_at_1": 0.6666666666666666, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 60.713178294573645, |
| "mrr": 0.04564208938294146, |
| "ndcg_at_10": 0.038325852962882274, |
| "recall_at_1": 0.007751937984496124, |
| "recall_at_10": 0.08527131782945736, |
| "recall_at_5": 0.03875968992248062, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 111.74533333333333, |
| "mrr": 0.25350446065401616, |
| "ndcg_at_10": 0.2827095492191127, |
| "recall_at_1": 0.17066666666666666, |
| "recall_at_10": 0.416, |
| "recall_at_5": 0.332, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 5.846153846153846, |
| "mrr": 0.37979050863666247, |
| "ndcg_at_10": 0.4554739368028557, |
| "recall_at_1": 0.23076923076923078, |
| "recall_at_10": 0.7692307692307693, |
| "recall_at_5": 0.5384615384615384, |
| "samples": 13 |
| } |
| } |
| } |
|
|
