| { |
| "artifact_bytes": 713740038, |
| "attention_implementation": "sdpa", |
| "backend": "pytorch_cuda_bf16", |
| "batch_sizes": { |
| "passage": 4, |
| "query": 32 |
| }, |
| "corpus": "corpus/test.jsonl", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "cuda": { |
| "device": "NVIDIA GeForce RTX 3090 Ti", |
| "peak_memory_bytes": 1109022208, |
| "torch": "2.13.0+cu130" |
| }, |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200, |
| "passage_tokens": 2048, |
| "query_tokens": 512 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "model_path": "artifacts/LFM2.5-Encoder-350M-Code-BF16", |
| "passage_seconds": 50.30001908699978, |
| "passages_per_second": 139.06555359156678, |
| "queries_per_second": 616.2373005553991, |
| "query_seconds": 11.351146698999855, |
| "samples": 6995, |
| "schema_version": 1, |
| "slices": { |
| "all": { |
| "mean_rank": 330.28591851322375, |
| "mrr": 0.37089093999564154, |
| "ndcg_at_10": 0.3962590273267118, |
| "recall_at_1": 0.3005003573981415, |
| "recall_at_10": 0.5049320943531094, |
| "recall_at_5": 0.4437455325232309 |
| }, |
| "c": { |
| "mean_rank": 20.442105263157895, |
| "mrr": 0.2117731377864393, |
| "ndcg_at_10": 0.25758555301843117, |
| "recall_at_1": 0.08421052631578947, |
| "recall_at_10": 0.47368421052631576, |
| "recall_at_5": 0.3473684210526316, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 237.88933333333333, |
| "mrr": 0.06541919883247528, |
| "ndcg_at_10": 0.07290348520617336, |
| "recall_at_1": 0.032, |
| "recall_at_10": 0.128, |
| "recall_at_5": 0.08133333333333333, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 13.869333333333334, |
| "mrr": 0.6293734301417436, |
| "ndcg_at_10": 0.6621000353289516, |
| "recall_at_1": 0.54, |
| "recall_at_10": 0.7866666666666666, |
| "recall_at_5": 0.7346666666666667, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 48.08266666666667, |
| "mrr": 0.40234729303495803, |
| "ndcg_at_10": 0.43446309427036295, |
| "recall_at_1": 0.31066666666666665, |
| "recall_at_10": 0.576, |
| "recall_at_5": 0.492, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 63.85066666666667, |
| "mrr": 0.3910450252557199, |
| "ndcg_at_10": 0.42094312386513455, |
| "recall_at_1": 0.30933333333333335, |
| "recall_at_10": 0.5506666666666666, |
| "recall_at_5": 0.4693333333333333, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 14.481333333333334, |
| "mrr": 0.6705795049717042, |
| "ndcg_at_10": 0.7096795137502152, |
| "recall_at_1": 0.5773333333333334, |
| "recall_at_10": 0.8493333333333334, |
| "recall_at_5": 0.7733333333333333, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 10.656, |
| "mrr": 0.7955152937681796, |
| "ndcg_at_10": 0.8114962511678071, |
| "recall_at_1": 0.7466666666666667, |
| "recall_at_10": 0.8733333333333333, |
| "recall_at_5": 0.8506666666666667, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 24.110666666666667, |
| "mrr": 0.5751810813270319, |
| "ndcg_at_10": 0.6209289374969588, |
| "recall_at_1": 0.45866666666666667, |
| "recall_at_10": 0.7866666666666666, |
| "recall_at_5": 0.7106666666666667, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 74.77466666666666, |
| "mrr": 0.28952116580703935, |
| "ndcg_at_10": 0.3245350728741736, |
| "recall_at_1": 0.18933333333333333, |
| "recall_at_10": 0.476, |
| "recall_at_5": 0.4, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 1.8333333333333333, |
| "mrr": 0.6944444444444445, |
| "ndcg_at_10": 0.7718216255952429, |
| "recall_at_1": 0.5, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 62.21705426356589, |
| "mrr": 0.05538568674278197, |
| "ndcg_at_10": 0.05145324796436084, |
| "recall_at_1": 0.015503875968992248, |
| "recall_at_10": 0.10077519379844961, |
| "recall_at_5": 0.06201550387596899, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 128.28, |
| "mrr": 0.19319093360004239, |
| "ndcg_at_10": 0.20877946282216098, |
| "recall_at_1": 0.128, |
| "recall_at_10": 0.30666666666666664, |
| "recall_at_5": 0.24266666666666667, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 6.153846153846154, |
| "mrr": 0.3277453315914854, |
| "ndcg_at_10": 0.4153737804972049, |
| "recall_at_1": 0.15384615384615385, |
| "recall_at_10": 0.7692307692307693, |
| "recall_at_5": 0.46153846153846156, |
| "samples": 13 |
| } |
| } |
| } |
|
|
