| { |
| "artifact_bytes": 1167680422, |
| "corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200, |
| "passage_tokens": 2048, |
| "query_tokens": 512 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "mlx_peak_memory_bytes": 2240834788, |
| "model_path": "/Users/kearm/AlphaHENG/contrib/jina-code-mlx/artifacts/jina-code-embeddings-1.5b-block-gptq-mxfp4-32k", |
| "passage_seconds": 911.0980732080061, |
| "passages_per_second": 7.6775488892983565, |
| "quantization": { |
| "algorithm": "activation_calibrated_block_gptq", |
| "bits": 4, |
| "group_size": 32, |
| "mode": "mxfp4" |
| }, |
| "queries_per_second": 105.21865375394287, |
| "query_seconds": 66.48060729191639, |
| "samples": 6995, |
| "schema_version": 1, |
| "slices": { |
| "all": { |
| "mean_rank": 103.54639027877055, |
| "mrr": 0.6645307132129207, |
| "ndcg_at_10": 0.6832195198595511, |
| "recall_at_1": 0.6132952108649035, |
| "recall_at_10": 0.7571122230164403, |
| "recall_at_5": 0.7220872051465332 |
| }, |
| "c": { |
| "mean_rank": 10.536842105263158, |
| "mrr": 0.3892350185776422, |
| "ndcg_at_10": 0.4356184122309751, |
| "recall_at_1": 0.25263157894736843, |
| "recall_at_10": 0.6421052631578947, |
| "recall_at_5": 0.5052631578947369, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 152.416, |
| "mrr": 0.15427718580417377, |
| "ndcg_at_10": 0.16714531254791365, |
| "recall_at_1": 0.09866666666666667, |
| "recall_at_10": 0.252, |
| "recall_at_5": 0.19866666666666666, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 4.412, |
| "mrr": 0.8582833049575193, |
| "ndcg_at_10": 0.8651855424934813, |
| "recall_at_1": 0.8306666666666667, |
| "recall_at_10": 0.9, |
| "recall_at_5": 0.8826666666666667, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 16.785333333333334, |
| "mrr": 0.66186456149203, |
| "ndcg_at_10": 0.691268227161557, |
| "recall_at_1": 0.5893333333333334, |
| "recall_at_10": 0.808, |
| "recall_at_5": 0.752, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 27.624, |
| "mrr": 0.6826498449161382, |
| "ndcg_at_10": 0.7014276716148345, |
| "recall_at_1": 0.6213333333333333, |
| "recall_at_10": 0.776, |
| "recall_at_5": 0.7493333333333333, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 1.268, |
| "mrr": 0.9669247234247235, |
| "ndcg_at_10": 0.9735119733985235, |
| "recall_at_1": 0.9493333333333334, |
| "recall_at_10": 0.9946666666666667, |
| "recall_at_5": 0.988, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 4.644, |
| "mrr": 0.9461748374111352, |
| "ndcg_at_10": 0.9538578205814637, |
| "recall_at_1": 0.928, |
| "recall_at_10": 0.9786666666666667, |
| "recall_at_5": 0.9746666666666667, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 7.512, |
| "mrr": 0.9067472399844737, |
| "ndcg_at_10": 0.9196154278222062, |
| "recall_at_1": 0.8693333333333333, |
| "recall_at_10": 0.9613333333333334, |
| "recall_at_5": 0.9493333333333334, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 37.792, |
| "mrr": 0.6631819513078547, |
| "ndcg_at_10": 0.6858336492369697, |
| "recall_at_1": 0.5946666666666667, |
| "recall_at_10": 0.7733333333333333, |
| "recall_at_5": 0.744, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 1.1666666666666667, |
| "mrr": 0.9166666666666666, |
| "ndcg_at_10": 0.9384882922619097, |
| "recall_at_1": 0.8333333333333334, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 50.58914728682171, |
| "mrr": 0.08224830770599856, |
| "ndcg_at_10": 0.08961173144962573, |
| "recall_at_1": 0.023255813953488372, |
| "recall_at_10": 0.17829457364341086, |
| "recall_at_5": 0.10852713178294573, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 72.01733333333334, |
| "mrr": 0.505671283186395, |
| "ndcg_at_10": 0.5357110087200713, |
| "recall_at_1": 0.428, |
| "recall_at_10": 0.6533333333333333, |
| "recall_at_5": 0.592, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 4.384615384615385, |
| "mrr": 0.4211871461871462, |
| "ndcg_at_10": 0.5338924197527659, |
| "recall_at_1": 0.23076923076923078, |
| "recall_at_10": 0.9230769230769231, |
| "recall_at_5": 0.6153846153846154, |
| "samples": 13 |
| } |
| } |
| } |
|
|
