File size: 5,151 Bytes
202ca6a | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 | {
"artifact_bytes": 1167680422,
"corpus": "/Users/kearm/datasets/calibrated-code-embeddings/corpus-v2/test.jsonl",
"corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315",
"input_limits": {
"max_passage_chars": 4000,
"max_query_chars": 1200,
"passage_tokens": 2048,
"query_tokens": 512
},
"language_counts": {
"c": 95,
"cpp": 750,
"cuda": 1,
"go": 750,
"java": 750,
"javascript": 750,
"php": 750,
"python": 750,
"ruby": 750,
"rust": 750,
"shell": 6,
"swift": 1,
"toml": 129,
"typescript": 750,
"yaml": 13
},
"mlx_peak_memory_bytes": 2240834788,
"model_path": "/Users/kearm/AlphaHENG/contrib/jina-code-mlx/artifacts/jina-code-embeddings-1.5b-block-gptq-mxfp4-32k",
"passage_seconds": 911.0980732080061,
"passages_per_second": 7.6775488892983565,
"quantization": {
"algorithm": "activation_calibrated_block_gptq",
"bits": 4,
"group_size": 32,
"mode": "mxfp4"
},
"queries_per_second": 105.21865375394287,
"query_seconds": 66.48060729191639,
"samples": 6995,
"schema_version": 1,
"slices": {
"all": {
"mean_rank": 103.54639027877055,
"mrr": 0.6645307132129207,
"ndcg_at_10": 0.6832195198595511,
"recall_at_1": 0.6132952108649035,
"recall_at_10": 0.7571122230164403,
"recall_at_5": 0.7220872051465332
},
"c": {
"mean_rank": 10.536842105263158,
"mrr": 0.3892350185776422,
"ndcg_at_10": 0.4356184122309751,
"recall_at_1": 0.25263157894736843,
"recall_at_10": 0.6421052631578947,
"recall_at_5": 0.5052631578947369,
"samples": 95
},
"cpp": {
"mean_rank": 152.416,
"mrr": 0.15427718580417377,
"ndcg_at_10": 0.16714531254791365,
"recall_at_1": 0.09866666666666667,
"recall_at_10": 0.252,
"recall_at_5": 0.19866666666666666,
"samples": 750
},
"cuda": {
"mean_rank": 1.0,
"mrr": 1.0,
"ndcg_at_10": 1.0,
"recall_at_1": 1.0,
"recall_at_10": 1.0,
"recall_at_5": 1.0,
"samples": 1
},
"go": {
"mean_rank": 4.412,
"mrr": 0.8582833049575193,
"ndcg_at_10": 0.8651855424934813,
"recall_at_1": 0.8306666666666667,
"recall_at_10": 0.9,
"recall_at_5": 0.8826666666666667,
"samples": 750
},
"java": {
"mean_rank": 16.785333333333334,
"mrr": 0.66186456149203,
"ndcg_at_10": 0.691268227161557,
"recall_at_1": 0.5893333333333334,
"recall_at_10": 0.808,
"recall_at_5": 0.752,
"samples": 750
},
"javascript": {
"mean_rank": 27.624,
"mrr": 0.6826498449161382,
"ndcg_at_10": 0.7014276716148345,
"recall_at_1": 0.6213333333333333,
"recall_at_10": 0.776,
"recall_at_5": 0.7493333333333333,
"samples": 750
},
"php": {
"mean_rank": 1.268,
"mrr": 0.9669247234247235,
"ndcg_at_10": 0.9735119733985235,
"recall_at_1": 0.9493333333333334,
"recall_at_10": 0.9946666666666667,
"recall_at_5": 0.988,
"samples": 750
},
"python": {
"mean_rank": 4.644,
"mrr": 0.9461748374111352,
"ndcg_at_10": 0.9538578205814637,
"recall_at_1": 0.928,
"recall_at_10": 0.9786666666666667,
"recall_at_5": 0.9746666666666667,
"samples": 750
},
"ruby": {
"mean_rank": 7.512,
"mrr": 0.9067472399844737,
"ndcg_at_10": 0.9196154278222062,
"recall_at_1": 0.8693333333333333,
"recall_at_10": 0.9613333333333334,
"recall_at_5": 0.9493333333333334,
"samples": 750
},
"rust": {
"mean_rank": 37.792,
"mrr": 0.6631819513078547,
"ndcg_at_10": 0.6858336492369697,
"recall_at_1": 0.5946666666666667,
"recall_at_10": 0.7733333333333333,
"recall_at_5": 0.744,
"samples": 750
},
"shell": {
"mean_rank": 1.1666666666666667,
"mrr": 0.9166666666666666,
"ndcg_at_10": 0.9384882922619097,
"recall_at_1": 0.8333333333333334,
"recall_at_10": 1.0,
"recall_at_5": 1.0,
"samples": 6
},
"swift": {
"mean_rank": 1.0,
"mrr": 1.0,
"ndcg_at_10": 1.0,
"recall_at_1": 1.0,
"recall_at_10": 1.0,
"recall_at_5": 1.0,
"samples": 1
},
"toml": {
"mean_rank": 50.58914728682171,
"mrr": 0.08224830770599856,
"ndcg_at_10": 0.08961173144962573,
"recall_at_1": 0.023255813953488372,
"recall_at_10": 0.17829457364341086,
"recall_at_5": 0.10852713178294573,
"samples": 129
},
"typescript": {
"mean_rank": 72.01733333333334,
"mrr": 0.505671283186395,
"ndcg_at_10": 0.5357110087200713,
"recall_at_1": 0.428,
"recall_at_10": 0.6533333333333333,
"recall_at_5": 0.592,
"samples": 750
},
"yaml": {
"mean_rank": 4.384615384615385,
"mrr": 0.4211871461871462,
"ndcg_at_10": 0.5338924197527659,
"recall_at_1": 0.23076923076923078,
"recall_at_10": 0.9230769230769231,
"recall_at_5": 0.6153846153846154,
"samples": 13
}
}
}
|