| { |
| "checkpoint_batches_reused": { |
| "passage": 0, |
| "query": 6 |
| }, |
| "checkpoint_key": "6866ab2e6cc3ee045622176e71ced905784184ad00fee39bf0d41158ee86a958", |
| "corpus_sha256": "9ed10842a12132b6bfb5421df1e2f88dbcfbf6f6e960f36b22eb9ea6e3c72315", |
| "dimensions": 768, |
| "endpoint": "http://127.0.0.1:1234/v1/embeddings", |
| "input_limits": { |
| "max_passage_chars": 4000, |
| "max_query_chars": 1200 |
| }, |
| "language_counts": { |
| "c": 95, |
| "cpp": 750, |
| "cuda": 1, |
| "go": 750, |
| "java": 750, |
| "javascript": 750, |
| "php": 750, |
| "python": 750, |
| "ruby": 750, |
| "rust": 750, |
| "shell": 6, |
| "swift": 1, |
| "toml": 129, |
| "typescript": 750, |
| "yaml": 13 |
| }, |
| "model": "text-embedding-nomic-embed-text-v1.5", |
| "passage_prefix": "search_document: ", |
| "passage_seconds": 98.93736557476223, |
| "passages_per_second": 70.70129631371894, |
| "queries_per_second": 227.48469030126313, |
| "query_prefix": "search_query: ", |
| "query_seconds": 30.749322034535, |
| "samples": 6995, |
| "schema_version": 1, |
| "send_input_type": false, |
| "slices": { |
| "all": { |
| "mean_rank": 413.25461043602576, |
| "mrr": 0.5438699672924275, |
| "ndcg_at_10": 0.5594746856963334, |
| "recall_at_1": 0.496783416726233, |
| "recall_at_10": 0.6235882773409578, |
| "recall_at_5": 0.5954253037884203 |
| }, |
| "c": { |
| "mean_rank": 18.810526315789474, |
| "mrr": 0.3349304175997217, |
| "ndcg_at_10": 0.3758610556195194, |
| "recall_at_1": 0.24210526315789474, |
| "recall_at_10": 0.5684210526315789, |
| "recall_at_5": 0.4105263157894737, |
| "samples": 95 |
| }, |
| "cpp": { |
| "mean_rank": 225.484, |
| "mrr": 0.12252842251745079, |
| "ndcg_at_10": 0.12836393623470194, |
| "recall_at_1": 0.088, |
| "recall_at_10": 0.17333333333333334, |
| "recall_at_5": 0.14933333333333335, |
| "samples": 750 |
| }, |
| "cuda": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "go": { |
| "mean_rank": 6.317333333333333, |
| "mrr": 0.8176835590459496, |
| "ndcg_at_10": 0.8276220336511866, |
| "recall_at_1": 0.7826666666666666, |
| "recall_at_10": 0.8746666666666667, |
| "recall_at_5": 0.8506666666666667, |
| "samples": 750 |
| }, |
| "java": { |
| "mean_rank": 104.924, |
| "mrr": 0.42161124954745804, |
| "ndcg_at_10": 0.4292402209951097, |
| "recall_at_1": 0.38666666666666666, |
| "recall_at_10": 0.468, |
| "recall_at_5": 0.45866666666666667, |
| "samples": 750 |
| }, |
| "javascript": { |
| "mean_rank": 68.40133333333333, |
| "mrr": 0.5473207430288232, |
| "ndcg_at_10": 0.5634006679992984, |
| "recall_at_1": 0.49466666666666664, |
| "recall_at_10": 0.636, |
| "recall_at_5": 0.5986666666666667, |
| "samples": 750 |
| }, |
| "php": { |
| "mean_rank": 4.996, |
| "mrr": 0.9103270805518271, |
| "ndcg_at_10": 0.9227365731375411, |
| "recall_at_1": 0.8786666666666667, |
| "recall_at_10": 0.964, |
| "recall_at_5": 0.9466666666666667, |
| "samples": 750 |
| }, |
| "python": { |
| "mean_rank": 6.88, |
| "mrr": 0.9288619780756562, |
| "ndcg_at_10": 0.9362239763854979, |
| "recall_at_1": 0.9106666666666666, |
| "recall_at_10": 0.9626666666666667, |
| "recall_at_5": 0.9493333333333334, |
| "samples": 750 |
| }, |
| "ruby": { |
| "mean_rank": 16.56, |
| "mrr": 0.763520943146688, |
| "ndcg_at_10": 0.7915276677973523, |
| "recall_at_1": 0.6906666666666667, |
| "recall_at_10": 0.8893333333333333, |
| "recall_at_5": 0.8493333333333334, |
| "samples": 750 |
| }, |
| "rust": { |
| "mean_rank": 55.12266666666667, |
| "mrr": 0.5650338056304871, |
| "ndcg_at_10": 0.5979973067312523, |
| "recall_at_1": 0.476, |
| "recall_at_10": 0.7213333333333334, |
| "recall_at_5": 0.6653333333333333, |
| "samples": 750 |
| }, |
| "shell": { |
| "mean_rank": 1.6666666666666667, |
| "mrr": 0.7222222222222223, |
| "ndcg_at_10": 0.793643251190486, |
| "recall_at_1": 0.5, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 6 |
| }, |
| "swift": { |
| "mean_rank": 1.0, |
| "mrr": 1.0, |
| "ndcg_at_10": 1.0, |
| "recall_at_1": 1.0, |
| "recall_at_10": 1.0, |
| "recall_at_5": 1.0, |
| "samples": 1 |
| }, |
| "toml": { |
| "mean_rank": 55.5968992248062, |
| "mrr": 0.06632606113659928, |
| "ndcg_at_10": 0.06936890220881972, |
| "recall_at_1": 0.015503875968992248, |
| "recall_at_10": 0.14728682170542637, |
| "recall_at_5": 0.07751937984496124, |
| "samples": 129 |
| }, |
| "typescript": { |
| "mean_rank": 136.64533333333333, |
| "mrr": 0.3616946912432509, |
| "ndcg_at_10": 0.3814741977323122, |
| "recall_at_1": 0.3, |
| "recall_at_10": 0.4706666666666667, |
| "recall_at_5": 0.4226666666666667, |
| "samples": 750 |
| }, |
| "yaml": { |
| "mean_rank": 5.615384615384615, |
| "mrr": 0.38293181177796565, |
| "ndcg_at_10": 0.4801945648018741, |
| "recall_at_1": 0.23076923076923078, |
| "recall_at_10": 0.8461538461538461, |
| "recall_at_5": 0.5384615384615384, |
| "samples": 13 |
| } |
| } |
| } |
|
|
