| { |
| "manifest": { |
| "experiment": "five_method_four_signal_validation_question_hidden4096_v1", |
| "split": "val", |
| "question_ids": [ |
| "Q025", |
| "Q032", |
| "Q051", |
| "Q10001", |
| "Q10388", |
| "Q10516", |
| "Q10608", |
| "Q10619", |
| "Q10876", |
| "Q10893", |
| "Q11004", |
| "Q1163", |
| "Q11829", |
| "Q12118", |
| "Q12184", |
| "Q12211", |
| "Q12262", |
| "Q12334", |
| "Q12573", |
| "Q12608", |
| "Q12645", |
| "Q12657", |
| "Q12884", |
| "Q12885", |
| "Q1322", |
| "Q13463", |
| "Q14082", |
| "Q14476", |
| "Q14534", |
| "Q14758", |
| "Q14784", |
| "Q14815", |
| "Q14847", |
| "Q14881", |
| "Q15096", |
| "Q15278", |
| "Q15367", |
| "Q15493", |
| "Q155", |
| "Q15573", |
| "Q15631", |
| "Q15951", |
| "Q16060", |
| "Q16175", |
| "Q16212", |
| "Q16424", |
| "Q16719", |
| "Q1714", |
| "Q17201", |
| "Q17213", |
| "Q17254", |
| "Q17683", |
| "Q17750", |
| "Q17828", |
| "Q18030", |
| "Q18071", |
| "Q18080", |
| "Q18151", |
| "Q18157", |
| "Q18176", |
| "Q18233", |
| "Q18277", |
| "Q18313", |
| "Q18719", |
| "Q1880", |
| "Q1917", |
| "Q193", |
| "Q19701", |
| "Q19769", |
| "Q19819", |
| "Q20025", |
| "Q20285", |
| "Q20334", |
| "Q20353", |
| "Q20594", |
| "Q20823", |
| "Q21168", |
| "Q21170", |
| "Q21183", |
| "Q21393", |
| "Q21447", |
| "Q21583", |
| "Q21697", |
| "Q21775", |
| "Q21951", |
| "Q2213", |
| "Q22212", |
| "Q22224", |
| "Q22727", |
| "Q22956", |
| "Q23096", |
| "Q23135", |
| "Q23174", |
| "Q23405", |
| "Q24424", |
| "Q24523", |
| "Q24781", |
| "Q25098", |
| "Q25345", |
| "Q25494", |
| "Q25618", |
| "Q25656", |
| "Q2580", |
| "Q26048", |
| "Q26433", |
| "Q2668", |
| "Q26781", |
| "Q26812", |
| "Q26818", |
| "Q26913", |
| "Q27082", |
| "Q27174", |
| "Q27217", |
| "Q2733", |
| "Q27645", |
| "Q27841", |
| "Q27882", |
| "Q28076", |
| "Q28175", |
| "Q28896", |
| "Q29160", |
| "Q29512", |
| "Q29663", |
| "Q29794", |
| "Q30022", |
| "Q30178", |
| "Q30383", |
| "Q31025", |
| "Q31068", |
| "Q31236", |
| "Q31407", |
| "Q31574", |
| "Q31660", |
| "Q31922", |
| "Q32625", |
| "Q33243", |
| "Q33250", |
| "Q33445", |
| "Q33672", |
| "Q34292", |
| "Q3487", |
| "Q35883", |
| "Q36375", |
| "Q36667", |
| "Q36729", |
| "Q36865", |
| "Q37269", |
| "Q3732", |
| "Q37562", |
| "Q37814", |
| "Q38116", |
| "Q38320", |
| "Q38886", |
| "Q39179", |
| "Q39680", |
| "Q39866", |
| "Q39939", |
| "Q40123", |
| "Q40343", |
| "Q40758", |
| "Q40794", |
| "Q40975", |
| "Q41061", |
| "Q41123", |
| "Q41162", |
| "Q41229", |
| "Q41633", |
| "Q41808", |
| "Q41967", |
| "Q41980", |
| "Q42002", |
| "Q42062", |
| "Q42285", |
| "Q42288", |
| "Q42321", |
| "Q42344", |
| "Q42618", |
| "Q42806", |
| "Q42825", |
| "Q43120", |
| "Q43276", |
| "Q43290", |
| "Q43768", |
| "Q43962", |
| "Q44001", |
| "Q44151", |
| "Q44206", |
| "Q44230", |
| "Q44399", |
| "Q44509", |
| "Q44544", |
| "Q4474", |
| "Q4479", |
| "Q45231", |
| "Q45258", |
| "Q45522", |
| "Q4591", |
| "Q45918", |
| "Q4594", |
| "Q46003", |
| "Q46006", |
| "Q46190", |
| "Q46246", |
| "Q4646", |
| "Q46627", |
| "Q46733", |
| "Q46736", |
| "Q46853", |
| "Q46868", |
| "Q46927", |
| "Q4701", |
| "Q47120", |
| "Q47246", |
| "Q4748", |
| "Q4765", |
| "Q4900", |
| "Q499", |
| "Q5086", |
| "Q5119", |
| "Q5591", |
| "Q5909", |
| "Q5980", |
| "Q6083", |
| "Q6182", |
| "Q6199", |
| "Q6360", |
| "Q6397", |
| "Q6455", |
| "Q6502", |
| "Q6671", |
| "Q6745", |
| "Q6821", |
| "Q6942", |
| "Q7290", |
| "Q7619", |
| "Q788", |
| "Q7887", |
| "Q797", |
| "Q8269", |
| "Q8308", |
| "Q8347", |
| "Q8391", |
| "Q856", |
| "Q8933", |
| "Q9462", |
| "Q9577", |
| "Q9610", |
| "Q9668", |
| "Q9929", |
| "Q9943" |
| ], |
| "languages": [ |
| "cebuano", |
| "english", |
| "french", |
| "german", |
| "greek", |
| "hebrew", |
| "spanish", |
| "tagalog" |
| ], |
| "sample_seed": 20261006, |
| "candidate_language": "english", |
| "candidate_verses": 41995, |
| "candidates_per_lane": 200, |
| "methods": [ |
| "dense", |
| "weighted_genome", |
| "weighted_90_10", |
| "bge_dense_sparse_colbert", |
| "experiment_d" |
| ], |
| "four_signal_weights": { |
| "dense": 0.28, |
| "sparse": 0.14, |
| "colbert": 0.28, |
| "genome": 0.3 |
| }, |
| "weighted_two_signal": { |
| "genome": 0.9, |
| "dense": 0.1 |
| }, |
| "checkpoint_sha256": "5a68ef73167f48899c927dfb5e25dfe8ff50d0b8e8310cd6f3ff3c93b8bf9952", |
| "checkpoint_track": "question", |
| "checkpoint_hidden": 4096, |
| "fp16_head_sha256": "55e910550ccff8e463729379c6c08c3ebb72f152ba4df0c3217d143aa91b9cf3", |
| "fp16_head_parity_max_abs": 0.0008486509323120117, |
| "fp16_head_parity_mean_cosine": 1.0, |
| "bge_m3_revision": "5617a9f61b028005a4858fdac845db406aefb181", |
| "flagembedding_version": "1.4.2", |
| "family_q_weight": 0.0 |
| }, |
| "completed_question_ids": 250, |
| "completed_rows": 2000, |
| "expected_rows": 2000, |
| "overall_cluster_bootstrap": { |
| "dense": { |
| "recall@10": { |
| "mean": 0.024358333333333336, |
| "low": 0.017833333333333333, |
| "high": 0.03143354166666666 |
| }, |
| "recall@20": { |
| "mean": 0.037825000000000004, |
| "low": 0.028966458333333334, |
| "high": 0.04721687499999999 |
| }, |
| "mrr@20": { |
| "mean": 0.051011985363707504, |
| "low": 0.03494716504776828, |
| "high": 0.06874623539703117 |
| }, |
| "weighted_ndcg@20": { |
| "mean": 0.03106096248570316, |
| "low": 0.021967145016875016, |
| "high": 0.040995203099106564 |
| } |
| }, |
| "weighted_genome": { |
| "recall@10": { |
| "mean": 0.1350833333333333, |
| "low": 0.11531645833333333, |
| "high": 0.15438583333333328 |
| }, |
| "recall@20": { |
| "mean": 0.17568333333333333, |
| "low": 0.15284145833333332, |
| "high": 0.19755854166666664 |
| }, |
| "mrr@20": { |
| "mean": 0.24174455661297764, |
| "low": 0.20410701687615146, |
| "high": 0.2787487501964732 |
| }, |
| "weighted_ndcg@20": { |
| "mean": 0.15626929941091317, |
| "low": 0.13224160393033846, |
| "high": 0.17942760874826716 |
| } |
| }, |
| "weighted_90_10": { |
| "recall@10": { |
| "mean": 0.14486666666666667, |
| "low": 0.124631875, |
| "high": 0.16446937499999997 |
| }, |
| "recall@20": { |
| "mean": 0.18672499999999997, |
| "low": 0.162731875, |
| "high": 0.20931812499999997 |
| }, |
| "mrr@20": { |
| "mean": 0.26032609940584006, |
| "low": 0.22205060619382555, |
| "high": 0.29715744103715125 |
| }, |
| "weighted_ndcg@20": { |
| "mean": 0.1676779937164905, |
| "low": 0.14310348312589943, |
| "high": 0.19142050183568896 |
| } |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": { |
| "mean": 0.03149999999999999, |
| "low": 0.024, |
| "high": 0.039525000000000005 |
| }, |
| "recall@20": { |
| "mean": 0.048958333333333326, |
| "low": 0.03919104166666667, |
| "high": 0.05955124999999998 |
| }, |
| "mrr@20": { |
| "mean": 0.06272950293600447, |
| "low": 0.046572760353251835, |
| "high": 0.08041405770930778 |
| }, |
| "weighted_ndcg@20": { |
| "mean": 0.038395102460161826, |
| "low": 0.028874713968453012, |
| "high": 0.048275712884382205 |
| } |
| }, |
| "experiment_d": { |
| "recall@10": { |
| "mean": 0.06696666666666667, |
| "low": 0.055533124999999996, |
| "high": 0.07885104166666664 |
| }, |
| "recall@20": { |
| "mean": 0.09768333333333332, |
| "low": 0.08335729166666668, |
| "high": 0.11235875 |
| }, |
| "mrr@20": { |
| "mean": 0.1367895560944903, |
| "low": 0.11040850932429927, |
| "high": 0.16394163302936954 |
| }, |
| "weighted_ndcg@20": { |
| "mean": 0.08129438742965414, |
| "low": 0.06645920942862378, |
| "high": 0.09618033839610174 |
| } |
| } |
| }, |
| "candidate_union_recall": { |
| "mean": 0.44202500000000006, |
| "low": 0.41277375, |
| "high": 0.4705010416666666 |
| }, |
| "by_language": { |
| "cebuano": { |
| "dense": { |
| "recall@10": 0.009599999999999997, |
| "recall@20": 0.01653333333333333, |
| "mrr@20": 0.013236263736263736, |
| "weighted_ndcg@20": 0.00883686361129843 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.06559999999999999, |
| "recall@20": 0.084, |
| "mrr@20": 0.11596143790849674, |
| "weighted_ndcg@20": 0.06762174970799319 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.07019999999999998, |
| "recall@20": 0.09526666666666667, |
| "mrr@20": 0.13499191159717475, |
| "weighted_ndcg@20": 0.07917209758621281 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.010399999999999998, |
| "recall@20": 0.019, |
| "mrr@20": 0.016534271284271283, |
| "weighted_ndcg@20": 0.011714408546470418 |
| }, |
| "experiment_d": { |
| "recall@10": 0.028866666666666665, |
| "recall@20": 0.049466666666666666, |
| "mrr@20": 0.03887013272245471, |
| "weighted_ndcg@20": 0.028267045882839566 |
| } |
| }, |
| "english": { |
| "dense": { |
| "recall@10": 0.04333333333333333, |
| "recall@20": 0.05893333333333334, |
| "mrr@20": 0.09459431913116124, |
| "weighted_ndcg@20": 0.05378794583919604 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.18180000000000002, |
| "recall@20": 0.21993333333333334, |
| "mrr@20": 0.3214196276719497, |
| "weighted_ndcg@20": 0.20533247541321145 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.1878, |
| "recall@20": 0.23073333333333332, |
| "mrr@20": 0.3551371843842432, |
| "weighted_ndcg@20": 0.2215837109636164 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.061599999999999995, |
| "recall@20": 0.08519999999999998, |
| "mrr@20": 0.13645095956674902, |
| "weighted_ndcg@20": 0.07713335517154105 |
| }, |
| "experiment_d": { |
| "recall@10": 0.08893333333333334, |
| "recall@20": 0.1368, |
| "mrr@20": 0.21050320298896147, |
| "weighted_ndcg@20": 0.12229188387989554 |
| } |
| }, |
| "french": { |
| "dense": { |
| "recall@10": 0.030866666666666667, |
| "recall@20": 0.04440000000000001, |
| "mrr@20": 0.05858647259173575, |
| "weighted_ndcg@20": 0.03766874713675634 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.16853333333333334, |
| "recall@20": 0.20986666666666667, |
| "mrr@20": 0.2913620264496426, |
| "weighted_ndcg@20": 0.18962705545276934 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.17726666666666666, |
| "recall@20": 0.22393333333333335, |
| "mrr@20": 0.30028972465443055, |
| "weighted_ndcg@20": 0.2008721636839681 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.042, |
| "recall@20": 0.05859999999999999, |
| "mrr@20": 0.09079896214896215, |
| "weighted_ndcg@20": 0.05207448089235733 |
| }, |
| "experiment_d": { |
| "recall@10": 0.07899999999999999, |
| "recall@20": 0.10733333333333332, |
| "mrr@20": 0.17117551768836597, |
| "weighted_ndcg@20": 0.09800224140884863 |
| } |
| }, |
| "german": { |
| "dense": { |
| "recall@10": 0.020933333333333335, |
| "recall@20": 0.03793333333333333, |
| "mrr@20": 0.046312064646739565, |
| "weighted_ndcg@20": 0.028948449436592406 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.14746666666666666, |
| "recall@20": 0.192, |
| "mrr@20": 0.26682582359161305, |
| "weighted_ndcg@20": 0.16959824611897464 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.15986666666666668, |
| "recall@20": 0.20506666666666667, |
| "mrr@20": 0.28080794310608553, |
| "weighted_ndcg@20": 0.18153347436058184 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.028599999999999997, |
| "recall@20": 0.04853333333333334, |
| "mrr@20": 0.0557501837859423, |
| "weighted_ndcg@20": 0.03629092247905656 |
| }, |
| "experiment_d": { |
| "recall@10": 0.07593333333333334, |
| "recall@20": 0.11279999999999998, |
| "mrr@20": 0.13878295160292067, |
| "weighted_ndcg@20": 0.08594360676351548 |
| } |
| }, |
| "greek": { |
| "dense": { |
| "recall@10": 0.023599999999999996, |
| "recall@20": 0.03373333333333334, |
| "mrr@20": 0.04868164016925627, |
| "weighted_ndcg@20": 0.030088462723027752 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.11533333333333334, |
| "recall@20": 0.16853333333333334, |
| "mrr@20": 0.20299260820019333, |
| "weighted_ndcg@20": 0.14016082410501918 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.13266666666666665, |
| "recall@20": 0.1795333333333333, |
| "mrr@20": 0.21963679710382497, |
| "weighted_ndcg@20": 0.15146138165604775 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.023666666666666666, |
| "recall@20": 0.03886666666666667, |
| "mrr@20": 0.05120649905649906, |
| "weighted_ndcg@20": 0.030345255970291946 |
| }, |
| "experiment_d": { |
| "recall@10": 0.056666666666666664, |
| "recall@20": 0.08706666666666667, |
| "mrr@20": 0.12885387495201736, |
| "weighted_ndcg@20": 0.07435042042467555 |
| } |
| }, |
| "hebrew": { |
| "dense": { |
| "recall@10": 0.02033333333333333, |
| "recall@20": 0.0316, |
| "mrr@20": 0.048446094016063056, |
| "weighted_ndcg@20": 0.029004258165204178 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.12179999999999999, |
| "recall@20": 0.15546666666666667, |
| "mrr@20": 0.2236293274492965, |
| "weighted_ndcg@20": 0.139133328819003 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.12506666666666666, |
| "recall@20": 0.17573333333333335, |
| "mrr@20": 0.22922287605755098, |
| "weighted_ndcg@20": 0.15109517077939089 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.025733333333333334, |
| "recall@20": 0.04293333333333334, |
| "mrr@20": 0.05265930490218415, |
| "weighted_ndcg@20": 0.03377922256511489 |
| }, |
| "experiment_d": { |
| "recall@10": 0.06453333333333333, |
| "recall@20": 0.08693333333333333, |
| "mrr@20": 0.13843008943241142, |
| "weighted_ndcg@20": 0.07898237278508083 |
| } |
| }, |
| "spanish": { |
| "dense": { |
| "recall@10": 0.025799999999999997, |
| "recall@20": 0.048, |
| "mrr@20": 0.06944719659425541, |
| "weighted_ndcg@20": 0.03861702120570765 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.16713333333333333, |
| "recall@20": 0.2165333333333333, |
| "mrr@20": 0.3031002419149478, |
| "weighted_ndcg@20": 0.199683629211233 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.1795333333333333, |
| "recall@20": 0.22513333333333332, |
| "mrr@20": 0.32094485105537734, |
| "weighted_ndcg@20": 0.20800683530362363 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.034866666666666664, |
| "recall@20": 0.0596, |
| "mrr@20": 0.07037315029311933, |
| "weighted_ndcg@20": 0.042085814650551334 |
| }, |
| "experiment_d": { |
| "recall@10": 0.08233333333333333, |
| "recall@20": 0.1146, |
| "mrr@20": 0.17114001471524692, |
| "weighted_ndcg@20": 0.09664569797242636 |
| } |
| }, |
| "tagalog": { |
| "dense": { |
| "recall@10": 0.020399999999999998, |
| "recall@20": 0.03146666666666667, |
| "mrr@20": 0.028791832024184966, |
| "weighted_ndcg@20": 0.021535951767842468 |
| }, |
| "weighted_genome": { |
| "recall@10": 0.113, |
| "recall@20": 0.15913333333333332, |
| "mrr@20": 0.20866535971768166, |
| "weighted_ndcg@20": 0.13899708645910142 |
| }, |
| "weighted_90_10": { |
| "recall@10": 0.12653333333333333, |
| "recall@20": 0.15839999999999999, |
| "mrr@20": 0.2415775072880336, |
| "weighted_ndcg@20": 0.1476991153984826 |
| }, |
| "bge_dense_sparse_colbert": { |
| "recall@10": 0.025133333333333334, |
| "recall@20": 0.038933333333333334, |
| "mrr@20": 0.02806269245030855, |
| "weighted_ndcg@20": 0.023737359405911092 |
| }, |
| "experiment_d": { |
| "recall@10": 0.05946666666666667, |
| "recall@20": 0.08646666666666666, |
| "mrr@20": 0.0965606646535439, |
| "weighted_ndcg@20": 0.06587183031995107 |
| } |
| } |
| }, |
| "mean_seconds_per_query": 2.1415414981744654, |
| "note": "Exploratory validation sample only. Question IDs are the independent units; translations are averaged within q_id." |
| } |
|
|
