{
  "manifest": {
    "experiment": "five_method_four_signal_validation_question_hidden4096_v1",
    "split": "val",
    "question_ids": [
      "Q025",
      "Q032",
      "Q051",
      "Q10001",
      "Q10388",
      "Q10516",
      "Q10608",
      "Q10619",
      "Q10876",
      "Q10893",
      "Q11004",
      "Q1163",
      "Q11829",
      "Q12118",
      "Q12184",
      "Q12211",
      "Q12262",
      "Q12334",
      "Q12573",
      "Q12608",
      "Q12645",
      "Q12657",
      "Q12884",
      "Q12885",
      "Q1322",
      "Q13463",
      "Q14082",
      "Q14476",
      "Q14534",
      "Q14758",
      "Q14784",
      "Q14815",
      "Q14847",
      "Q14881",
      "Q15096",
      "Q15278",
      "Q15367",
      "Q15493",
      "Q155",
      "Q15573",
      "Q15631",
      "Q15951",
      "Q16060",
      "Q16175",
      "Q16212",
      "Q16424",
      "Q16719",
      "Q1714",
      "Q17201",
      "Q17213",
      "Q17254",
      "Q17683",
      "Q17750",
      "Q17828",
      "Q18030",
      "Q18071",
      "Q18080",
      "Q18151",
      "Q18157",
      "Q18176",
      "Q18233",
      "Q18277",
      "Q18313",
      "Q18719",
      "Q1880",
      "Q1917",
      "Q193",
      "Q19701",
      "Q19769",
      "Q19819",
      "Q20025",
      "Q20285",
      "Q20334",
      "Q20353",
      "Q20594",
      "Q20823",
      "Q21168",
      "Q21170",
      "Q21183",
      "Q21393",
      "Q21447",
      "Q21583",
      "Q21697",
      "Q21775",
      "Q21951",
      "Q2213",
      "Q22212",
      "Q22224",
      "Q22727",
      "Q22956",
      "Q23096",
      "Q23135",
      "Q23174",
      "Q23405",
      "Q24424",
      "Q24523",
      "Q24781",
      "Q25098",
      "Q25345",
      "Q25494",
      "Q25618",
      "Q25656",
      "Q2580",
      "Q26048",
      "Q26433",
      "Q2668",
      "Q26781",
      "Q26812",
      "Q26818",
      "Q26913",
      "Q27082",
      "Q27174",
      "Q27217",
      "Q2733",
      "Q27645",
      "Q27841",
      "Q27882",
      "Q28076",
      "Q28175",
      "Q28896",
      "Q29160",
      "Q29512",
      "Q29663",
      "Q29794",
      "Q30022",
      "Q30178",
      "Q30383",
      "Q31025",
      "Q31068",
      "Q31236",
      "Q31407",
      "Q31574",
      "Q31660",
      "Q31922",
      "Q32625",
      "Q33243",
      "Q33250",
      "Q33445",
      "Q33672",
      "Q34292",
      "Q3487",
      "Q35883",
      "Q36375",
      "Q36667",
      "Q36729",
      "Q36865",
      "Q37269",
      "Q3732",
      "Q37562",
      "Q37814",
      "Q38116",
      "Q38320",
      "Q38886",
      "Q39179",
      "Q39680",
      "Q39866",
      "Q39939",
      "Q40123",
      "Q40343",
      "Q40758",
      "Q40794",
      "Q40975",
      "Q41061",
      "Q41123",
      "Q41162",
      "Q41229",
      "Q41633",
      "Q41808",
      "Q41967",
      "Q41980",
      "Q42002",
      "Q42062",
      "Q42285",
      "Q42288",
      "Q42321",
      "Q42344",
      "Q42618",
      "Q42806",
      "Q42825",
      "Q43120",
      "Q43276",
      "Q43290",
      "Q43768",
      "Q43962",
      "Q44001",
      "Q44151",
      "Q44206",
      "Q44230",
      "Q44399",
      "Q44509",
      "Q44544",
      "Q4474",
      "Q4479",
      "Q45231",
      "Q45258",
      "Q45522",
      "Q4591",
      "Q45918",
      "Q4594",
      "Q46003",
      "Q46006",
      "Q46190",
      "Q46246",
      "Q4646",
      "Q46627",
      "Q46733",
      "Q46736",
      "Q46853",
      "Q46868",
      "Q46927",
      "Q4701",
      "Q47120",
      "Q47246",
      "Q4748",
      "Q4765",
      "Q4900",
      "Q499",
      "Q5086",
      "Q5119",
      "Q5591",
      "Q5909",
      "Q5980",
      "Q6083",
      "Q6182",
      "Q6199",
      "Q6360",
      "Q6397",
      "Q6455",
      "Q6502",
      "Q6671",
      "Q6745",
      "Q6821",
      "Q6942",
      "Q7290",
      "Q7619",
      "Q788",
      "Q7887",
      "Q797",
      "Q8269",
      "Q8308",
      "Q8347",
      "Q8391",
      "Q856",
      "Q8933",
      "Q9462",
      "Q9577",
      "Q9610",
      "Q9668",
      "Q9929",
      "Q9943"
    ],
    "languages": [
      "cebuano",
      "english",
      "french",
      "german",
      "greek",
      "hebrew",
      "spanish",
      "tagalog"
    ],
    "sample_seed": 20261006,
    "candidate_language": "english",
    "candidate_verses": 41995,
    "candidates_per_lane": 200,
    "methods": [
      "dense",
      "weighted_genome",
      "weighted_90_10",
      "bge_dense_sparse_colbert",
      "experiment_d"
    ],
    "four_signal_weights": {
      "dense": 0.28,
      "sparse": 0.14,
      "colbert": 0.28,
      "genome": 0.3
    },
    "weighted_two_signal": {
      "genome": 0.9,
      "dense": 0.1
    },
    "checkpoint_sha256": "5a68ef73167f48899c927dfb5e25dfe8ff50d0b8e8310cd6f3ff3c93b8bf9952",
    "checkpoint_track": "question",
    "checkpoint_hidden": 4096,
    "fp16_head_sha256": "55e910550ccff8e463729379c6c08c3ebb72f152ba4df0c3217d143aa91b9cf3",
    "fp16_head_parity_max_abs": 0.0008486509323120117,
    "fp16_head_parity_mean_cosine": 1.0,
    "bge_m3_revision": "5617a9f61b028005a4858fdac845db406aefb181",
    "flagembedding_version": "1.4.2",
    "family_q_weight": 0.0
  },
  "completed_question_ids": 250,
  "completed_rows": 2000,
  "expected_rows": 2000,
  "overall_cluster_bootstrap": {
    "dense": {
      "recall@10": {
        "mean": 0.024358333333333336,
        "low": 0.017833333333333333,
        "high": 0.03143354166666666
      },
      "recall@20": {
        "mean": 0.037825000000000004,
        "low": 0.028966458333333334,
        "high": 0.04721687499999999
      },
      "mrr@20": {
        "mean": 0.051011985363707504,
        "low": 0.03494716504776828,
        "high": 0.06874623539703117
      },
      "weighted_ndcg@20": {
        "mean": 0.03106096248570316,
        "low": 0.021967145016875016,
        "high": 0.040995203099106564
      }
    },
    "weighted_genome": {
      "recall@10": {
        "mean": 0.1350833333333333,
        "low": 0.11531645833333333,
        "high": 0.15438583333333328
      },
      "recall@20": {
        "mean": 0.17568333333333333,
        "low": 0.15284145833333332,
        "high": 0.19755854166666664
      },
      "mrr@20": {
        "mean": 0.24174455661297764,
        "low": 0.20410701687615146,
        "high": 0.2787487501964732
      },
      "weighted_ndcg@20": {
        "mean": 0.15626929941091317,
        "low": 0.13224160393033846,
        "high": 0.17942760874826716
      }
    },
    "weighted_90_10": {
      "recall@10": {
        "mean": 0.14486666666666667,
        "low": 0.124631875,
        "high": 0.16446937499999997
      },
      "recall@20": {
        "mean": 0.18672499999999997,
        "low": 0.162731875,
        "high": 0.20931812499999997
      },
      "mrr@20": {
        "mean": 0.26032609940584006,
        "low": 0.22205060619382555,
        "high": 0.29715744103715125
      },
      "weighted_ndcg@20": {
        "mean": 0.1676779937164905,
        "low": 0.14310348312589943,
        "high": 0.19142050183568896
      }
    },
    "bge_dense_sparse_colbert": {
      "recall@10": {
        "mean": 0.03149999999999999,
        "low": 0.024,
        "high": 0.039525000000000005
      },
      "recall@20": {
        "mean": 0.048958333333333326,
        "low": 0.03919104166666667,
        "high": 0.05955124999999998
      },
      "mrr@20": {
        "mean": 0.06272950293600447,
        "low": 0.046572760353251835,
        "high": 0.08041405770930778
      },
      "weighted_ndcg@20": {
        "mean": 0.038395102460161826,
        "low": 0.028874713968453012,
        "high": 0.048275712884382205
      }
    },
    "experiment_d": {
      "recall@10": {
        "mean": 0.06696666666666667,
        "low": 0.055533124999999996,
        "high": 0.07885104166666664
      },
      "recall@20": {
        "mean": 0.09768333333333332,
        "low": 0.08335729166666668,
        "high": 0.11235875
      },
      "mrr@20": {
        "mean": 0.1367895560944903,
        "low": 0.11040850932429927,
        "high": 0.16394163302936954
      },
      "weighted_ndcg@20": {
        "mean": 0.08129438742965414,
        "low": 0.06645920942862378,
        "high": 0.09618033839610174
      }
    }
  },
  "candidate_union_recall": {
    "mean": 0.44202500000000006,
    "low": 0.41277375,
    "high": 0.4705010416666666
  },
  "by_language": {
    "cebuano": {
      "dense": {
        "recall@10": 0.009599999999999997,
        "recall@20": 0.01653333333333333,
        "mrr@20": 0.013236263736263736,
        "weighted_ndcg@20": 0.00883686361129843
      },
      "weighted_genome": {
        "recall@10": 0.06559999999999999,
        "recall@20": 0.084,
        "mrr@20": 0.11596143790849674,
        "weighted_ndcg@20": 0.06762174970799319
      },
      "weighted_90_10": {
        "recall@10": 0.07019999999999998,
        "recall@20": 0.09526666666666667,
        "mrr@20": 0.13499191159717475,
        "weighted_ndcg@20": 0.07917209758621281
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.010399999999999998,
        "recall@20": 0.019,
        "mrr@20": 0.016534271284271283,
        "weighted_ndcg@20": 0.011714408546470418
      },
      "experiment_d": {
        "recall@10": 0.028866666666666665,
        "recall@20": 0.049466666666666666,
        "mrr@20": 0.03887013272245471,
        "weighted_ndcg@20": 0.028267045882839566
      }
    },
    "english": {
      "dense": {
        "recall@10": 0.04333333333333333,
        "recall@20": 0.05893333333333334,
        "mrr@20": 0.09459431913116124,
        "weighted_ndcg@20": 0.05378794583919604
      },
      "weighted_genome": {
        "recall@10": 0.18180000000000002,
        "recall@20": 0.21993333333333334,
        "mrr@20": 0.3214196276719497,
        "weighted_ndcg@20": 0.20533247541321145
      },
      "weighted_90_10": {
        "recall@10": 0.1878,
        "recall@20": 0.23073333333333332,
        "mrr@20": 0.3551371843842432,
        "weighted_ndcg@20": 0.2215837109636164
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.061599999999999995,
        "recall@20": 0.08519999999999998,
        "mrr@20": 0.13645095956674902,
        "weighted_ndcg@20": 0.07713335517154105
      },
      "experiment_d": {
        "recall@10": 0.08893333333333334,
        "recall@20": 0.1368,
        "mrr@20": 0.21050320298896147,
        "weighted_ndcg@20": 0.12229188387989554
      }
    },
    "french": {
      "dense": {
        "recall@10": 0.030866666666666667,
        "recall@20": 0.04440000000000001,
        "mrr@20": 0.05858647259173575,
        "weighted_ndcg@20": 0.03766874713675634
      },
      "weighted_genome": {
        "recall@10": 0.16853333333333334,
        "recall@20": 0.20986666666666667,
        "mrr@20": 0.2913620264496426,
        "weighted_ndcg@20": 0.18962705545276934
      },
      "weighted_90_10": {
        "recall@10": 0.17726666666666666,
        "recall@20": 0.22393333333333335,
        "mrr@20": 0.30028972465443055,
        "weighted_ndcg@20": 0.2008721636839681
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.042,
        "recall@20": 0.05859999999999999,
        "mrr@20": 0.09079896214896215,
        "weighted_ndcg@20": 0.05207448089235733
      },
      "experiment_d": {
        "recall@10": 0.07899999999999999,
        "recall@20": 0.10733333333333332,
        "mrr@20": 0.17117551768836597,
        "weighted_ndcg@20": 0.09800224140884863
      }
    },
    "german": {
      "dense": {
        "recall@10": 0.020933333333333335,
        "recall@20": 0.03793333333333333,
        "mrr@20": 0.046312064646739565,
        "weighted_ndcg@20": 0.028948449436592406
      },
      "weighted_genome": {
        "recall@10": 0.14746666666666666,
        "recall@20": 0.192,
        "mrr@20": 0.26682582359161305,
        "weighted_ndcg@20": 0.16959824611897464
      },
      "weighted_90_10": {
        "recall@10": 0.15986666666666668,
        "recall@20": 0.20506666666666667,
        "mrr@20": 0.28080794310608553,
        "weighted_ndcg@20": 0.18153347436058184
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.028599999999999997,
        "recall@20": 0.04853333333333334,
        "mrr@20": 0.0557501837859423,
        "weighted_ndcg@20": 0.03629092247905656
      },
      "experiment_d": {
        "recall@10": 0.07593333333333334,
        "recall@20": 0.11279999999999998,
        "mrr@20": 0.13878295160292067,
        "weighted_ndcg@20": 0.08594360676351548
      }
    },
    "greek": {
      "dense": {
        "recall@10": 0.023599999999999996,
        "recall@20": 0.03373333333333334,
        "mrr@20": 0.04868164016925627,
        "weighted_ndcg@20": 0.030088462723027752
      },
      "weighted_genome": {
        "recall@10": 0.11533333333333334,
        "recall@20": 0.16853333333333334,
        "mrr@20": 0.20299260820019333,
        "weighted_ndcg@20": 0.14016082410501918
      },
      "weighted_90_10": {
        "recall@10": 0.13266666666666665,
        "recall@20": 0.1795333333333333,
        "mrr@20": 0.21963679710382497,
        "weighted_ndcg@20": 0.15146138165604775
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.023666666666666666,
        "recall@20": 0.03886666666666667,
        "mrr@20": 0.05120649905649906,
        "weighted_ndcg@20": 0.030345255970291946
      },
      "experiment_d": {
        "recall@10": 0.056666666666666664,
        "recall@20": 0.08706666666666667,
        "mrr@20": 0.12885387495201736,
        "weighted_ndcg@20": 0.07435042042467555
      }
    },
    "hebrew": {
      "dense": {
        "recall@10": 0.02033333333333333,
        "recall@20": 0.0316,
        "mrr@20": 0.048446094016063056,
        "weighted_ndcg@20": 0.029004258165204178
      },
      "weighted_genome": {
        "recall@10": 0.12179999999999999,
        "recall@20": 0.15546666666666667,
        "mrr@20": 0.2236293274492965,
        "weighted_ndcg@20": 0.139133328819003
      },
      "weighted_90_10": {
        "recall@10": 0.12506666666666666,
        "recall@20": 0.17573333333333335,
        "mrr@20": 0.22922287605755098,
        "weighted_ndcg@20": 0.15109517077939089
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.025733333333333334,
        "recall@20": 0.04293333333333334,
        "mrr@20": 0.05265930490218415,
        "weighted_ndcg@20": 0.03377922256511489
      },
      "experiment_d": {
        "recall@10": 0.06453333333333333,
        "recall@20": 0.08693333333333333,
        "mrr@20": 0.13843008943241142,
        "weighted_ndcg@20": 0.07898237278508083
      }
    },
    "spanish": {
      "dense": {
        "recall@10": 0.025799999999999997,
        "recall@20": 0.048,
        "mrr@20": 0.06944719659425541,
        "weighted_ndcg@20": 0.03861702120570765
      },
      "weighted_genome": {
        "recall@10": 0.16713333333333333,
        "recall@20": 0.2165333333333333,
        "mrr@20": 0.3031002419149478,
        "weighted_ndcg@20": 0.199683629211233
      },
      "weighted_90_10": {
        "recall@10": 0.1795333333333333,
        "recall@20": 0.22513333333333332,
        "mrr@20": 0.32094485105537734,
        "weighted_ndcg@20": 0.20800683530362363
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.034866666666666664,
        "recall@20": 0.0596,
        "mrr@20": 0.07037315029311933,
        "weighted_ndcg@20": 0.042085814650551334
      },
      "experiment_d": {
        "recall@10": 0.08233333333333333,
        "recall@20": 0.1146,
        "mrr@20": 0.17114001471524692,
        "weighted_ndcg@20": 0.09664569797242636
      }
    },
    "tagalog": {
      "dense": {
        "recall@10": 0.020399999999999998,
        "recall@20": 0.03146666666666667,
        "mrr@20": 0.028791832024184966,
        "weighted_ndcg@20": 0.021535951767842468
      },
      "weighted_genome": {
        "recall@10": 0.113,
        "recall@20": 0.15913333333333332,
        "mrr@20": 0.20866535971768166,
        "weighted_ndcg@20": 0.13899708645910142
      },
      "weighted_90_10": {
        "recall@10": 0.12653333333333333,
        "recall@20": 0.15839999999999999,
        "mrr@20": 0.2415775072880336,
        "weighted_ndcg@20": 0.1476991153984826
      },
      "bge_dense_sparse_colbert": {
        "recall@10": 0.025133333333333334,
        "recall@20": 0.038933333333333334,
        "mrr@20": 0.02806269245030855,
        "weighted_ndcg@20": 0.023737359405911092
      },
      "experiment_d": {
        "recall@10": 0.05946666666666667,
        "recall@20": 0.08646666666666666,
        "mrr@20": 0.0965606646535439,
        "weighted_ndcg@20": 0.06587183031995107
      }
    }
  },
  "mean_seconds_per_query": 2.1415414981744654,
  "note": "Exploratory validation sample only. Question IDs are the independent units; translations are averaged within q_id."
}