notebook_lm_clone / tmp_eval_baseline.json
Abhinav Biju
Deploying RAG pipeline changes (excluding binary data)
182e0fa
{
"config": "BASELINE: sentence_aware_chunk(1200/200), no headers, no reranking, no query expansion",
"retrieval_metrics": {
"avg_MRR": 1.0,
"avg_P@1": 1.0,
"avg_P@5": 0.75,
"avg_Recall@5": 0.9375,
"avg_latency_ms": 145.6
},
"per_query": [
{
"topic": "Inner planets",
"P@1": 1.0,
"P@3": 1.0,
"P@5": 1.0,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 241.49629999010358
},
{
"topic": "Jupiter's GRS",
"P@1": 1.0,
"P@3": 0.6666666666666666,
"P@5": 0.6666666666666666,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 133.62530000449624
},
{
"topic": "Photosynthesis",
"P@1": 1.0,
"P@3": 0.6666666666666666,
"P@5": 0.6666666666666666,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 133.6754999938421
},
{
"topic": "Water cycle",
"P@1": 1.0,
"P@3": 0.3333333333333333,
"P@5": 0.3333333333333333,
"MRR": 1.0,
"Recall@5": 0.5,
"latency_ms": 120.4268999863416
},
{
"topic": "Mars atmosphere",
"P@1": 1.0,
"P@3": 1.0,
"P@5": 1.0,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 151.47409999917727
},
{
"topic": "Gas giants",
"P@1": 1.0,
"P@3": 0.6666666666666666,
"P@5": 0.6666666666666666,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 135.1711999886902
},
{
"topic": "Earth's ocean",
"P@1": 1.0,
"P@3": 1.0,
"P@5": 1.0,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 114.06029999488965
},
{
"topic": "Mars moons",
"P@1": 1.0,
"P@3": 0.6666666666666666,
"P@5": 0.6666666666666666,
"MRR": 1.0,
"Recall@5": 1.0,
"latency_ms": 134.73949999024626
}
]
}