ai-forever commited on
Commit
5c3537c
·
verified ·
1 Parent(s): a0f81bd

Add/update results for RuadaptQwen2.5-32B-Instruct (version 1.11.0, guid bf559defa13140f088d974ea62675688)

Browse files
Files changed (1) hide show
  1. results.json +83 -0
results.json CHANGED
@@ -332,6 +332,89 @@
332
  "n_questions": 600,
333
  "submit_timestamp": ""
334
  }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
335
  }
336
  }
337
  },
 
332
  "n_questions": 600,
333
  "submit_timestamp": ""
334
  }
335
+ },
336
+ "bf559defa13140f088d974ea62675688": {
337
+ "model_name": "RuadaptQwen2.5-32B-Instruct",
338
+ "timestamp": "2025-07-20T14:22:47",
339
+ "config": {
340
+ "embedding_model": "multilingual-e5-large-instruct_1",
341
+ "retriever_type": "mmr",
342
+ "retrieval_config": {
343
+ "top_k": 5,
344
+ "chunk_size": 500,
345
+ "chunk_overlap": 100
346
+ }
347
+ },
348
+ "metrics": {
349
+ "simple": {
350
+ "retrieval": {
351
+ "hit_rate": 0.88,
352
+ "mrr": 0.8405555555555556,
353
+ "precision": 0.1834444444444444
354
+ },
355
+ "generation": {
356
+ "rouge1": 0.2983866101662599,
357
+ "rougeL": 0.2983866101662599
358
+ }
359
+ },
360
+ "cond": {
361
+ "retrieval": {
362
+ "hit_rate": 0.9533333333333334,
363
+ "mrr": 0.8906666666666666,
364
+ "precision": 0.19899999999999995
365
+ },
366
+ "generation": {
367
+ "rouge1": 0.6480719582985028,
368
+ "rougeL": 0.6454052916318361
369
+ }
370
+ },
371
+ "set": {
372
+ "retrieval": {
373
+ "hit_rate": 0.8333333333333334,
374
+ "mrr": 0.7273333333333333,
375
+ "precision": 0.17911111111111105
376
+ },
377
+ "generation": {
378
+ "rouge1": 0.2668045422555955,
379
+ "rougeL": 0.2668045422555955
380
+ }
381
+ },
382
+ "mh": {
383
+ "retrieval": {
384
+ "hit_rate": 0.9066666666666666,
385
+ "mrr": 0.8437777777777777,
386
+ "precision": 0.19777777777777777
387
+ },
388
+ "generation": {
389
+ "rouge1": 0.3450429133503272,
390
+ "rougeL": 0.3450429133503272
391
+ }
392
+ },
393
+ "overall": {
394
+ "retrieval": {
395
+ "hit_rate": 0.8933333333333333,
396
+ "mrr": 0.8255833333333332,
397
+ "precision": 0.18983333333333335
398
+ },
399
+ "generation": {
400
+ "rouge1": 0.3895765060176714,
401
+ "rougeL": 0.38890983935100476
402
+ }
403
+ },
404
+ "judge": {
405
+ "judge_completeness_score": 0.0033333333333333335,
406
+ "judge_cons_w_real_world_score": 0.3416666666666667,
407
+ "judge_correctness_score": 0.8547579298831386,
408
+ "judge_factual_accuracy_score": 0.18333333333333332,
409
+ "judge_fluff_score": 1.29,
410
+ "judge_pres_details_score": 0.011666666666666667,
411
+ "judge_total_score": 0.44745965498052315
412
+ }
413
+ },
414
+ "metadata": {
415
+ "n_questions": 600,
416
+ "submit_timestamp": ""
417
+ }
418
  }
419
  }
420
  },