| { | |
| "6": { | |
| "score": 0.9666666666666667, | |
| "success": {}, | |
| "failure": { | |
| "8": { | |
| "modification": "(such as:add /delete /modify/ ...)", | |
| "score": 0.96 | |
| }, | |
| "12": { | |
| "modification": "Integrate self-ask mechanism before generating answers", | |
| "score": 0.49333333333333335 | |
| }, | |
| "11": { | |
| "modification": "Introduce self-ask mechanism before generating answers", | |
| "score": 0.8533333333333334 | |
| } | |
| } | |
| }, | |
| "1": { | |
| "score": 0.9666666666666667, | |
| "success": {}, | |
| "failure": { | |
| "3": { | |
| "modification": "(add QAScEnsemble operator for improved solution selection)", | |
| "score": 0.96 | |
| }, | |
| "4": { | |
| "modification": "(add a Review operator to evaluate the generated answer before ensemble selection)", | |
| "score": 0.11333333333333334 | |
| } | |
| } | |
| }, | |
| "3": { | |
| "score": 0.96, | |
| "success": { | |
| "5": { | |
| "modification": "modify: Added a step to generate an initial solution before using QAScEnsemble for better context.", | |
| "score": 0.9666666666666667 | |
| } | |
| }, | |
| "failure": {} | |
| }, | |
| "0": { | |
| "score": 0.9466666666666667, | |
| "success": { | |
| "10": { | |
| "modification": "add QAScEnsemble operator to improve solution selection", | |
| "score": 0.96 | |
| }, | |
| "1": { | |
| "modification": "(add: QAScEnsemble)", | |
| "score": 0.9666666666666667 | |
| }, | |
| "2": { | |
| "modification": "add QAScEnsemble operator to enhance solution selection", | |
| "score": 0.96 | |
| } | |
| }, | |
| "failure": {} | |
| }, | |
| "2": { | |
| "score": 0.96, | |
| "success": { | |
| "6": { | |
| "modification": "(such as:add /delete /modify/ ...)", | |
| "score": 0.9666666666666667 | |
| } | |
| }, | |
| "failure": {} | |
| } | |
| } |