| { | |
| "feat_dim": 601, | |
| "props": [ | |
| "Egc" | |
| ], | |
| "polybert": "HAYDERphd/polyBERT", | |
| "results": { | |
| "baselines": { | |
| "single_step": { | |
| "greedy_oracle": { | |
| "n": 120, | |
| "success": 1.0, | |
| "regret": 0.0 | |
| }, | |
| "greedy_verifier": { | |
| "n": 120, | |
| "success": 0.43333333333333335, | |
| "regret": 0.2080783848153941 | |
| }, | |
| "random": { | |
| "n": 120, | |
| "success": 0.6333333333333333, | |
| "regret": 0.28573647864457896 | |
| } | |
| }, | |
| "multi_step": { | |
| "greedy_oracle": { | |
| "n": 15, | |
| "success": 0.4666666666666667, | |
| "regret": 0.04300895780773834 | |
| }, | |
| "greedy_verifier": { | |
| "n": 15, | |
| "success": 0.0, | |
| "regret": 0.2651505118310592 | |
| }, | |
| "random": { | |
| "n": 15, | |
| "success": 0.4666666666666667, | |
| "regret": 0.5576776181892111 | |
| } | |
| } | |
| }, | |
| "sft": { | |
| "single_step": { | |
| "n": 120, | |
| "success": 0.5916666666666667, | |
| "regret": 0.12495716587127906 | |
| }, | |
| "multi_step": { | |
| "n": 15, | |
| "success": 0.13333333333333333, | |
| "regret": 0.2297741759378683 | |
| } | |
| }, | |
| "rl": { | |
| "single_step": { | |
| "n": 120, | |
| "success": 0.475, | |
| "regret": 0.12706528492892763 | |
| }, | |
| "multi_step": { | |
| "n": 15, | |
| "success": 0.2, | |
| "regret": 0.18866898210832897 | |
| } | |
| }, | |
| "props": [ | |
| "Egc" | |
| ], | |
| "n_train_req": 278, | |
| "n_steps": 1549 | |
| } | |
| } |