{
  "feat_dim": 601,
  "props": [
    "Egc"
  ],
  "polybert": "HAYDERphd/polyBERT",
  "results": {
    "baselines": {
      "single_step": {
        "greedy_oracle": {
          "n": 120,
          "success": 0.75,
          "regret": 0.251017332402737
        },
        "greedy_verifier": {
          "n": 120,
          "success": 0.30833333333333335,
          "regret": 0.4944557918330346
        },
        "random": {
          "n": 120,
          "success": 0.075,
          "regret": 1.6162096724265453
        }
      },
      "multi_step": {
        "greedy_oracle": {
          "n": 44,
          "success": 0.22727272727272727,
          "regret": 0.8539263608315685
        },
        "greedy_verifier": {
          "n": 44,
          "success": 0.022727272727272728,
          "regret": 1.1261625219993852
        },
        "random": {
          "n": 44,
          "success": 0.022727272727272728,
          "regret": 2.0974685791787597
        }
      }
    },
    "sft": {
      "single_step": {
        "n": 120,
        "success": 0.8833333333333333,
        "regret": 0.1476266867135324
      },
      "multi_step": {
        "n": 44,
        "success": 0.8181818181818182,
        "regret": 0.3510164215163693
      }
    },
    "rl": {
      "single_step": {
        "n": 120,
        "success": 0.8583333333333333,
        "regret": 0.1600647209968158
      },
      "multi_step": {
        "n": 44,
        "success": 0.7727272727272727,
        "regret": 0.4018683559774568
      }
    },
    "props": [
      "Egc"
    ],
    "verifier": "finetuned_polyBERT",
    "val_rmse": {
      "Egc": 0.5077038207039136
    },
    "n_train_req": 375,
    "n_steps": 1262
  }
}