real_ft/config.json

{
  "feat_dim": 601,
  "props": [
    "Egc"
  ],
  "polybert": "HAYDERphd/polyBERT",
  "results": {
    "baselines": {
      "single_step": {
        "greedy_oracle": {
          "n": 120,
          "success": 1.0,
          "regret": 0.0
        },
        "greedy_verifier": {
          "n": 120,
          "success": 0.5,
          "regret": 0.12405569066053682
        },
        "random": {
          "n": 120,
          "success": 0.6333333333333333,
          "regret": 0.28573647864457896
        }
      },
      "multi_step": {
        "greedy_oracle": {
          "n": 15,
          "success": 0.4666666666666667,
          "regret": 0.04300895780773834
        },
        "greedy_verifier": {
          "n": 15,
          "success": 0.0,
          "regret": 0.218459749755402
        },
        "random": {
          "n": 15,
          "success": 0.4666666666666667,
          "regret": 0.5576776181892111
        }
      }
    },
    "sft": {
      "single_step": {
        "n": 120,
        "success": 0.6083333333333333,
        "regret": 0.10066113668038215
      },
      "multi_step": {
        "n": 15,
        "success": 0.06666666666666667,
        "regret": 0.19973091803115975
      }
    },
    "rl": {
      "single_step": {
        "n": 120,
        "success": 0.35,
        "regret": 0.1623103178820022
      },
      "multi_step": {
        "n": 15,
        "success": 0.06666666666666667,
        "regret": 0.2627677992896411
      }
    },
    "props": [
      "Egc"
    ],
    "verifier": "finetuned_polyBERT",
    "val_rmse": {
      "Egc": 0.5077038207039136
    },
    "n_train_req": 278,
    "n_steps": 1549
  }
}