Hugging Face's logo

promotion
/
polyedit-agent

Model card Files
xet
 Community
polyedit-agent
File size: 1,648 Bytes
932fe27
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
{
  "feat_dim": 601,
  "props": [
    "Egc"
  ],
  "polybert": "HAYDERphd/polyBERT",
  "results": {
    "baselines": {
      "single_step": {
        "greedy_oracle": {
          "n": 120,
          "success": 1.0,
          "regret": 0.0
        },
        "greedy_verifier": {
          "n": 120,
          "success": 0.5,
          "regret": 0.12405569066053682
        },
        "random": {
          "n": 120,
          "success": 0.6333333333333333,
          "regret": 0.28573647864457896
        }
      },
      "multi_step": {
        "greedy_oracle": {
          "n": 15,
          "success": 0.4666666666666667,
          "regret": 0.04300895780773834
        },
        "greedy_verifier": {
          "n": 15,
          "success": 0.0,
          "regret": 0.218459749755402
        },
        "random": {
          "n": 15,
          "success": 0.4666666666666667,
          "regret": 0.5576776181892111
        }
      }
    },
    "sft": {
      "single_step": {
        "n": 120,
        "success": 0.6083333333333333,
        "regret": 0.10066113668038215
      },
      "multi_step": {
        "n": 15,
        "success": 0.06666666666666667,
        "regret": 0.19973091803115975
      }
    },
    "rl": {
      "single_step": {
        "n": 120,
        "success": 0.35,
        "regret": 0.1623103178820022
      },
      "multi_step": {
        "n": 15,
        "success": 0.06666666666666667,
        "regret": 0.2627677992896411
      }
    },
    "props": [
      "Egc"
    ],
    "verifier": "finetuned_polyBERT",
    "val_rmse": {
      "Egc": 0.5077038207039136
    },
    "n_train_req": 278,
    "n_steps": 1549
  }
}