Hugging Face's logo

promotion
/
polyedit-agent

Model card Files
xet
 Community
polyedit-agent
File size: 1,555 Bytes
e4645f4
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
{
  "feat_dim": 601,
  "props": [
    "Egc"
  ],
  "polybert": "HAYDERphd/polyBERT",
  "results": {
    "baselines": {
      "single_step": {
        "greedy_oracle": {
          "n": 120,
          "success": 1.0,
          "regret": 0.0
        },
        "greedy_verifier": {
          "n": 120,
          "success": 0.43333333333333335,
          "regret": 0.2080783848153941
        },
        "random": {
          "n": 120,
          "success": 0.6333333333333333,
          "regret": 0.28573647864457896
        }
      },
      "multi_step": {
        "greedy_oracle": {
          "n": 15,
          "success": 0.4666666666666667,
          "regret": 0.04300895780773834
        },
        "greedy_verifier": {
          "n": 15,
          "success": 0.0,
          "regret": 0.2651505118310592
        },
        "random": {
          "n": 15,
          "success": 0.4666666666666667,
          "regret": 0.5576776181892111
        }
      }
    },
    "sft": {
      "single_step": {
        "n": 120,
        "success": 0.5916666666666667,
        "regret": 0.12495716587127906
      },
      "multi_step": {
        "n": 15,
        "success": 0.13333333333333333,
        "regret": 0.2297741759378683
      }
    },
    "rl": {
      "single_step": {
        "n": 120,
        "success": 0.475,
        "regret": 0.12706528492892763
      },
      "multi_step": {
        "n": 15,
        "success": 0.2,
        "regret": 0.18866898210832897
      }
    },
    "props": [
      "Egc"
    ],
    "n_train_req": 278,
    "n_steps": 1549
  }
}