Hugging Face's logo

OthmaneW
/
StoryPatch-context-v3

Fill-Mask
PyTorch
Safetensors
English
text-editing
from-scratch
diffusion
reranking
Model card Files
xet
 Community
StoryPatch-context-v3
File size: 2,678 Bytes
f91d419
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
{
  "blending": {
    "weight": 0.05,
    "formula": "-local_nll + weight * clip(learned_score, -8, 8)",
    "selection": "Validation top1 improvement with no top1 loss in either corpus or procedural domain; ties prefer lower weight.",
    "baseline": {
      "corpus": 0.39166666666666666,
      "procedural": 0.4166666666666667
    },
    "trials": [
      {
        "weight": 0.0,
        "top1_by_domain": {
          "corpus": 0.39166666666666666,
          "procedural": 0.4166666666666667
        },
        "passes": true
      },
      {
        "weight": 0.05,
        "top1_by_domain": {
          "corpus": 0.4083333333333333,
          "procedural": 0.5583333333333333
        },
        "passes": true
      },
      {
        "weight": 0.1,
        "top1_by_domain": {
          "corpus": 0.4,
          "procedural": 0.5583333333333333
        },
        "passes": true
      },
      {
        "weight": 0.2,
        "top1_by_domain": {
          "corpus": 0.39166666666666666,
          "procedural": 0.5583333333333333
        },
        "passes": true
      },
      {
        "weight": 0.4,
        "top1_by_domain": {
          "corpus": 0.38333333333333336,
          "procedural": 0.5583333333333333
        },
        "passes": false
      },
      {
        "weight": 0.8,
        "top1_by_domain": {
          "corpus": 0.35,
          "procedural": 0.5583333333333333
        },
        "passes": false
      },
      {
        "weight": 1.6,
        "top1_by_domain": {
          "corpus": 0.31666666666666665,
          "procedural": 0.5583333333333333
        },
        "passes": false
      }
    ]
  },
  "calibration": {
    "margin_threshold": 1.5,
    "score_floor": -2,
    "validation": {
      "error_cases": 240,
      "clean_cases": 240,
      "error_corrected": 0.11666666666666667,
      "clean_preserved": 0.9958333333333333,
      "balanced_success": 0.55625,
      "wrong_replacement_on_errors": 0.09583333333333334,
      "clean_modified": 0.004166666666666652
    },
    "method": "Grid search on validation only: maximize balanced success subject to <=5% clean edits and <=10% wrong edits on errors.",
    "margin_grid": [
      0,
      0.25,
      0.5,
      1,
      1.5,
      2,
      3,
      4,
      6,
      8,
      12,
      1000000.0
    ],
    "score_grid": [
      -1000000.0,
      -4,
      -2,
      0,
      1,
      2,
      3,
      4,
      6,
      8,
      1000000.0
    ],
    "contexts": 240,
    "limitations": "Finite synthetic validation; thresholds are not guarantees on user text."
  }
}