aixk commited on
Commit
0798117
·
1 Parent(s): cba7815

FastPlus Backup checkpoint-200 at global step 200

Browse files
checkpoint-200/config.json ADDED
@@ -0,0 +1,19 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "FastPlusForCausalLM"
4
+ ],
5
+ "dtype": "float32",
6
+ "hidden_size": 768,
7
+ "initializer_range": 0.02,
8
+ "intermediate_size": 2304,
9
+ "kd_alpha": 0.4,
10
+ "kd_temperature": 2.5,
11
+ "max_position_embeddings": 512,
12
+ "model_type": "fastplus",
13
+ "num_attention_heads": 12,
14
+ "num_hidden_layers": 12,
15
+ "tie_word_embeddings": true,
16
+ "transformers_version": "5.12.0",
17
+ "use_cache": false,
18
+ "vocab_size": 31968
19
+ }
checkpoint-200/generation_config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "output_attentions": false,
4
+ "output_hidden_states": false,
5
+ "transformers_version": "5.12.0"
6
+ }
checkpoint-200/trainer_state.json ADDED
@@ -0,0 +1,194 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 0.006666666666666667,
6
+ "eval_steps": 500,
7
+ "global_step": 200,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.0003333333333333333,
14
+ "grad_norm": 241.8640899658203,
15
+ "learning_rate": 1.9833333333333332e-05,
16
+ "loss": 166.44757080078125,
17
+ "original_ce_loss": 10.4023,
18
+ "step": 10
19
+ },
20
+ {
21
+ "epoch": 0.0006666666666666666,
22
+ "grad_norm": 241.40933227539062,
23
+ "learning_rate": 4.816666666666666e-05,
24
+ "loss": 165.6399658203125,
25
+ "original_ce_loss": 10.3518,
26
+ "step": 20
27
+ },
28
+ {
29
+ "epoch": 0.001,
30
+ "grad_norm": 306.47314453125,
31
+ "learning_rate": 7.649999999999999e-05,
32
+ "loss": 162.65213623046876,
33
+ "original_ce_loss": 10.1651,
34
+ "step": 30
35
+ },
36
+ {
37
+ "epoch": 0.0013333333333333333,
38
+ "grad_norm": 81.36453247070312,
39
+ "learning_rate": 0.00010483333333333332,
40
+ "loss": 150.17281494140624,
41
+ "original_ce_loss": 9.3851,
42
+ "step": 40
43
+ },
44
+ {
45
+ "epoch": 0.0016666666666666668,
46
+ "grad_norm": 44.72517013549805,
47
+ "learning_rate": 0.00013033333333333332,
48
+ "loss": 139.44334716796874,
49
+ "original_ce_loss": 8.7145,
50
+ "step": 50
51
+ },
52
+ {
53
+ "epoch": 0.002,
54
+ "grad_norm": 46.115478515625,
55
+ "learning_rate": 0.00015866666666666666,
56
+ "loss": 129.90279541015624,
57
+ "original_ce_loss": 8.1182,
58
+ "step": 60
59
+ },
60
+ {
61
+ "epoch": 0.0023333333333333335,
62
+ "grad_norm": 27.77338218688965,
63
+ "learning_rate": 0.000187,
64
+ "loss": 118.2442626953125,
65
+ "original_ce_loss": 7.3896,
66
+ "step": 70
67
+ },
68
+ {
69
+ "epoch": 0.0026666666666666666,
70
+ "grad_norm": 23.05470848083496,
71
+ "learning_rate": 0.00021533333333333333,
72
+ "loss": 113.9457275390625,
73
+ "original_ce_loss": 7.1209,
74
+ "step": 80
75
+ },
76
+ {
77
+ "epoch": 0.003,
78
+ "grad_norm": 32.12575149536133,
79
+ "learning_rate": 0.00024366666666666666,
80
+ "loss": 112.74874267578124,
81
+ "original_ce_loss": 7.0461,
82
+ "step": 90
83
+ },
84
+ {
85
+ "epoch": 0.0033333333333333335,
86
+ "grad_norm": NaN,
87
+ "learning_rate": 0.000272,
88
+ "loss": 109.5636962890625,
89
+ "original_ce_loss": 6.8471,
90
+ "step": 100
91
+ },
92
+ {
93
+ "epoch": 0.0036666666666666666,
94
+ "grad_norm": 17.04542350769043,
95
+ "learning_rate": 0.0002918333333333333,
96
+ "loss": 107.819873046875,
97
+ "original_ce_loss": 6.7381,
98
+ "step": 110
99
+ },
100
+ {
101
+ "epoch": 0.004,
102
+ "grad_norm": 15.059863090515137,
103
+ "learning_rate": 0.0003201666666666666,
104
+ "loss": 105.247900390625,
105
+ "original_ce_loss": 6.5773,
106
+ "step": 120
107
+ },
108
+ {
109
+ "epoch": 0.004333333333333333,
110
+ "grad_norm": 12.937431335449219,
111
+ "learning_rate": 0.00034849999999999996,
112
+ "loss": 103.82598876953125,
113
+ "original_ce_loss": 6.4885,
114
+ "step": 130
115
+ },
116
+ {
117
+ "epoch": 0.004666666666666667,
118
+ "grad_norm": 61.41356658935547,
119
+ "learning_rate": 0.00037683333333333335,
120
+ "loss": 102.33365478515626,
121
+ "original_ce_loss": 6.3952,
122
+ "step": 140
123
+ },
124
+ {
125
+ "epoch": 0.005,
126
+ "grad_norm": 39.60429763793945,
127
+ "learning_rate": 0.0004051666666666667,
128
+ "loss": 101.54520263671876,
129
+ "original_ce_loss": 6.3459,
130
+ "step": 150
131
+ },
132
+ {
133
+ "epoch": 0.005333333333333333,
134
+ "grad_norm": 55.5648193359375,
135
+ "learning_rate": 0.0004249999894078891,
136
+ "loss": 99.88837890625,
137
+ "original_ce_loss": 6.2424,
138
+ "step": 160
139
+ },
140
+ {
141
+ "epoch": 0.005666666666666667,
142
+ "grad_norm": 28.269145965576172,
143
+ "learning_rate": 0.00042499980110372477,
144
+ "loss": 99.21713256835938,
145
+ "original_ce_loss": 6.2004,
146
+ "step": 170
147
+ },
148
+ {
149
+ "epoch": 0.006,
150
+ "grad_norm": 14.359124183654785,
151
+ "learning_rate": 0.0004249993774195584,
152
+ "loss": 97.46744384765626,
153
+ "original_ce_loss": 6.0911,
154
+ "step": 180
155
+ },
156
+ {
157
+ "epoch": 0.006333333333333333,
158
+ "grad_norm": 17.559139251708984,
159
+ "learning_rate": 0.00042499871835585933,
160
+ "loss": 95.64049072265625,
161
+ "original_ce_loss": 5.9769,
162
+ "step": 190
163
+ },
164
+ {
165
+ "epoch": 0.006666666666666667,
166
+ "grad_norm": 11.524701118469238,
167
+ "learning_rate": 0.00042499782391335755,
168
+ "loss": 93.06675415039062,
169
+ "original_ce_loss": 5.816,
170
+ "step": 200
171
+ }
172
+ ],
173
+ "logging_steps": 10,
174
+ "max_steps": 30000,
175
+ "num_input_tokens_seen": 0,
176
+ "num_train_epochs": 9223372036854775807,
177
+ "save_steps": 200,
178
+ "stateful_callbacks": {
179
+ "TrainerControl": {
180
+ "args": {
181
+ "should_epoch_stop": false,
182
+ "should_evaluate": false,
183
+ "should_log": false,
184
+ "should_save": true,
185
+ "should_training_stop": false
186
+ },
187
+ "attributes": {}
188
+ }
189
+ },
190
+ "total_flos": 1.47372918177792e+16,
191
+ "train_batch_size": 16,
192
+ "trial_name": null,
193
+ "trial_params": null
194
+ }