Ba2han commited on
Commit
bed099f
·
verified ·
1 Parent(s): dc4bf94

Training in progress, step 1107, checkpoint

Browse files
last-checkpoint/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:95792ae8ded0f33efb25a96aabbf4c312850393ce1082a0f917a64823378f02b
3
  size 3582214344
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:11b33a906b7a0ee7ff522149f85febe58b0f353b6651b2713c9413108ecdfd0e
3
  size 3582214344
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:07f63198ca14d6240b593c6ef2aa68da636bb260b294b206a3ce74687629bd0c
3
  size 5116251049
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:91c061110c7da0939f19b0bb0c7d1f994922960a408802bc9117f394f7f59b90
3
  size 5116251049
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:181c5f0270cf39930062ddfa3767a2481d0c360f120b11f8e25dbf533a1cdaba
3
  size 14645
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3d6d8fafcd1ee268414be5acf0366296af5b03d60871978712eac1979cb42d65
3
  size 14645
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:66e045378572462b16d6cd3a7e04fcd559ab9fef53367627c4abe98bf2d141e7
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3167866cb3f20cacb55eee6970efd9d14816cf9b28eba6c543fb2982e8286d1b
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
- "epoch": 0.42105263157894735,
6
  "eval_steps": 369,
7
- "global_step": 738,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -5190,6 +5190,2597 @@
5190
  "eval_samples_per_second": 11.931,
5191
  "eval_steps_per_second": 2.983,
5192
  "step": 738
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5193
  }
5194
  ],
5195
  "logging_steps": 1,
@@ -5209,7 +7800,7 @@
5209
  "attributes": {}
5210
  }
5211
  },
5212
- "total_flos": 6.500297618922824e+17,
5213
  "train_batch_size": 8,
5214
  "trial_name": null,
5215
  "trial_params": null
 
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
+ "epoch": 0.631578947368421,
6
  "eval_steps": 369,
7
+ "global_step": 1107,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
5190
  "eval_samples_per_second": 11.931,
5191
  "eval_steps_per_second": 2.983,
5192
  "step": 738
5193
+ },
5194
+ {
5195
+ "epoch": 0.421623163600057,
5196
+ "grad_norm": 0.98828125,
5197
+ "learning_rate": 3.05709534368071e-05,
5198
+ "loss": 1.193061351776123,
5199
+ "step": 739
5200
+ },
5201
+ {
5202
+ "epoch": 0.42219369562116676,
5203
+ "grad_norm": 1.03125,
5204
+ "learning_rate": 3.054323725055432e-05,
5205
+ "loss": 1.1793735027313232,
5206
+ "step": 740
5207
+ },
5208
+ {
5209
+ "epoch": 0.42276422764227645,
5210
+ "grad_norm": 0.95703125,
5211
+ "learning_rate": 3.0515521064301554e-05,
5212
+ "loss": 1.1607141494750977,
5213
+ "step": 741
5214
+ },
5215
+ {
5216
+ "epoch": 0.42333475966338613,
5217
+ "grad_norm": 0.99609375,
5218
+ "learning_rate": 3.048780487804878e-05,
5219
+ "loss": 1.1790132522583008,
5220
+ "step": 742
5221
+ },
5222
+ {
5223
+ "epoch": 0.4239052916844958,
5224
+ "grad_norm": 0.98046875,
5225
+ "learning_rate": 3.0460088691796013e-05,
5226
+ "loss": 1.155259132385254,
5227
+ "step": 743
5228
+ },
5229
+ {
5230
+ "epoch": 0.4244758237056055,
5231
+ "grad_norm": 0.9609375,
5232
+ "learning_rate": 3.043237250554324e-05,
5233
+ "loss": 1.1134623289108276,
5234
+ "step": 744
5235
+ },
5236
+ {
5237
+ "epoch": 0.4250463557267152,
5238
+ "grad_norm": 0.93359375,
5239
+ "learning_rate": 3.0404656319290465e-05,
5240
+ "loss": 1.198337435722351,
5241
+ "step": 745
5242
+ },
5243
+ {
5244
+ "epoch": 0.42561688774782486,
5245
+ "grad_norm": 0.9921875,
5246
+ "learning_rate": 3.0376940133037695e-05,
5247
+ "loss": 1.1744345426559448,
5248
+ "step": 746
5249
+ },
5250
+ {
5251
+ "epoch": 0.42618741976893454,
5252
+ "grad_norm": 0.984375,
5253
+ "learning_rate": 3.034922394678492e-05,
5254
+ "loss": 1.1646068096160889,
5255
+ "step": 747
5256
+ },
5257
+ {
5258
+ "epoch": 0.4267579517900442,
5259
+ "grad_norm": 0.984375,
5260
+ "learning_rate": 3.0321507760532154e-05,
5261
+ "loss": 1.1827648878097534,
5262
+ "step": 748
5263
+ },
5264
+ {
5265
+ "epoch": 0.4273284838111539,
5266
+ "grad_norm": 0.953125,
5267
+ "learning_rate": 3.029379157427938e-05,
5268
+ "loss": 1.1942888498306274,
5269
+ "step": 749
5270
+ },
5271
+ {
5272
+ "epoch": 0.4278990158322636,
5273
+ "grad_norm": 0.9765625,
5274
+ "learning_rate": 3.026607538802661e-05,
5275
+ "loss": 1.1896655559539795,
5276
+ "step": 750
5277
+ },
5278
+ {
5279
+ "epoch": 0.42846954785337327,
5280
+ "grad_norm": 0.98046875,
5281
+ "learning_rate": 3.0238359201773835e-05,
5282
+ "loss": 1.197471022605896,
5283
+ "step": 751
5284
+ },
5285
+ {
5286
+ "epoch": 0.42904007987448295,
5287
+ "grad_norm": 1.0078125,
5288
+ "learning_rate": 3.021064301552107e-05,
5289
+ "loss": 1.1281297206878662,
5290
+ "step": 752
5291
+ },
5292
+ {
5293
+ "epoch": 0.42961061189559263,
5294
+ "grad_norm": 0.99609375,
5295
+ "learning_rate": 3.0182926829268294e-05,
5296
+ "loss": 1.1960434913635254,
5297
+ "step": 753
5298
+ },
5299
+ {
5300
+ "epoch": 0.4301811439167023,
5301
+ "grad_norm": 0.95703125,
5302
+ "learning_rate": 3.0155210643015524e-05,
5303
+ "loss": 1.1772822141647339,
5304
+ "step": 754
5305
+ },
5306
+ {
5307
+ "epoch": 0.430751675937812,
5308
+ "grad_norm": 0.98046875,
5309
+ "learning_rate": 3.012749445676275e-05,
5310
+ "loss": 1.2077326774597168,
5311
+ "step": 755
5312
+ },
5313
+ {
5314
+ "epoch": 0.4313222079589217,
5315
+ "grad_norm": 1.0,
5316
+ "learning_rate": 3.0099778270509983e-05,
5317
+ "loss": 1.216168999671936,
5318
+ "step": 756
5319
+ },
5320
+ {
5321
+ "epoch": 0.43189273998003136,
5322
+ "grad_norm": 0.97265625,
5323
+ "learning_rate": 3.007206208425721e-05,
5324
+ "loss": 1.1528898477554321,
5325
+ "step": 757
5326
+ },
5327
+ {
5328
+ "epoch": 0.43246327200114104,
5329
+ "grad_norm": 1.0,
5330
+ "learning_rate": 3.0044345898004435e-05,
5331
+ "loss": 1.1724753379821777,
5332
+ "step": 758
5333
+ },
5334
+ {
5335
+ "epoch": 0.4330338040222507,
5336
+ "grad_norm": 0.96484375,
5337
+ "learning_rate": 3.0016629711751664e-05,
5338
+ "loss": 1.1700730323791504,
5339
+ "step": 759
5340
+ },
5341
+ {
5342
+ "epoch": 0.43360433604336046,
5343
+ "grad_norm": 0.9609375,
5344
+ "learning_rate": 2.998891352549889e-05,
5345
+ "loss": 1.1328129768371582,
5346
+ "step": 760
5347
+ },
5348
+ {
5349
+ "epoch": 0.43417486806447014,
5350
+ "grad_norm": 0.9765625,
5351
+ "learning_rate": 2.9961197339246123e-05,
5352
+ "loss": 1.191325306892395,
5353
+ "step": 761
5354
+ },
5355
+ {
5356
+ "epoch": 0.4347454000855798,
5357
+ "grad_norm": 0.97265625,
5358
+ "learning_rate": 2.993348115299335e-05,
5359
+ "loss": 1.160369873046875,
5360
+ "step": 762
5361
+ },
5362
+ {
5363
+ "epoch": 0.4353159321066895,
5364
+ "grad_norm": 0.96484375,
5365
+ "learning_rate": 2.990576496674058e-05,
5366
+ "loss": 1.196010947227478,
5367
+ "step": 763
5368
+ },
5369
+ {
5370
+ "epoch": 0.4358864641277992,
5371
+ "grad_norm": 0.96875,
5372
+ "learning_rate": 2.9878048780487805e-05,
5373
+ "loss": 1.1497125625610352,
5374
+ "step": 764
5375
+ },
5376
+ {
5377
+ "epoch": 0.43645699614890887,
5378
+ "grad_norm": 1.0078125,
5379
+ "learning_rate": 2.9850332594235038e-05,
5380
+ "loss": 1.152623176574707,
5381
+ "step": 765
5382
+ },
5383
+ {
5384
+ "epoch": 0.43702752817001855,
5385
+ "grad_norm": 1.015625,
5386
+ "learning_rate": 2.9822616407982264e-05,
5387
+ "loss": 1.1713566780090332,
5388
+ "step": 766
5389
+ },
5390
+ {
5391
+ "epoch": 0.43759806019112824,
5392
+ "grad_norm": 1.1640625,
5393
+ "learning_rate": 2.9794900221729493e-05,
5394
+ "loss": 1.263333797454834,
5395
+ "step": 767
5396
+ },
5397
+ {
5398
+ "epoch": 0.4381685922122379,
5399
+ "grad_norm": 0.96875,
5400
+ "learning_rate": 2.976718403547672e-05,
5401
+ "loss": 1.144421935081482,
5402
+ "step": 768
5403
+ },
5404
+ {
5405
+ "epoch": 0.4387391242333476,
5406
+ "grad_norm": 0.953125,
5407
+ "learning_rate": 2.9739467849223952e-05,
5408
+ "loss": 1.2290055751800537,
5409
+ "step": 769
5410
+ },
5411
+ {
5412
+ "epoch": 0.4393096562544573,
5413
+ "grad_norm": 0.9921875,
5414
+ "learning_rate": 2.971175166297118e-05,
5415
+ "loss": 1.1050488948822021,
5416
+ "step": 770
5417
+ },
5418
+ {
5419
+ "epoch": 0.43988018827556696,
5420
+ "grad_norm": 0.9765625,
5421
+ "learning_rate": 2.96840354767184e-05,
5422
+ "loss": 1.2218358516693115,
5423
+ "step": 771
5424
+ },
5425
+ {
5426
+ "epoch": 0.44045072029667665,
5427
+ "grad_norm": 0.94921875,
5428
+ "learning_rate": 2.9656319290465634e-05,
5429
+ "loss": 1.1308021545410156,
5430
+ "step": 772
5431
+ },
5432
+ {
5433
+ "epoch": 0.4410212523177863,
5434
+ "grad_norm": 0.99609375,
5435
+ "learning_rate": 2.962860310421286e-05,
5436
+ "loss": 1.2299238443374634,
5437
+ "step": 773
5438
+ },
5439
+ {
5440
+ "epoch": 0.441591784338896,
5441
+ "grad_norm": 0.98046875,
5442
+ "learning_rate": 2.960088691796009e-05,
5443
+ "loss": 1.1389673948287964,
5444
+ "step": 774
5445
+ },
5446
+ {
5447
+ "epoch": 0.4421623163600057,
5448
+ "grad_norm": 1.0078125,
5449
+ "learning_rate": 2.9573170731707316e-05,
5450
+ "loss": 1.2660845518112183,
5451
+ "step": 775
5452
+ },
5453
+ {
5454
+ "epoch": 0.4427328483811154,
5455
+ "grad_norm": 0.96484375,
5456
+ "learning_rate": 2.954545454545455e-05,
5457
+ "loss": 1.099113941192627,
5458
+ "step": 776
5459
+ },
5460
+ {
5461
+ "epoch": 0.44330338040222506,
5462
+ "grad_norm": 0.953125,
5463
+ "learning_rate": 2.9517738359201774e-05,
5464
+ "loss": 1.2134381532669067,
5465
+ "step": 777
5466
+ },
5467
+ {
5468
+ "epoch": 0.44387391242333474,
5469
+ "grad_norm": 0.96875,
5470
+ "learning_rate": 2.9490022172949004e-05,
5471
+ "loss": 1.1754953861236572,
5472
+ "step": 778
5473
+ },
5474
+ {
5475
+ "epoch": 0.4444444444444444,
5476
+ "grad_norm": 0.98046875,
5477
+ "learning_rate": 2.946230598669623e-05,
5478
+ "loss": 1.1886742115020752,
5479
+ "step": 779
5480
+ },
5481
+ {
5482
+ "epoch": 0.4450149764655541,
5483
+ "grad_norm": 0.953125,
5484
+ "learning_rate": 2.9434589800443463e-05,
5485
+ "loss": 1.192276954650879,
5486
+ "step": 780
5487
+ },
5488
+ {
5489
+ "epoch": 0.44558550848666384,
5490
+ "grad_norm": 1.0078125,
5491
+ "learning_rate": 2.940687361419069e-05,
5492
+ "loss": 1.2006890773773193,
5493
+ "step": 781
5494
+ },
5495
+ {
5496
+ "epoch": 0.4461560405077735,
5497
+ "grad_norm": 0.98828125,
5498
+ "learning_rate": 2.9379157427937915e-05,
5499
+ "loss": 1.1819924116134644,
5500
+ "step": 782
5501
+ },
5502
+ {
5503
+ "epoch": 0.4467265725288832,
5504
+ "grad_norm": 0.9453125,
5505
+ "learning_rate": 2.9351441241685145e-05,
5506
+ "loss": 1.1743961572647095,
5507
+ "step": 783
5508
+ },
5509
+ {
5510
+ "epoch": 0.4472971045499929,
5511
+ "grad_norm": 0.98046875,
5512
+ "learning_rate": 2.932372505543237e-05,
5513
+ "loss": 1.2021007537841797,
5514
+ "step": 784
5515
+ },
5516
+ {
5517
+ "epoch": 0.44786763657110257,
5518
+ "grad_norm": 1.0,
5519
+ "learning_rate": 2.9296008869179603e-05,
5520
+ "loss": 1.2032489776611328,
5521
+ "step": 785
5522
+ },
5523
+ {
5524
+ "epoch": 0.44843816859221225,
5525
+ "grad_norm": 1.015625,
5526
+ "learning_rate": 2.926829268292683e-05,
5527
+ "loss": 1.1912821531295776,
5528
+ "step": 786
5529
+ },
5530
+ {
5531
+ "epoch": 0.44900870061332193,
5532
+ "grad_norm": 0.9609375,
5533
+ "learning_rate": 2.924057649667406e-05,
5534
+ "loss": 1.184190034866333,
5535
+ "step": 787
5536
+ },
5537
+ {
5538
+ "epoch": 0.4495792326344316,
5539
+ "grad_norm": 1.015625,
5540
+ "learning_rate": 2.9212860310421285e-05,
5541
+ "loss": 1.272563099861145,
5542
+ "step": 788
5543
+ },
5544
+ {
5545
+ "epoch": 0.4501497646555413,
5546
+ "grad_norm": 0.98046875,
5547
+ "learning_rate": 2.9185144124168518e-05,
5548
+ "loss": 1.2212070226669312,
5549
+ "step": 789
5550
+ },
5551
+ {
5552
+ "epoch": 0.450720296676651,
5553
+ "grad_norm": 1.03125,
5554
+ "learning_rate": 2.9157427937915744e-05,
5555
+ "loss": 1.1937004327774048,
5556
+ "step": 790
5557
+ },
5558
+ {
5559
+ "epoch": 0.45129082869776066,
5560
+ "grad_norm": 1.0390625,
5561
+ "learning_rate": 2.9129711751662973e-05,
5562
+ "loss": 1.1712844371795654,
5563
+ "step": 791
5564
+ },
5565
+ {
5566
+ "epoch": 0.45186136071887034,
5567
+ "grad_norm": 0.9609375,
5568
+ "learning_rate": 2.91019955654102e-05,
5569
+ "loss": 1.1701891422271729,
5570
+ "step": 792
5571
+ },
5572
+ {
5573
+ "epoch": 0.45243189273998,
5574
+ "grad_norm": 1.015625,
5575
+ "learning_rate": 2.9074279379157432e-05,
5576
+ "loss": 1.2575602531433105,
5577
+ "step": 793
5578
+ },
5579
+ {
5580
+ "epoch": 0.4530024247610897,
5581
+ "grad_norm": 0.9765625,
5582
+ "learning_rate": 2.904656319290466e-05,
5583
+ "loss": 1.1968649625778198,
5584
+ "step": 794
5585
+ },
5586
+ {
5587
+ "epoch": 0.4535729567821994,
5588
+ "grad_norm": 0.97265625,
5589
+ "learning_rate": 2.9018847006651885e-05,
5590
+ "loss": 1.205810546875,
5591
+ "step": 795
5592
+ },
5593
+ {
5594
+ "epoch": 0.45414348880330907,
5595
+ "grad_norm": 0.96875,
5596
+ "learning_rate": 2.8991130820399114e-05,
5597
+ "loss": 1.1697238683700562,
5598
+ "step": 796
5599
+ },
5600
+ {
5601
+ "epoch": 0.45471402082441875,
5602
+ "grad_norm": 1.0703125,
5603
+ "learning_rate": 2.896341463414634e-05,
5604
+ "loss": 1.27318274974823,
5605
+ "step": 797
5606
+ },
5607
+ {
5608
+ "epoch": 0.45528455284552843,
5609
+ "grad_norm": 1.015625,
5610
+ "learning_rate": 2.8935698447893573e-05,
5611
+ "loss": 1.2104084491729736,
5612
+ "step": 798
5613
+ },
5614
+ {
5615
+ "epoch": 0.4558550848666381,
5616
+ "grad_norm": 1.0234375,
5617
+ "learning_rate": 2.89079822616408e-05,
5618
+ "loss": 1.2579401731491089,
5619
+ "step": 799
5620
+ },
5621
+ {
5622
+ "epoch": 0.4564256168877478,
5623
+ "grad_norm": 0.97265625,
5624
+ "learning_rate": 2.888026607538803e-05,
5625
+ "loss": 1.1750009059906006,
5626
+ "step": 800
5627
+ },
5628
+ {
5629
+ "epoch": 0.45699614890885754,
5630
+ "grad_norm": 1.03125,
5631
+ "learning_rate": 2.8852549889135255e-05,
5632
+ "loss": 1.1911466121673584,
5633
+ "step": 801
5634
+ },
5635
+ {
5636
+ "epoch": 0.4575666809299672,
5637
+ "grad_norm": 0.96875,
5638
+ "learning_rate": 2.8824833702882487e-05,
5639
+ "loss": 1.0935354232788086,
5640
+ "step": 802
5641
+ },
5642
+ {
5643
+ "epoch": 0.4581372129510769,
5644
+ "grad_norm": 0.9453125,
5645
+ "learning_rate": 2.8797117516629713e-05,
5646
+ "loss": 1.1621028184890747,
5647
+ "step": 803
5648
+ },
5649
+ {
5650
+ "epoch": 0.4587077449721866,
5651
+ "grad_norm": 0.98828125,
5652
+ "learning_rate": 2.8769401330376943e-05,
5653
+ "loss": 1.1952382326126099,
5654
+ "step": 804
5655
+ },
5656
+ {
5657
+ "epoch": 0.45927827699329626,
5658
+ "grad_norm": 0.984375,
5659
+ "learning_rate": 2.874168514412417e-05,
5660
+ "loss": 1.2074031829833984,
5661
+ "step": 805
5662
+ },
5663
+ {
5664
+ "epoch": 0.45984880901440595,
5665
+ "grad_norm": 0.94921875,
5666
+ "learning_rate": 2.8713968957871395e-05,
5667
+ "loss": 1.191246509552002,
5668
+ "step": 806
5669
+ },
5670
+ {
5671
+ "epoch": 0.46041934103551563,
5672
+ "grad_norm": 0.921875,
5673
+ "learning_rate": 2.8686252771618628e-05,
5674
+ "loss": 1.2298707962036133,
5675
+ "step": 807
5676
+ },
5677
+ {
5678
+ "epoch": 0.4609898730566253,
5679
+ "grad_norm": 1.015625,
5680
+ "learning_rate": 2.8658536585365854e-05,
5681
+ "loss": 1.2514528036117554,
5682
+ "step": 808
5683
+ },
5684
+ {
5685
+ "epoch": 0.461560405077735,
5686
+ "grad_norm": 0.96484375,
5687
+ "learning_rate": 2.8630820399113084e-05,
5688
+ "loss": 1.2710151672363281,
5689
+ "step": 809
5690
+ },
5691
+ {
5692
+ "epoch": 0.4621309370988447,
5693
+ "grad_norm": 0.93359375,
5694
+ "learning_rate": 2.860310421286031e-05,
5695
+ "loss": 1.1337497234344482,
5696
+ "step": 810
5697
+ },
5698
+ {
5699
+ "epoch": 0.46270146911995436,
5700
+ "grad_norm": 0.96875,
5701
+ "learning_rate": 2.8575388026607542e-05,
5702
+ "loss": 1.1267883777618408,
5703
+ "step": 811
5704
+ },
5705
+ {
5706
+ "epoch": 0.46327200114106404,
5707
+ "grad_norm": 0.9609375,
5708
+ "learning_rate": 2.854767184035477e-05,
5709
+ "loss": 1.1755304336547852,
5710
+ "step": 812
5711
+ },
5712
+ {
5713
+ "epoch": 0.4638425331621737,
5714
+ "grad_norm": 0.96875,
5715
+ "learning_rate": 2.8519955654101998e-05,
5716
+ "loss": 1.1366599798202515,
5717
+ "step": 813
5718
+ },
5719
+ {
5720
+ "epoch": 0.4644130651832834,
5721
+ "grad_norm": 1.0234375,
5722
+ "learning_rate": 2.8492239467849224e-05,
5723
+ "loss": 1.2038339376449585,
5724
+ "step": 814
5725
+ },
5726
+ {
5727
+ "epoch": 0.4649835972043931,
5728
+ "grad_norm": 0.96875,
5729
+ "learning_rate": 2.8464523281596457e-05,
5730
+ "loss": 1.2154085636138916,
5731
+ "step": 815
5732
+ },
5733
+ {
5734
+ "epoch": 0.46555412922550277,
5735
+ "grad_norm": 1.0078125,
5736
+ "learning_rate": 2.8436807095343683e-05,
5737
+ "loss": 1.1818276643753052,
5738
+ "step": 816
5739
+ },
5740
+ {
5741
+ "epoch": 0.46612466124661245,
5742
+ "grad_norm": 1.0078125,
5743
+ "learning_rate": 2.8409090909090912e-05,
5744
+ "loss": 1.2436468601226807,
5745
+ "step": 817
5746
+ },
5747
+ {
5748
+ "epoch": 0.46669519326772213,
5749
+ "grad_norm": 0.953125,
5750
+ "learning_rate": 2.838137472283814e-05,
5751
+ "loss": 1.1363047361373901,
5752
+ "step": 818
5753
+ },
5754
+ {
5755
+ "epoch": 0.4672657252888318,
5756
+ "grad_norm": 0.984375,
5757
+ "learning_rate": 2.8353658536585365e-05,
5758
+ "loss": 1.1960558891296387,
5759
+ "step": 819
5760
+ },
5761
+ {
5762
+ "epoch": 0.4678362573099415,
5763
+ "grad_norm": 0.96875,
5764
+ "learning_rate": 2.8325942350332597e-05,
5765
+ "loss": 1.171709418296814,
5766
+ "step": 820
5767
+ },
5768
+ {
5769
+ "epoch": 0.46840678933105123,
5770
+ "grad_norm": 0.953125,
5771
+ "learning_rate": 2.8298226164079824e-05,
5772
+ "loss": 1.1537501811981201,
5773
+ "step": 821
5774
+ },
5775
+ {
5776
+ "epoch": 0.4689773213521609,
5777
+ "grad_norm": 0.9609375,
5778
+ "learning_rate": 2.8270509977827053e-05,
5779
+ "loss": 1.1839423179626465,
5780
+ "step": 822
5781
+ },
5782
+ {
5783
+ "epoch": 0.4695478533732706,
5784
+ "grad_norm": 0.98046875,
5785
+ "learning_rate": 2.824279379157428e-05,
5786
+ "loss": 1.1610156297683716,
5787
+ "step": 823
5788
+ },
5789
+ {
5790
+ "epoch": 0.4701183853943803,
5791
+ "grad_norm": 0.984375,
5792
+ "learning_rate": 2.8215077605321512e-05,
5793
+ "loss": 1.1708459854125977,
5794
+ "step": 824
5795
+ },
5796
+ {
5797
+ "epoch": 0.47068891741548996,
5798
+ "grad_norm": 1.015625,
5799
+ "learning_rate": 2.8187361419068735e-05,
5800
+ "loss": 1.251354455947876,
5801
+ "step": 825
5802
+ },
5803
+ {
5804
+ "epoch": 0.47125944943659964,
5805
+ "grad_norm": 0.984375,
5806
+ "learning_rate": 2.8159645232815967e-05,
5807
+ "loss": 1.2049927711486816,
5808
+ "step": 826
5809
+ },
5810
+ {
5811
+ "epoch": 0.4718299814577093,
5812
+ "grad_norm": 0.99609375,
5813
+ "learning_rate": 2.8131929046563194e-05,
5814
+ "loss": 1.230988621711731,
5815
+ "step": 827
5816
+ },
5817
+ {
5818
+ "epoch": 0.472400513478819,
5819
+ "grad_norm": 0.96484375,
5820
+ "learning_rate": 2.8104212860310426e-05,
5821
+ "loss": 1.1739616394042969,
5822
+ "step": 828
5823
+ },
5824
+ {
5825
+ "epoch": 0.4729710454999287,
5826
+ "grad_norm": 0.99609375,
5827
+ "learning_rate": 2.807649667405765e-05,
5828
+ "loss": 1.1999741792678833,
5829
+ "step": 829
5830
+ },
5831
+ {
5832
+ "epoch": 0.47354157752103837,
5833
+ "grad_norm": 1.0,
5834
+ "learning_rate": 2.8048780487804882e-05,
5835
+ "loss": 1.2062275409698486,
5836
+ "step": 830
5837
+ },
5838
+ {
5839
+ "epoch": 0.47411210954214805,
5840
+ "grad_norm": 1.0078125,
5841
+ "learning_rate": 2.8021064301552108e-05,
5842
+ "loss": 1.1344287395477295,
5843
+ "step": 831
5844
+ },
5845
+ {
5846
+ "epoch": 0.47468264156325773,
5847
+ "grad_norm": 0.96484375,
5848
+ "learning_rate": 2.7993348115299334e-05,
5849
+ "loss": 1.2056477069854736,
5850
+ "step": 832
5851
+ },
5852
+ {
5853
+ "epoch": 0.4752531735843674,
5854
+ "grad_norm": 1.015625,
5855
+ "learning_rate": 2.7965631929046564e-05,
5856
+ "loss": 1.1727713346481323,
5857
+ "step": 833
5858
+ },
5859
+ {
5860
+ "epoch": 0.4758237056054771,
5861
+ "grad_norm": 0.99609375,
5862
+ "learning_rate": 2.793791574279379e-05,
5863
+ "loss": 1.2081948518753052,
5864
+ "step": 834
5865
+ },
5866
+ {
5867
+ "epoch": 0.4763942376265868,
5868
+ "grad_norm": 0.98046875,
5869
+ "learning_rate": 2.7910199556541023e-05,
5870
+ "loss": 1.255791187286377,
5871
+ "step": 835
5872
+ },
5873
+ {
5874
+ "epoch": 0.47696476964769646,
5875
+ "grad_norm": 0.9921875,
5876
+ "learning_rate": 2.788248337028825e-05,
5877
+ "loss": 1.1889286041259766,
5878
+ "step": 836
5879
+ },
5880
+ {
5881
+ "epoch": 0.47753530166880614,
5882
+ "grad_norm": 0.9921875,
5883
+ "learning_rate": 2.7854767184035478e-05,
5884
+ "loss": 1.241337776184082,
5885
+ "step": 837
5886
+ },
5887
+ {
5888
+ "epoch": 0.4781058336899158,
5889
+ "grad_norm": 0.98828125,
5890
+ "learning_rate": 2.7827050997782704e-05,
5891
+ "loss": 1.2144089937210083,
5892
+ "step": 838
5893
+ },
5894
+ {
5895
+ "epoch": 0.4786763657110255,
5896
+ "grad_norm": 0.95703125,
5897
+ "learning_rate": 2.7799334811529937e-05,
5898
+ "loss": 1.1527715921401978,
5899
+ "step": 839
5900
+ },
5901
+ {
5902
+ "epoch": 0.4792468977321352,
5903
+ "grad_norm": 0.96875,
5904
+ "learning_rate": 2.7771618625277163e-05,
5905
+ "loss": 1.181959629058838,
5906
+ "step": 840
5907
+ },
5908
+ {
5909
+ "epoch": 0.47981742975324493,
5910
+ "grad_norm": 0.9921875,
5911
+ "learning_rate": 2.7743902439024393e-05,
5912
+ "loss": 1.1999069452285767,
5913
+ "step": 841
5914
+ },
5915
+ {
5916
+ "epoch": 0.4803879617743546,
5917
+ "grad_norm": 0.984375,
5918
+ "learning_rate": 2.771618625277162e-05,
5919
+ "loss": 1.2098867893218994,
5920
+ "step": 842
5921
+ },
5922
+ {
5923
+ "epoch": 0.4809584937954643,
5924
+ "grad_norm": 0.9765625,
5925
+ "learning_rate": 2.7688470066518845e-05,
5926
+ "loss": 1.1860891580581665,
5927
+ "step": 843
5928
+ },
5929
+ {
5930
+ "epoch": 0.481529025816574,
5931
+ "grad_norm": 0.9609375,
5932
+ "learning_rate": 2.7660753880266078e-05,
5933
+ "loss": 1.1108654737472534,
5934
+ "step": 844
5935
+ },
5936
+ {
5937
+ "epoch": 0.48209955783768366,
5938
+ "grad_norm": 0.953125,
5939
+ "learning_rate": 2.7633037694013304e-05,
5940
+ "loss": 1.2157371044158936,
5941
+ "step": 845
5942
+ },
5943
+ {
5944
+ "epoch": 0.48267008985879334,
5945
+ "grad_norm": 0.96875,
5946
+ "learning_rate": 2.7605321507760533e-05,
5947
+ "loss": 1.2216970920562744,
5948
+ "step": 846
5949
+ },
5950
+ {
5951
+ "epoch": 0.483240621879903,
5952
+ "grad_norm": 0.98046875,
5953
+ "learning_rate": 2.757760532150776e-05,
5954
+ "loss": 1.1434253454208374,
5955
+ "step": 847
5956
+ },
5957
+ {
5958
+ "epoch": 0.4838111539010127,
5959
+ "grad_norm": 0.99609375,
5960
+ "learning_rate": 2.7549889135254992e-05,
5961
+ "loss": 1.1241540908813477,
5962
+ "step": 848
5963
+ },
5964
+ {
5965
+ "epoch": 0.4843816859221224,
5966
+ "grad_norm": 0.9921875,
5967
+ "learning_rate": 2.7522172949002218e-05,
5968
+ "loss": 1.186653971672058,
5969
+ "step": 849
5970
+ },
5971
+ {
5972
+ "epoch": 0.48495221794323207,
5973
+ "grad_norm": 1.015625,
5974
+ "learning_rate": 2.7494456762749448e-05,
5975
+ "loss": 1.2525804042816162,
5976
+ "step": 850
5977
+ },
5978
+ {
5979
+ "epoch": 0.48552274996434175,
5980
+ "grad_norm": 0.98046875,
5981
+ "learning_rate": 2.7466740576496674e-05,
5982
+ "loss": 1.1987820863723755,
5983
+ "step": 851
5984
+ },
5985
+ {
5986
+ "epoch": 0.48609328198545143,
5987
+ "grad_norm": 0.96875,
5988
+ "learning_rate": 2.7439024390243906e-05,
5989
+ "loss": 1.2217812538146973,
5990
+ "step": 852
5991
+ },
5992
+ {
5993
+ "epoch": 0.4866638140065611,
5994
+ "grad_norm": 0.97265625,
5995
+ "learning_rate": 2.7411308203991133e-05,
5996
+ "loss": 1.201343297958374,
5997
+ "step": 853
5998
+ },
5999
+ {
6000
+ "epoch": 0.4872343460276708,
6001
+ "grad_norm": 0.953125,
6002
+ "learning_rate": 2.7383592017738362e-05,
6003
+ "loss": 1.1668754816055298,
6004
+ "step": 854
6005
+ },
6006
+ {
6007
+ "epoch": 0.4878048780487805,
6008
+ "grad_norm": 0.96875,
6009
+ "learning_rate": 2.7355875831485588e-05,
6010
+ "loss": 1.1264851093292236,
6011
+ "step": 855
6012
+ },
6013
+ {
6014
+ "epoch": 0.48837541006989016,
6015
+ "grad_norm": 0.9921875,
6016
+ "learning_rate": 2.7328159645232814e-05,
6017
+ "loss": 1.202168345451355,
6018
+ "step": 856
6019
+ },
6020
+ {
6021
+ "epoch": 0.48894594209099984,
6022
+ "grad_norm": 1.015625,
6023
+ "learning_rate": 2.7300443458980047e-05,
6024
+ "loss": 1.2231934070587158,
6025
+ "step": 857
6026
+ },
6027
+ {
6028
+ "epoch": 0.4895164741121095,
6029
+ "grad_norm": 1.0078125,
6030
+ "learning_rate": 2.7272727272727273e-05,
6031
+ "loss": 1.1511149406433105,
6032
+ "step": 858
6033
+ },
6034
+ {
6035
+ "epoch": 0.4900870061332192,
6036
+ "grad_norm": 1.0,
6037
+ "learning_rate": 2.7245011086474503e-05,
6038
+ "loss": 1.1898903846740723,
6039
+ "step": 859
6040
+ },
6041
+ {
6042
+ "epoch": 0.4906575381543289,
6043
+ "grad_norm": 1.0,
6044
+ "learning_rate": 2.721729490022173e-05,
6045
+ "loss": 1.1848946809768677,
6046
+ "step": 860
6047
+ },
6048
+ {
6049
+ "epoch": 0.49122807017543857,
6050
+ "grad_norm": 0.97265625,
6051
+ "learning_rate": 2.718957871396896e-05,
6052
+ "loss": 1.1898174285888672,
6053
+ "step": 861
6054
+ },
6055
+ {
6056
+ "epoch": 0.4917986021965483,
6057
+ "grad_norm": 1.0234375,
6058
+ "learning_rate": 2.7161862527716188e-05,
6059
+ "loss": 1.2187345027923584,
6060
+ "step": 862
6061
+ },
6062
+ {
6063
+ "epoch": 0.492369134217658,
6064
+ "grad_norm": 0.9765625,
6065
+ "learning_rate": 2.7134146341463417e-05,
6066
+ "loss": 1.1753157377243042,
6067
+ "step": 863
6068
+ },
6069
+ {
6070
+ "epoch": 0.49293966623876767,
6071
+ "grad_norm": 1.0078125,
6072
+ "learning_rate": 2.7106430155210643e-05,
6073
+ "loss": 1.2812843322753906,
6074
+ "step": 864
6075
+ },
6076
+ {
6077
+ "epoch": 0.49351019825987735,
6078
+ "grad_norm": 0.9921875,
6079
+ "learning_rate": 2.7078713968957876e-05,
6080
+ "loss": 1.2476832866668701,
6081
+ "step": 865
6082
+ },
6083
+ {
6084
+ "epoch": 0.49408073028098703,
6085
+ "grad_norm": 0.95703125,
6086
+ "learning_rate": 2.7050997782705102e-05,
6087
+ "loss": 1.1763570308685303,
6088
+ "step": 866
6089
+ },
6090
+ {
6091
+ "epoch": 0.4946512623020967,
6092
+ "grad_norm": 0.9609375,
6093
+ "learning_rate": 2.7023281596452328e-05,
6094
+ "loss": 1.159504771232605,
6095
+ "step": 867
6096
+ },
6097
+ {
6098
+ "epoch": 0.4952217943232064,
6099
+ "grad_norm": 0.94140625,
6100
+ "learning_rate": 2.6995565410199558e-05,
6101
+ "loss": 1.2344439029693604,
6102
+ "step": 868
6103
+ },
6104
+ {
6105
+ "epoch": 0.4957923263443161,
6106
+ "grad_norm": 0.98046875,
6107
+ "learning_rate": 2.6967849223946784e-05,
6108
+ "loss": 1.2668113708496094,
6109
+ "step": 869
6110
+ },
6111
+ {
6112
+ "epoch": 0.49636285836542576,
6113
+ "grad_norm": 0.96875,
6114
+ "learning_rate": 2.6940133037694017e-05,
6115
+ "loss": 1.2388842105865479,
6116
+ "step": 870
6117
+ },
6118
+ {
6119
+ "epoch": 0.49693339038653545,
6120
+ "grad_norm": 1.0,
6121
+ "learning_rate": 2.6912416851441243e-05,
6122
+ "loss": 1.197232723236084,
6123
+ "step": 871
6124
+ },
6125
+ {
6126
+ "epoch": 0.4975039224076451,
6127
+ "grad_norm": 0.98046875,
6128
+ "learning_rate": 2.6884700665188472e-05,
6129
+ "loss": 1.1960959434509277,
6130
+ "step": 872
6131
+ },
6132
+ {
6133
+ "epoch": 0.4980744544287548,
6134
+ "grad_norm": 0.99609375,
6135
+ "learning_rate": 2.6856984478935698e-05,
6136
+ "loss": 1.222888469696045,
6137
+ "step": 873
6138
+ },
6139
+ {
6140
+ "epoch": 0.4986449864498645,
6141
+ "grad_norm": 0.98828125,
6142
+ "learning_rate": 2.682926829268293e-05,
6143
+ "loss": 1.239640474319458,
6144
+ "step": 874
6145
+ },
6146
+ {
6147
+ "epoch": 0.4992155184709742,
6148
+ "grad_norm": 0.953125,
6149
+ "learning_rate": 2.6801552106430157e-05,
6150
+ "loss": 1.1557681560516357,
6151
+ "step": 875
6152
+ },
6153
+ {
6154
+ "epoch": 0.49978605049208386,
6155
+ "grad_norm": 1.0,
6156
+ "learning_rate": 2.6773835920177387e-05,
6157
+ "loss": 1.1697707176208496,
6158
+ "step": 876
6159
+ },
6160
+ {
6161
+ "epoch": 0.5003565825131936,
6162
+ "grad_norm": 1.0234375,
6163
+ "learning_rate": 2.6746119733924613e-05,
6164
+ "loss": 1.2065680027008057,
6165
+ "step": 877
6166
+ },
6167
+ {
6168
+ "epoch": 0.5009271145343033,
6169
+ "grad_norm": 0.9921875,
6170
+ "learning_rate": 2.6718403547671845e-05,
6171
+ "loss": 1.2194795608520508,
6172
+ "step": 878
6173
+ },
6174
+ {
6175
+ "epoch": 0.501497646555413,
6176
+ "grad_norm": 0.9609375,
6177
+ "learning_rate": 2.669068736141907e-05,
6178
+ "loss": 1.1722071170806885,
6179
+ "step": 879
6180
+ },
6181
+ {
6182
+ "epoch": 0.5020681785765226,
6183
+ "grad_norm": 0.99609375,
6184
+ "learning_rate": 2.6662971175166294e-05,
6185
+ "loss": 1.1860017776489258,
6186
+ "step": 880
6187
+ },
6188
+ {
6189
+ "epoch": 0.5026387105976323,
6190
+ "grad_norm": 0.9921875,
6191
+ "learning_rate": 2.6635254988913527e-05,
6192
+ "loss": 1.173937439918518,
6193
+ "step": 881
6194
+ },
6195
+ {
6196
+ "epoch": 0.503209242618742,
6197
+ "grad_norm": 1.0234375,
6198
+ "learning_rate": 2.6607538802660753e-05,
6199
+ "loss": 1.1348332166671753,
6200
+ "step": 882
6201
+ },
6202
+ {
6203
+ "epoch": 0.5037797746398517,
6204
+ "grad_norm": 0.97265625,
6205
+ "learning_rate": 2.6579822616407986e-05,
6206
+ "loss": 1.205221176147461,
6207
+ "step": 883
6208
+ },
6209
+ {
6210
+ "epoch": 0.5043503066609614,
6211
+ "grad_norm": 0.95703125,
6212
+ "learning_rate": 2.655210643015521e-05,
6213
+ "loss": 1.1510381698608398,
6214
+ "step": 884
6215
+ },
6216
+ {
6217
+ "epoch": 0.504920838682071,
6218
+ "grad_norm": 0.9921875,
6219
+ "learning_rate": 2.652439024390244e-05,
6220
+ "loss": 1.194382905960083,
6221
+ "step": 885
6222
+ },
6223
+ {
6224
+ "epoch": 0.5054913707031807,
6225
+ "grad_norm": 1.015625,
6226
+ "learning_rate": 2.6496674057649668e-05,
6227
+ "loss": 1.2697436809539795,
6228
+ "step": 886
6229
+ },
6230
+ {
6231
+ "epoch": 0.5060619027242904,
6232
+ "grad_norm": 0.9609375,
6233
+ "learning_rate": 2.64689578713969e-05,
6234
+ "loss": 1.1560388803482056,
6235
+ "step": 887
6236
+ },
6237
+ {
6238
+ "epoch": 0.5066324347454001,
6239
+ "grad_norm": 0.984375,
6240
+ "learning_rate": 2.6441241685144123e-05,
6241
+ "loss": 1.2498875856399536,
6242
+ "step": 888
6243
+ },
6244
+ {
6245
+ "epoch": 0.5072029667665098,
6246
+ "grad_norm": 0.9609375,
6247
+ "learning_rate": 2.6413525498891356e-05,
6248
+ "loss": 1.1706441640853882,
6249
+ "step": 889
6250
+ },
6251
+ {
6252
+ "epoch": 0.5077734987876195,
6253
+ "grad_norm": 0.99609375,
6254
+ "learning_rate": 2.6385809312638582e-05,
6255
+ "loss": 1.1960177421569824,
6256
+ "step": 890
6257
+ },
6258
+ {
6259
+ "epoch": 0.5083440308087291,
6260
+ "grad_norm": 1.0,
6261
+ "learning_rate": 2.6358093126385815e-05,
6262
+ "loss": 1.1732114553451538,
6263
+ "step": 891
6264
+ },
6265
+ {
6266
+ "epoch": 0.5089145628298388,
6267
+ "grad_norm": 0.984375,
6268
+ "learning_rate": 2.6330376940133038e-05,
6269
+ "loss": 1.1812173128128052,
6270
+ "step": 892
6271
+ },
6272
+ {
6273
+ "epoch": 0.5094850948509485,
6274
+ "grad_norm": 1.0,
6275
+ "learning_rate": 2.6302660753880264e-05,
6276
+ "loss": 1.243033528327942,
6277
+ "step": 893
6278
+ },
6279
+ {
6280
+ "epoch": 0.5100556268720582,
6281
+ "grad_norm": 0.984375,
6282
+ "learning_rate": 2.6274944567627497e-05,
6283
+ "loss": 1.1132174730300903,
6284
+ "step": 894
6285
+ },
6286
+ {
6287
+ "epoch": 0.5106261588931679,
6288
+ "grad_norm": 0.9296875,
6289
+ "learning_rate": 2.6247228381374723e-05,
6290
+ "loss": 1.129286289215088,
6291
+ "step": 895
6292
+ },
6293
+ {
6294
+ "epoch": 0.5111966909142776,
6295
+ "grad_norm": 1.0078125,
6296
+ "learning_rate": 2.6219512195121952e-05,
6297
+ "loss": 1.1969499588012695,
6298
+ "step": 896
6299
+ },
6300
+ {
6301
+ "epoch": 0.5117672229353872,
6302
+ "grad_norm": 0.9921875,
6303
+ "learning_rate": 2.6191796008869178e-05,
6304
+ "loss": 1.1295521259307861,
6305
+ "step": 897
6306
+ },
6307
+ {
6308
+ "epoch": 0.5123377549564969,
6309
+ "grad_norm": 1.0390625,
6310
+ "learning_rate": 2.616407982261641e-05,
6311
+ "loss": 1.1657040119171143,
6312
+ "step": 898
6313
+ },
6314
+ {
6315
+ "epoch": 0.5129082869776066,
6316
+ "grad_norm": 0.953125,
6317
+ "learning_rate": 2.6136363636363637e-05,
6318
+ "loss": 1.182844638824463,
6319
+ "step": 899
6320
+ },
6321
+ {
6322
+ "epoch": 0.5134788189987163,
6323
+ "grad_norm": 0.92578125,
6324
+ "learning_rate": 2.6108647450110867e-05,
6325
+ "loss": 1.11708664894104,
6326
+ "step": 900
6327
+ },
6328
+ {
6329
+ "epoch": 0.514049351019826,
6330
+ "grad_norm": 0.953125,
6331
+ "learning_rate": 2.6080931263858093e-05,
6332
+ "loss": 1.1282655000686646,
6333
+ "step": 901
6334
+ },
6335
+ {
6336
+ "epoch": 0.5146198830409356,
6337
+ "grad_norm": 0.98046875,
6338
+ "learning_rate": 2.6053215077605326e-05,
6339
+ "loss": 1.1830154657363892,
6340
+ "step": 902
6341
+ },
6342
+ {
6343
+ "epoch": 0.5151904150620453,
6344
+ "grad_norm": 0.9765625,
6345
+ "learning_rate": 2.602549889135255e-05,
6346
+ "loss": 1.1873393058776855,
6347
+ "step": 903
6348
+ },
6349
+ {
6350
+ "epoch": 0.515760947083155,
6351
+ "grad_norm": 0.953125,
6352
+ "learning_rate": 2.5997782705099778e-05,
6353
+ "loss": 1.1280049085617065,
6354
+ "step": 904
6355
+ },
6356
+ {
6357
+ "epoch": 0.5163314791042647,
6358
+ "grad_norm": 0.96875,
6359
+ "learning_rate": 2.5970066518847007e-05,
6360
+ "loss": 1.1866214275360107,
6361
+ "step": 905
6362
+ },
6363
+ {
6364
+ "epoch": 0.5169020111253744,
6365
+ "grad_norm": 0.9296875,
6366
+ "learning_rate": 2.5942350332594233e-05,
6367
+ "loss": 1.132464051246643,
6368
+ "step": 906
6369
+ },
6370
+ {
6371
+ "epoch": 0.517472543146484,
6372
+ "grad_norm": 0.9921875,
6373
+ "learning_rate": 2.5914634146341466e-05,
6374
+ "loss": 1.2057054042816162,
6375
+ "step": 907
6376
+ },
6377
+ {
6378
+ "epoch": 0.5180430751675937,
6379
+ "grad_norm": 0.96875,
6380
+ "learning_rate": 2.5886917960088692e-05,
6381
+ "loss": 1.1725504398345947,
6382
+ "step": 908
6383
+ },
6384
+ {
6385
+ "epoch": 0.5186136071887034,
6386
+ "grad_norm": 1.0078125,
6387
+ "learning_rate": 2.585920177383592e-05,
6388
+ "loss": 1.2105215787887573,
6389
+ "step": 909
6390
+ },
6391
+ {
6392
+ "epoch": 0.5191841392098131,
6393
+ "grad_norm": 0.9375,
6394
+ "learning_rate": 2.5831485587583148e-05,
6395
+ "loss": 1.126555323600769,
6396
+ "step": 910
6397
+ },
6398
+ {
6399
+ "epoch": 0.5197546712309228,
6400
+ "grad_norm": 0.953125,
6401
+ "learning_rate": 2.580376940133038e-05,
6402
+ "loss": 1.117220401763916,
6403
+ "step": 911
6404
+ },
6405
+ {
6406
+ "epoch": 0.5203252032520326,
6407
+ "grad_norm": 0.98828125,
6408
+ "learning_rate": 2.5776053215077607e-05,
6409
+ "loss": 1.1578710079193115,
6410
+ "step": 912
6411
+ },
6412
+ {
6413
+ "epoch": 0.5208957352731423,
6414
+ "grad_norm": 0.97265625,
6415
+ "learning_rate": 2.5748337028824836e-05,
6416
+ "loss": 1.1631922721862793,
6417
+ "step": 913
6418
+ },
6419
+ {
6420
+ "epoch": 0.5214662672942519,
6421
+ "grad_norm": 0.9921875,
6422
+ "learning_rate": 2.5720620842572062e-05,
6423
+ "loss": 1.2013893127441406,
6424
+ "step": 914
6425
+ },
6426
+ {
6427
+ "epoch": 0.5220367993153616,
6428
+ "grad_norm": 1.0,
6429
+ "learning_rate": 2.5692904656319295e-05,
6430
+ "loss": 1.159932017326355,
6431
+ "step": 915
6432
+ },
6433
+ {
6434
+ "epoch": 0.5226073313364713,
6435
+ "grad_norm": 0.9453125,
6436
+ "learning_rate": 2.566518847006652e-05,
6437
+ "loss": 1.1213711500167847,
6438
+ "step": 916
6439
+ },
6440
+ {
6441
+ "epoch": 0.523177863357581,
6442
+ "grad_norm": 1.0,
6443
+ "learning_rate": 2.5637472283813747e-05,
6444
+ "loss": 1.2035624980926514,
6445
+ "step": 917
6446
+ },
6447
+ {
6448
+ "epoch": 0.5237483953786907,
6449
+ "grad_norm": 0.921875,
6450
+ "learning_rate": 2.5609756097560977e-05,
6451
+ "loss": 1.100569725036621,
6452
+ "step": 918
6453
+ },
6454
+ {
6455
+ "epoch": 0.5243189273998003,
6456
+ "grad_norm": 0.99609375,
6457
+ "learning_rate": 2.5582039911308203e-05,
6458
+ "loss": 1.1802055835723877,
6459
+ "step": 919
6460
+ },
6461
+ {
6462
+ "epoch": 0.52488945942091,
6463
+ "grad_norm": 0.9453125,
6464
+ "learning_rate": 2.5554323725055436e-05,
6465
+ "loss": 1.2129563093185425,
6466
+ "step": 920
6467
+ },
6468
+ {
6469
+ "epoch": 0.5254599914420197,
6470
+ "grad_norm": 0.984375,
6471
+ "learning_rate": 2.552660753880266e-05,
6472
+ "loss": 1.2040753364562988,
6473
+ "step": 921
6474
+ },
6475
+ {
6476
+ "epoch": 0.5260305234631294,
6477
+ "grad_norm": 0.9921875,
6478
+ "learning_rate": 2.549889135254989e-05,
6479
+ "loss": 1.1266067028045654,
6480
+ "step": 922
6481
+ },
6482
+ {
6483
+ "epoch": 0.5266010554842391,
6484
+ "grad_norm": 1.0078125,
6485
+ "learning_rate": 2.5471175166297117e-05,
6486
+ "loss": 1.1967592239379883,
6487
+ "step": 923
6488
+ },
6489
+ {
6490
+ "epoch": 0.5271715875053488,
6491
+ "grad_norm": 0.97265625,
6492
+ "learning_rate": 2.544345898004435e-05,
6493
+ "loss": 1.1658574342727661,
6494
+ "step": 924
6495
+ },
6496
+ {
6497
+ "epoch": 0.5277421195264584,
6498
+ "grad_norm": 0.96875,
6499
+ "learning_rate": 2.5415742793791576e-05,
6500
+ "loss": 1.1974247694015503,
6501
+ "step": 925
6502
+ },
6503
+ {
6504
+ "epoch": 0.5283126515475681,
6505
+ "grad_norm": 0.96484375,
6506
+ "learning_rate": 2.5388026607538806e-05,
6507
+ "loss": 1.175785779953003,
6508
+ "step": 926
6509
+ },
6510
+ {
6511
+ "epoch": 0.5288831835686778,
6512
+ "grad_norm": 0.98828125,
6513
+ "learning_rate": 2.5360310421286032e-05,
6514
+ "loss": 1.2295399904251099,
6515
+ "step": 927
6516
+ },
6517
+ {
6518
+ "epoch": 0.5294537155897875,
6519
+ "grad_norm": 1.015625,
6520
+ "learning_rate": 2.5332594235033258e-05,
6521
+ "loss": 1.1797332763671875,
6522
+ "step": 928
6523
+ },
6524
+ {
6525
+ "epoch": 0.5300242476108972,
6526
+ "grad_norm": 0.9375,
6527
+ "learning_rate": 2.530487804878049e-05,
6528
+ "loss": 1.1036921739578247,
6529
+ "step": 929
6530
+ },
6531
+ {
6532
+ "epoch": 0.5305947796320069,
6533
+ "grad_norm": 1.0,
6534
+ "learning_rate": 2.5277161862527717e-05,
6535
+ "loss": 1.1661919355392456,
6536
+ "step": 930
6537
+ },
6538
+ {
6539
+ "epoch": 0.5311653116531165,
6540
+ "grad_norm": 1.015625,
6541
+ "learning_rate": 2.5249445676274946e-05,
6542
+ "loss": 1.220758318901062,
6543
+ "step": 931
6544
+ },
6545
+ {
6546
+ "epoch": 0.5317358436742262,
6547
+ "grad_norm": 1.015625,
6548
+ "learning_rate": 2.5221729490022172e-05,
6549
+ "loss": 1.2072967290878296,
6550
+ "step": 932
6551
+ },
6552
+ {
6553
+ "epoch": 0.5323063756953359,
6554
+ "grad_norm": 0.98046875,
6555
+ "learning_rate": 2.5194013303769405e-05,
6556
+ "loss": 1.211767315864563,
6557
+ "step": 933
6558
+ },
6559
+ {
6560
+ "epoch": 0.5328769077164456,
6561
+ "grad_norm": 1.0,
6562
+ "learning_rate": 2.516629711751663e-05,
6563
+ "loss": 1.196463942527771,
6564
+ "step": 934
6565
+ },
6566
+ {
6567
+ "epoch": 0.5334474397375553,
6568
+ "grad_norm": 0.96484375,
6569
+ "learning_rate": 2.513858093126386e-05,
6570
+ "loss": 1.1342837810516357,
6571
+ "step": 935
6572
+ },
6573
+ {
6574
+ "epoch": 0.5340179717586649,
6575
+ "grad_norm": 0.9765625,
6576
+ "learning_rate": 2.5110864745011087e-05,
6577
+ "loss": 1.155871868133545,
6578
+ "step": 936
6579
+ },
6580
+ {
6581
+ "epoch": 0.5345885037797746,
6582
+ "grad_norm": 1.0,
6583
+ "learning_rate": 2.508314855875832e-05,
6584
+ "loss": 1.1863211393356323,
6585
+ "step": 937
6586
+ },
6587
+ {
6588
+ "epoch": 0.5351590358008843,
6589
+ "grad_norm": 0.96484375,
6590
+ "learning_rate": 2.5055432372505546e-05,
6591
+ "loss": 1.1399109363555908,
6592
+ "step": 938
6593
+ },
6594
+ {
6595
+ "epoch": 0.535729567821994,
6596
+ "grad_norm": 0.96875,
6597
+ "learning_rate": 2.5027716186252775e-05,
6598
+ "loss": 1.148442268371582,
6599
+ "step": 939
6600
+ },
6601
+ {
6602
+ "epoch": 0.5363000998431037,
6603
+ "grad_norm": 1.0234375,
6604
+ "learning_rate": 2.5e-05,
6605
+ "loss": 1.2298827171325684,
6606
+ "step": 940
6607
+ },
6608
+ {
6609
+ "epoch": 0.5368706318642134,
6610
+ "grad_norm": 0.953125,
6611
+ "learning_rate": 2.497228381374723e-05,
6612
+ "loss": 1.1379940509796143,
6613
+ "step": 941
6614
+ },
6615
+ {
6616
+ "epoch": 0.537441163885323,
6617
+ "grad_norm": 0.9453125,
6618
+ "learning_rate": 2.4944567627494457e-05,
6619
+ "loss": 1.1394915580749512,
6620
+ "step": 942
6621
+ },
6622
+ {
6623
+ "epoch": 0.5380116959064327,
6624
+ "grad_norm": 0.9921875,
6625
+ "learning_rate": 2.4916851441241686e-05,
6626
+ "loss": 1.180498480796814,
6627
+ "step": 943
6628
+ },
6629
+ {
6630
+ "epoch": 0.5385822279275424,
6631
+ "grad_norm": 1.0546875,
6632
+ "learning_rate": 2.4889135254988916e-05,
6633
+ "loss": 1.2175443172454834,
6634
+ "step": 944
6635
+ },
6636
+ {
6637
+ "epoch": 0.5391527599486521,
6638
+ "grad_norm": 0.98828125,
6639
+ "learning_rate": 2.4861419068736145e-05,
6640
+ "loss": 1.1404181718826294,
6641
+ "step": 945
6642
+ },
6643
+ {
6644
+ "epoch": 0.5397232919697618,
6645
+ "grad_norm": 0.9765625,
6646
+ "learning_rate": 2.483370288248337e-05,
6647
+ "loss": 1.1929075717926025,
6648
+ "step": 946
6649
+ },
6650
+ {
6651
+ "epoch": 0.5402938239908714,
6652
+ "grad_norm": 0.96484375,
6653
+ "learning_rate": 2.4805986696230597e-05,
6654
+ "loss": 1.1470379829406738,
6655
+ "step": 947
6656
+ },
6657
+ {
6658
+ "epoch": 0.5408643560119811,
6659
+ "grad_norm": 1.0,
6660
+ "learning_rate": 2.4778270509977827e-05,
6661
+ "loss": 1.1692397594451904,
6662
+ "step": 948
6663
+ },
6664
+ {
6665
+ "epoch": 0.5414348880330908,
6666
+ "grad_norm": 1.0078125,
6667
+ "learning_rate": 2.4750554323725056e-05,
6668
+ "loss": 1.2243307828903198,
6669
+ "step": 949
6670
+ },
6671
+ {
6672
+ "epoch": 0.5420054200542005,
6673
+ "grad_norm": 0.99609375,
6674
+ "learning_rate": 2.4722838137472286e-05,
6675
+ "loss": 1.1853331327438354,
6676
+ "step": 950
6677
+ },
6678
+ {
6679
+ "epoch": 0.5425759520753102,
6680
+ "grad_norm": 1.015625,
6681
+ "learning_rate": 2.4695121951219512e-05,
6682
+ "loss": 1.2312514781951904,
6683
+ "step": 951
6684
+ },
6685
+ {
6686
+ "epoch": 0.5431464840964199,
6687
+ "grad_norm": 0.953125,
6688
+ "learning_rate": 2.466740576496674e-05,
6689
+ "loss": 1.1487960815429688,
6690
+ "step": 952
6691
+ },
6692
+ {
6693
+ "epoch": 0.5437170161175297,
6694
+ "grad_norm": 0.96875,
6695
+ "learning_rate": 2.463968957871397e-05,
6696
+ "loss": 1.1434435844421387,
6697
+ "step": 953
6698
+ },
6699
+ {
6700
+ "epoch": 0.5442875481386393,
6701
+ "grad_norm": 0.97265625,
6702
+ "learning_rate": 2.46119733924612e-05,
6703
+ "loss": 1.2065646648406982,
6704
+ "step": 954
6705
+ },
6706
+ {
6707
+ "epoch": 0.544858080159749,
6708
+ "grad_norm": 0.96875,
6709
+ "learning_rate": 2.4584257206208426e-05,
6710
+ "loss": 1.1631767749786377,
6711
+ "step": 955
6712
+ },
6713
+ {
6714
+ "epoch": 0.5454286121808587,
6715
+ "grad_norm": 0.94921875,
6716
+ "learning_rate": 2.4556541019955656e-05,
6717
+ "loss": 1.19287109375,
6718
+ "step": 956
6719
+ },
6720
+ {
6721
+ "epoch": 0.5459991442019684,
6722
+ "grad_norm": 0.98828125,
6723
+ "learning_rate": 2.4528824833702885e-05,
6724
+ "loss": 1.183131456375122,
6725
+ "step": 957
6726
+ },
6727
+ {
6728
+ "epoch": 0.5465696762230781,
6729
+ "grad_norm": 0.953125,
6730
+ "learning_rate": 2.4501108647450115e-05,
6731
+ "loss": 1.1865886449813843,
6732
+ "step": 958
6733
+ },
6734
+ {
6735
+ "epoch": 0.5471402082441877,
6736
+ "grad_norm": 0.98046875,
6737
+ "learning_rate": 2.447339246119734e-05,
6738
+ "loss": 1.1511285305023193,
6739
+ "step": 959
6740
+ },
6741
+ {
6742
+ "epoch": 0.5477107402652974,
6743
+ "grad_norm": 0.96484375,
6744
+ "learning_rate": 2.4445676274944567e-05,
6745
+ "loss": 1.1591591835021973,
6746
+ "step": 960
6747
+ },
6748
+ {
6749
+ "epoch": 0.5482812722864071,
6750
+ "grad_norm": 0.9375,
6751
+ "learning_rate": 2.4417960088691796e-05,
6752
+ "loss": 1.1885075569152832,
6753
+ "step": 961
6754
+ },
6755
+ {
6756
+ "epoch": 0.5488518043075168,
6757
+ "grad_norm": 0.97265625,
6758
+ "learning_rate": 2.4390243902439026e-05,
6759
+ "loss": 1.1785187721252441,
6760
+ "step": 962
6761
+ },
6762
+ {
6763
+ "epoch": 0.5494223363286265,
6764
+ "grad_norm": 0.96484375,
6765
+ "learning_rate": 2.4362527716186255e-05,
6766
+ "loss": 1.1689701080322266,
6767
+ "step": 963
6768
+ },
6769
+ {
6770
+ "epoch": 0.5499928683497362,
6771
+ "grad_norm": 0.94921875,
6772
+ "learning_rate": 2.433481152993348e-05,
6773
+ "loss": 1.1543480157852173,
6774
+ "step": 964
6775
+ },
6776
+ {
6777
+ "epoch": 0.5505634003708458,
6778
+ "grad_norm": 1.0078125,
6779
+ "learning_rate": 2.430709534368071e-05,
6780
+ "loss": 1.196134328842163,
6781
+ "step": 965
6782
+ },
6783
+ {
6784
+ "epoch": 0.5511339323919555,
6785
+ "grad_norm": 0.98828125,
6786
+ "learning_rate": 2.427937915742794e-05,
6787
+ "loss": 1.2235426902770996,
6788
+ "step": 966
6789
+ },
6790
+ {
6791
+ "epoch": 0.5517044644130652,
6792
+ "grad_norm": 0.96484375,
6793
+ "learning_rate": 2.425166297117517e-05,
6794
+ "loss": 1.2253239154815674,
6795
+ "step": 967
6796
+ },
6797
+ {
6798
+ "epoch": 0.5522749964341749,
6799
+ "grad_norm": 0.953125,
6800
+ "learning_rate": 2.4223946784922396e-05,
6801
+ "loss": 1.1899304389953613,
6802
+ "step": 968
6803
+ },
6804
+ {
6805
+ "epoch": 0.5528455284552846,
6806
+ "grad_norm": 1.0234375,
6807
+ "learning_rate": 2.4196230598669625e-05,
6808
+ "loss": 1.1620666980743408,
6809
+ "step": 969
6810
+ },
6811
+ {
6812
+ "epoch": 0.5534160604763942,
6813
+ "grad_norm": 0.9765625,
6814
+ "learning_rate": 2.4168514412416855e-05,
6815
+ "loss": 1.1896693706512451,
6816
+ "step": 970
6817
+ },
6818
+ {
6819
+ "epoch": 0.5539865924975039,
6820
+ "grad_norm": 0.921875,
6821
+ "learning_rate": 2.414079822616408e-05,
6822
+ "loss": 1.1168513298034668,
6823
+ "step": 971
6824
+ },
6825
+ {
6826
+ "epoch": 0.5545571245186136,
6827
+ "grad_norm": 0.9453125,
6828
+ "learning_rate": 2.4113082039911307e-05,
6829
+ "loss": 1.1533100605010986,
6830
+ "step": 972
6831
+ },
6832
+ {
6833
+ "epoch": 0.5551276565397233,
6834
+ "grad_norm": 0.953125,
6835
+ "learning_rate": 2.4085365853658536e-05,
6836
+ "loss": 1.11790132522583,
6837
+ "step": 973
6838
+ },
6839
+ {
6840
+ "epoch": 0.555698188560833,
6841
+ "grad_norm": 0.96875,
6842
+ "learning_rate": 2.4057649667405766e-05,
6843
+ "loss": 1.1832971572875977,
6844
+ "step": 974
6845
+ },
6846
+ {
6847
+ "epoch": 0.5562687205819427,
6848
+ "grad_norm": 0.9375,
6849
+ "learning_rate": 2.4029933481152995e-05,
6850
+ "loss": 1.136374592781067,
6851
+ "step": 975
6852
+ },
6853
+ {
6854
+ "epoch": 0.5568392526030523,
6855
+ "grad_norm": 0.94140625,
6856
+ "learning_rate": 2.400221729490022e-05,
6857
+ "loss": 1.13529634475708,
6858
+ "step": 976
6859
+ },
6860
+ {
6861
+ "epoch": 0.557409784624162,
6862
+ "grad_norm": 0.94140625,
6863
+ "learning_rate": 2.397450110864745e-05,
6864
+ "loss": 1.152282476425171,
6865
+ "step": 977
6866
+ },
6867
+ {
6868
+ "epoch": 0.5579803166452717,
6869
+ "grad_norm": 0.9375,
6870
+ "learning_rate": 2.394678492239468e-05,
6871
+ "loss": 1.1445283889770508,
6872
+ "step": 978
6873
+ },
6874
+ {
6875
+ "epoch": 0.5585508486663814,
6876
+ "grad_norm": 0.96875,
6877
+ "learning_rate": 2.391906873614191e-05,
6878
+ "loss": 1.1682907342910767,
6879
+ "step": 979
6880
+ },
6881
+ {
6882
+ "epoch": 0.5591213806874911,
6883
+ "grad_norm": 0.96484375,
6884
+ "learning_rate": 2.3891352549889136e-05,
6885
+ "loss": 1.2181129455566406,
6886
+ "step": 980
6887
+ },
6888
+ {
6889
+ "epoch": 0.5596919127086007,
6890
+ "grad_norm": 0.94140625,
6891
+ "learning_rate": 2.3863636363636365e-05,
6892
+ "loss": 1.1683390140533447,
6893
+ "step": 981
6894
+ },
6895
+ {
6896
+ "epoch": 0.5602624447297104,
6897
+ "grad_norm": 0.9609375,
6898
+ "learning_rate": 2.3835920177383595e-05,
6899
+ "loss": 1.1526210308074951,
6900
+ "step": 982
6901
+ },
6902
+ {
6903
+ "epoch": 0.5608329767508201,
6904
+ "grad_norm": 0.94140625,
6905
+ "learning_rate": 2.380820399113082e-05,
6906
+ "loss": 1.1839709281921387,
6907
+ "step": 983
6908
+ },
6909
+ {
6910
+ "epoch": 0.5614035087719298,
6911
+ "grad_norm": 0.96875,
6912
+ "learning_rate": 2.378048780487805e-05,
6913
+ "loss": 1.171961784362793,
6914
+ "step": 984
6915
+ },
6916
+ {
6917
+ "epoch": 0.5619740407930395,
6918
+ "grad_norm": 0.96484375,
6919
+ "learning_rate": 2.3752771618625276e-05,
6920
+ "loss": 1.1404699087142944,
6921
+ "step": 985
6922
+ },
6923
+ {
6924
+ "epoch": 0.5625445728141492,
6925
+ "grad_norm": 0.9375,
6926
+ "learning_rate": 2.3725055432372506e-05,
6927
+ "loss": 1.1446641683578491,
6928
+ "step": 986
6929
+ },
6930
+ {
6931
+ "epoch": 0.5631151048352588,
6932
+ "grad_norm": 0.9375,
6933
+ "learning_rate": 2.3697339246119735e-05,
6934
+ "loss": 1.1063508987426758,
6935
+ "step": 987
6936
+ },
6937
+ {
6938
+ "epoch": 0.5636856368563685,
6939
+ "grad_norm": 0.9921875,
6940
+ "learning_rate": 2.3669623059866965e-05,
6941
+ "loss": 1.1023223400115967,
6942
+ "step": 988
6943
+ },
6944
+ {
6945
+ "epoch": 0.5642561688774782,
6946
+ "grad_norm": 0.9453125,
6947
+ "learning_rate": 2.364190687361419e-05,
6948
+ "loss": 1.157923698425293,
6949
+ "step": 989
6950
+ },
6951
+ {
6952
+ "epoch": 0.5648267008985879,
6953
+ "grad_norm": 0.9609375,
6954
+ "learning_rate": 2.361419068736142e-05,
6955
+ "loss": 1.1578837633132935,
6956
+ "step": 990
6957
+ },
6958
+ {
6959
+ "epoch": 0.5653972329196976,
6960
+ "grad_norm": 0.94140625,
6961
+ "learning_rate": 2.358647450110865e-05,
6962
+ "loss": 1.110813856124878,
6963
+ "step": 991
6964
+ },
6965
+ {
6966
+ "epoch": 0.5659677649408072,
6967
+ "grad_norm": 0.91796875,
6968
+ "learning_rate": 2.355875831485588e-05,
6969
+ "loss": 1.1383073329925537,
6970
+ "step": 992
6971
+ },
6972
+ {
6973
+ "epoch": 0.566538296961917,
6974
+ "grad_norm": 0.94921875,
6975
+ "learning_rate": 2.3531042128603105e-05,
6976
+ "loss": 1.1709469556808472,
6977
+ "step": 993
6978
+ },
6979
+ {
6980
+ "epoch": 0.5671088289830267,
6981
+ "grad_norm": 0.984375,
6982
+ "learning_rate": 2.3503325942350335e-05,
6983
+ "loss": 1.1664437055587769,
6984
+ "step": 994
6985
+ },
6986
+ {
6987
+ "epoch": 0.5676793610041364,
6988
+ "grad_norm": 0.953125,
6989
+ "learning_rate": 2.347560975609756e-05,
6990
+ "loss": 1.1766831874847412,
6991
+ "step": 995
6992
+ },
6993
+ {
6994
+ "epoch": 0.5682498930252461,
6995
+ "grad_norm": 0.92578125,
6996
+ "learning_rate": 2.344789356984479e-05,
6997
+ "loss": 1.1888954639434814,
6998
+ "step": 996
6999
+ },
7000
+ {
7001
+ "epoch": 0.5688204250463558,
7002
+ "grad_norm": 1.0078125,
7003
+ "learning_rate": 2.3420177383592016e-05,
7004
+ "loss": 1.1901835203170776,
7005
+ "step": 997
7006
+ },
7007
+ {
7008
+ "epoch": 0.5693909570674655,
7009
+ "grad_norm": 0.9140625,
7010
+ "learning_rate": 2.3392461197339246e-05,
7011
+ "loss": 1.13261079788208,
7012
+ "step": 998
7013
+ },
7014
+ {
7015
+ "epoch": 0.5699614890885751,
7016
+ "grad_norm": 0.99609375,
7017
+ "learning_rate": 2.3364745011086475e-05,
7018
+ "loss": 1.2113161087036133,
7019
+ "step": 999
7020
+ },
7021
+ {
7022
+ "epoch": 0.5705320211096848,
7023
+ "grad_norm": 0.9609375,
7024
+ "learning_rate": 2.3337028824833705e-05,
7025
+ "loss": 1.1643033027648926,
7026
+ "step": 1000
7027
+ },
7028
+ {
7029
+ "epoch": 0.5711025531307945,
7030
+ "grad_norm": 1.0,
7031
+ "learning_rate": 2.330931263858093e-05,
7032
+ "loss": 1.2085559368133545,
7033
+ "step": 1001
7034
+ },
7035
+ {
7036
+ "epoch": 0.5716730851519042,
7037
+ "grad_norm": 0.97265625,
7038
+ "learning_rate": 2.328159645232816e-05,
7039
+ "loss": 1.1837122440338135,
7040
+ "step": 1002
7041
+ },
7042
+ {
7043
+ "epoch": 0.5722436171730139,
7044
+ "grad_norm": 1.03125,
7045
+ "learning_rate": 2.325388026607539e-05,
7046
+ "loss": 1.2685991525650024,
7047
+ "step": 1003
7048
+ },
7049
+ {
7050
+ "epoch": 0.5728141491941235,
7051
+ "grad_norm": 0.95703125,
7052
+ "learning_rate": 2.322616407982262e-05,
7053
+ "loss": 1.1660895347595215,
7054
+ "step": 1004
7055
+ },
7056
+ {
7057
+ "epoch": 0.5733846812152332,
7058
+ "grad_norm": 1.0,
7059
+ "learning_rate": 2.3198447893569845e-05,
7060
+ "loss": 1.1840052604675293,
7061
+ "step": 1005
7062
+ },
7063
+ {
7064
+ "epoch": 0.5739552132363429,
7065
+ "grad_norm": 0.9296875,
7066
+ "learning_rate": 2.3170731707317075e-05,
7067
+ "loss": 1.1665326356887817,
7068
+ "step": 1006
7069
+ },
7070
+ {
7071
+ "epoch": 0.5745257452574526,
7072
+ "grad_norm": 0.99609375,
7073
+ "learning_rate": 2.3143015521064304e-05,
7074
+ "loss": 1.1994144916534424,
7075
+ "step": 1007
7076
+ },
7077
+ {
7078
+ "epoch": 0.5750962772785623,
7079
+ "grad_norm": 0.9921875,
7080
+ "learning_rate": 2.311529933481153e-05,
7081
+ "loss": 1.1023156642913818,
7082
+ "step": 1008
7083
+ },
7084
+ {
7085
+ "epoch": 0.575666809299672,
7086
+ "grad_norm": 0.9453125,
7087
+ "learning_rate": 2.308758314855876e-05,
7088
+ "loss": 1.2176637649536133,
7089
+ "step": 1009
7090
+ },
7091
+ {
7092
+ "epoch": 0.5762373413207816,
7093
+ "grad_norm": 1.0390625,
7094
+ "learning_rate": 2.3059866962305986e-05,
7095
+ "loss": 1.2663724422454834,
7096
+ "step": 1010
7097
+ },
7098
+ {
7099
+ "epoch": 0.5768078733418913,
7100
+ "grad_norm": 1.0,
7101
+ "learning_rate": 2.3032150776053215e-05,
7102
+ "loss": 1.1681220531463623,
7103
+ "step": 1011
7104
+ },
7105
+ {
7106
+ "epoch": 0.577378405363001,
7107
+ "grad_norm": 1.0078125,
7108
+ "learning_rate": 2.3004434589800445e-05,
7109
+ "loss": 1.221947431564331,
7110
+ "step": 1012
7111
+ },
7112
+ {
7113
+ "epoch": 0.5779489373841107,
7114
+ "grad_norm": 0.9921875,
7115
+ "learning_rate": 2.2976718403547674e-05,
7116
+ "loss": 1.1309971809387207,
7117
+ "step": 1013
7118
+ },
7119
+ {
7120
+ "epoch": 0.5785194694052204,
7121
+ "grad_norm": 0.98828125,
7122
+ "learning_rate": 2.29490022172949e-05,
7123
+ "loss": 1.1859217882156372,
7124
+ "step": 1014
7125
+ },
7126
+ {
7127
+ "epoch": 0.57909000142633,
7128
+ "grad_norm": 1.0,
7129
+ "learning_rate": 2.292128603104213e-05,
7130
+ "loss": 1.1979272365570068,
7131
+ "step": 1015
7132
+ },
7133
+ {
7134
+ "epoch": 0.5796605334474397,
7135
+ "grad_norm": 1.0,
7136
+ "learning_rate": 2.289356984478936e-05,
7137
+ "loss": 1.1865754127502441,
7138
+ "step": 1016
7139
+ },
7140
+ {
7141
+ "epoch": 0.5802310654685494,
7142
+ "grad_norm": 0.95703125,
7143
+ "learning_rate": 2.286585365853659e-05,
7144
+ "loss": 1.1868486404418945,
7145
+ "step": 1017
7146
+ },
7147
+ {
7148
+ "epoch": 0.5808015974896591,
7149
+ "grad_norm": 0.921875,
7150
+ "learning_rate": 2.2838137472283815e-05,
7151
+ "loss": 1.129669427871704,
7152
+ "step": 1018
7153
+ },
7154
+ {
7155
+ "epoch": 0.5813721295107688,
7156
+ "grad_norm": 0.9375,
7157
+ "learning_rate": 2.2810421286031044e-05,
7158
+ "loss": 1.1734843254089355,
7159
+ "step": 1019
7160
+ },
7161
+ {
7162
+ "epoch": 0.5819426615318785,
7163
+ "grad_norm": 1.0390625,
7164
+ "learning_rate": 2.278270509977827e-05,
7165
+ "loss": 1.2343952655792236,
7166
+ "step": 1020
7167
+ },
7168
+ {
7169
+ "epoch": 0.5825131935529881,
7170
+ "grad_norm": 0.96484375,
7171
+ "learning_rate": 2.27549889135255e-05,
7172
+ "loss": 1.21380615234375,
7173
+ "step": 1021
7174
+ },
7175
+ {
7176
+ "epoch": 0.5830837255740978,
7177
+ "grad_norm": 0.9296875,
7178
+ "learning_rate": 2.272727272727273e-05,
7179
+ "loss": 1.1312305927276611,
7180
+ "step": 1022
7181
+ },
7182
+ {
7183
+ "epoch": 0.5836542575952075,
7184
+ "grad_norm": 0.9609375,
7185
+ "learning_rate": 2.2699556541019955e-05,
7186
+ "loss": 1.1510472297668457,
7187
+ "step": 1023
7188
+ },
7189
+ {
7190
+ "epoch": 0.5842247896163172,
7191
+ "grad_norm": 1.0,
7192
+ "learning_rate": 2.2671840354767185e-05,
7193
+ "loss": 1.1997393369674683,
7194
+ "step": 1024
7195
+ },
7196
+ {
7197
+ "epoch": 0.5847953216374269,
7198
+ "grad_norm": 0.953125,
7199
+ "learning_rate": 2.2644124168514414e-05,
7200
+ "loss": 1.1844977140426636,
7201
+ "step": 1025
7202
+ },
7203
+ {
7204
+ "epoch": 0.5853658536585366,
7205
+ "grad_norm": 0.95703125,
7206
+ "learning_rate": 2.261640798226164e-05,
7207
+ "loss": 1.1642664670944214,
7208
+ "step": 1026
7209
+ },
7210
+ {
7211
+ "epoch": 0.5859363856796462,
7212
+ "grad_norm": 0.95703125,
7213
+ "learning_rate": 2.258869179600887e-05,
7214
+ "loss": 1.1929872035980225,
7215
+ "step": 1027
7216
+ },
7217
+ {
7218
+ "epoch": 0.5865069177007559,
7219
+ "grad_norm": 0.98046875,
7220
+ "learning_rate": 2.25609756097561e-05,
7221
+ "loss": 1.2264790534973145,
7222
+ "step": 1028
7223
+ },
7224
+ {
7225
+ "epoch": 0.5870774497218656,
7226
+ "grad_norm": 0.96484375,
7227
+ "learning_rate": 2.253325942350333e-05,
7228
+ "loss": 1.208320140838623,
7229
+ "step": 1029
7230
+ },
7231
+ {
7232
+ "epoch": 0.5876479817429753,
7233
+ "grad_norm": 0.9140625,
7234
+ "learning_rate": 2.2505543237250555e-05,
7235
+ "loss": 1.1017545461654663,
7236
+ "step": 1030
7237
+ },
7238
+ {
7239
+ "epoch": 0.588218513764085,
7240
+ "grad_norm": 0.91015625,
7241
+ "learning_rate": 2.2477827050997784e-05,
7242
+ "loss": 1.0866947174072266,
7243
+ "step": 1031
7244
+ },
7245
+ {
7246
+ "epoch": 0.5887890457851946,
7247
+ "grad_norm": 0.94140625,
7248
+ "learning_rate": 2.245011086474501e-05,
7249
+ "loss": 1.134414553642273,
7250
+ "step": 1032
7251
+ },
7252
+ {
7253
+ "epoch": 0.5893595778063043,
7254
+ "grad_norm": 0.9609375,
7255
+ "learning_rate": 2.242239467849224e-05,
7256
+ "loss": 1.1386680603027344,
7257
+ "step": 1033
7258
+ },
7259
+ {
7260
+ "epoch": 0.5899301098274141,
7261
+ "grad_norm": 0.93359375,
7262
+ "learning_rate": 2.239467849223947e-05,
7263
+ "loss": 1.098857045173645,
7264
+ "step": 1034
7265
+ },
7266
+ {
7267
+ "epoch": 0.5905006418485238,
7268
+ "grad_norm": 0.98046875,
7269
+ "learning_rate": 2.2366962305986695e-05,
7270
+ "loss": 1.1710071563720703,
7271
+ "step": 1035
7272
+ },
7273
+ {
7274
+ "epoch": 0.5910711738696335,
7275
+ "grad_norm": 0.90234375,
7276
+ "learning_rate": 2.2339246119733925e-05,
7277
+ "loss": 1.1196489334106445,
7278
+ "step": 1036
7279
+ },
7280
+ {
7281
+ "epoch": 0.5916417058907432,
7282
+ "grad_norm": 0.94140625,
7283
+ "learning_rate": 2.2311529933481154e-05,
7284
+ "loss": 1.132148265838623,
7285
+ "step": 1037
7286
+ },
7287
+ {
7288
+ "epoch": 0.5922122379118528,
7289
+ "grad_norm": 0.9453125,
7290
+ "learning_rate": 2.2283813747228384e-05,
7291
+ "loss": 1.1694618463516235,
7292
+ "step": 1038
7293
+ },
7294
+ {
7295
+ "epoch": 0.5927827699329625,
7296
+ "grad_norm": 0.94140625,
7297
+ "learning_rate": 2.225609756097561e-05,
7298
+ "loss": 1.141546607017517,
7299
+ "step": 1039
7300
+ },
7301
+ {
7302
+ "epoch": 0.5933533019540722,
7303
+ "grad_norm": 1.015625,
7304
+ "learning_rate": 2.222838137472284e-05,
7305
+ "loss": 1.214141607284546,
7306
+ "step": 1040
7307
+ },
7308
+ {
7309
+ "epoch": 0.5939238339751819,
7310
+ "grad_norm": 0.9375,
7311
+ "learning_rate": 2.220066518847007e-05,
7312
+ "loss": 1.142057180404663,
7313
+ "step": 1041
7314
+ },
7315
+ {
7316
+ "epoch": 0.5944943659962916,
7317
+ "grad_norm": 0.9609375,
7318
+ "learning_rate": 2.2172949002217298e-05,
7319
+ "loss": 1.1707711219787598,
7320
+ "step": 1042
7321
+ },
7322
+ {
7323
+ "epoch": 0.5950648980174013,
7324
+ "grad_norm": 0.91796875,
7325
+ "learning_rate": 2.2145232815964524e-05,
7326
+ "loss": 1.164795994758606,
7327
+ "step": 1043
7328
+ },
7329
+ {
7330
+ "epoch": 0.5956354300385109,
7331
+ "grad_norm": 0.97265625,
7332
+ "learning_rate": 2.211751662971175e-05,
7333
+ "loss": 1.1659691333770752,
7334
+ "step": 1044
7335
+ },
7336
+ {
7337
+ "epoch": 0.5962059620596206,
7338
+ "grad_norm": 0.94921875,
7339
+ "learning_rate": 2.208980044345898e-05,
7340
+ "loss": 1.1294951438903809,
7341
+ "step": 1045
7342
+ },
7343
+ {
7344
+ "epoch": 0.5967764940807303,
7345
+ "grad_norm": 0.96875,
7346
+ "learning_rate": 2.206208425720621e-05,
7347
+ "loss": 1.1925092935562134,
7348
+ "step": 1046
7349
+ },
7350
+ {
7351
+ "epoch": 0.59734702610184,
7352
+ "grad_norm": 0.93359375,
7353
+ "learning_rate": 2.203436807095344e-05,
7354
+ "loss": 1.1600418090820312,
7355
+ "step": 1047
7356
+ },
7357
+ {
7358
+ "epoch": 0.5979175581229497,
7359
+ "grad_norm": 0.98046875,
7360
+ "learning_rate": 2.2006651884700665e-05,
7361
+ "loss": 1.157020092010498,
7362
+ "step": 1048
7363
+ },
7364
+ {
7365
+ "epoch": 0.5984880901440593,
7366
+ "grad_norm": 1.0234375,
7367
+ "learning_rate": 2.1978935698447894e-05,
7368
+ "loss": 1.1589795351028442,
7369
+ "step": 1049
7370
+ },
7371
+ {
7372
+ "epoch": 0.599058622165169,
7373
+ "grad_norm": 0.9453125,
7374
+ "learning_rate": 2.1951219512195124e-05,
7375
+ "loss": 1.1546876430511475,
7376
+ "step": 1050
7377
+ },
7378
+ {
7379
+ "epoch": 0.5996291541862787,
7380
+ "grad_norm": 0.94140625,
7381
+ "learning_rate": 2.1923503325942353e-05,
7382
+ "loss": 1.1549787521362305,
7383
+ "step": 1051
7384
+ },
7385
+ {
7386
+ "epoch": 0.6001996862073884,
7387
+ "grad_norm": 0.9921875,
7388
+ "learning_rate": 2.189578713968958e-05,
7389
+ "loss": 1.1518681049346924,
7390
+ "step": 1052
7391
+ },
7392
+ {
7393
+ "epoch": 0.6007702182284981,
7394
+ "grad_norm": 0.96484375,
7395
+ "learning_rate": 2.186807095343681e-05,
7396
+ "loss": 1.1609306335449219,
7397
+ "step": 1053
7398
+ },
7399
+ {
7400
+ "epoch": 0.6013407502496078,
7401
+ "grad_norm": 0.97265625,
7402
+ "learning_rate": 2.1840354767184038e-05,
7403
+ "loss": 1.1526927947998047,
7404
+ "step": 1054
7405
+ },
7406
+ {
7407
+ "epoch": 0.6019112822707174,
7408
+ "grad_norm": 0.98046875,
7409
+ "learning_rate": 2.1812638580931268e-05,
7410
+ "loss": 1.2030518054962158,
7411
+ "step": 1055
7412
+ },
7413
+ {
7414
+ "epoch": 0.6024818142918271,
7415
+ "grad_norm": 0.94921875,
7416
+ "learning_rate": 2.178492239467849e-05,
7417
+ "loss": 1.087314248085022,
7418
+ "step": 1056
7419
+ },
7420
+ {
7421
+ "epoch": 0.6030523463129368,
7422
+ "grad_norm": 0.93359375,
7423
+ "learning_rate": 2.175720620842572e-05,
7424
+ "loss": 1.120784044265747,
7425
+ "step": 1057
7426
+ },
7427
+ {
7428
+ "epoch": 0.6036228783340465,
7429
+ "grad_norm": 0.921875,
7430
+ "learning_rate": 2.172949002217295e-05,
7431
+ "loss": 1.0867156982421875,
7432
+ "step": 1058
7433
+ },
7434
+ {
7435
+ "epoch": 0.6041934103551562,
7436
+ "grad_norm": 0.96484375,
7437
+ "learning_rate": 2.170177383592018e-05,
7438
+ "loss": 1.2083582878112793,
7439
+ "step": 1059
7440
+ },
7441
+ {
7442
+ "epoch": 0.6047639423762659,
7443
+ "grad_norm": 0.94921875,
7444
+ "learning_rate": 2.1674057649667405e-05,
7445
+ "loss": 1.1944574117660522,
7446
+ "step": 1060
7447
+ },
7448
+ {
7449
+ "epoch": 0.6053344743973755,
7450
+ "grad_norm": 0.92578125,
7451
+ "learning_rate": 2.1646341463414634e-05,
7452
+ "loss": 1.118787169456482,
7453
+ "step": 1061
7454
+ },
7455
+ {
7456
+ "epoch": 0.6059050064184852,
7457
+ "grad_norm": 0.94921875,
7458
+ "learning_rate": 2.1618625277161864e-05,
7459
+ "loss": 1.1591801643371582,
7460
+ "step": 1062
7461
+ },
7462
+ {
7463
+ "epoch": 0.6064755384395949,
7464
+ "grad_norm": 0.95703125,
7465
+ "learning_rate": 2.1590909090909093e-05,
7466
+ "loss": 1.1802964210510254,
7467
+ "step": 1063
7468
+ },
7469
+ {
7470
+ "epoch": 0.6070460704607046,
7471
+ "grad_norm": 0.97265625,
7472
+ "learning_rate": 2.156319290465632e-05,
7473
+ "loss": 1.1993342638015747,
7474
+ "step": 1064
7475
+ },
7476
+ {
7477
+ "epoch": 0.6076166024818143,
7478
+ "grad_norm": 0.96484375,
7479
+ "learning_rate": 2.153547671840355e-05,
7480
+ "loss": 1.2244541645050049,
7481
+ "step": 1065
7482
+ },
7483
+ {
7484
+ "epoch": 0.6081871345029239,
7485
+ "grad_norm": 0.9375,
7486
+ "learning_rate": 2.150776053215078e-05,
7487
+ "loss": 1.1696969270706177,
7488
+ "step": 1066
7489
+ },
7490
+ {
7491
+ "epoch": 0.6087576665240336,
7492
+ "grad_norm": 0.9609375,
7493
+ "learning_rate": 2.1480044345898008e-05,
7494
+ "loss": 1.204698085784912,
7495
+ "step": 1067
7496
+ },
7497
+ {
7498
+ "epoch": 0.6093281985451433,
7499
+ "grad_norm": 0.96875,
7500
+ "learning_rate": 2.1452328159645234e-05,
7501
+ "loss": 1.167772650718689,
7502
+ "step": 1068
7503
+ },
7504
+ {
7505
+ "epoch": 0.609898730566253,
7506
+ "grad_norm": 0.93359375,
7507
+ "learning_rate": 2.142461197339246e-05,
7508
+ "loss": 1.1064563989639282,
7509
+ "step": 1069
7510
+ },
7511
+ {
7512
+ "epoch": 0.6104692625873627,
7513
+ "grad_norm": 0.9296875,
7514
+ "learning_rate": 2.139689578713969e-05,
7515
+ "loss": 1.1095709800720215,
7516
+ "step": 1070
7517
+ },
7518
+ {
7519
+ "epoch": 0.6110397946084724,
7520
+ "grad_norm": 0.953125,
7521
+ "learning_rate": 2.136917960088692e-05,
7522
+ "loss": 1.1526896953582764,
7523
+ "step": 1071
7524
+ },
7525
+ {
7526
+ "epoch": 0.611610326629582,
7527
+ "grad_norm": 0.98828125,
7528
+ "learning_rate": 2.134146341463415e-05,
7529
+ "loss": 1.1842620372772217,
7530
+ "step": 1072
7531
+ },
7532
+ {
7533
+ "epoch": 0.6121808586506917,
7534
+ "grad_norm": 0.96484375,
7535
+ "learning_rate": 2.1313747228381374e-05,
7536
+ "loss": 1.1854032278060913,
7537
+ "step": 1073
7538
+ },
7539
+ {
7540
+ "epoch": 0.6127513906718015,
7541
+ "grad_norm": 0.94140625,
7542
+ "learning_rate": 2.1286031042128604e-05,
7543
+ "loss": 1.1536649465560913,
7544
+ "step": 1074
7545
+ },
7546
+ {
7547
+ "epoch": 0.6133219226929112,
7548
+ "grad_norm": 0.99609375,
7549
+ "learning_rate": 2.1258314855875833e-05,
7550
+ "loss": 1.162165641784668,
7551
+ "step": 1075
7552
+ },
7553
+ {
7554
+ "epoch": 0.6138924547140209,
7555
+ "grad_norm": 0.95703125,
7556
+ "learning_rate": 2.1230598669623063e-05,
7557
+ "loss": 1.1589579582214355,
7558
+ "step": 1076
7559
+ },
7560
+ {
7561
+ "epoch": 0.6144629867351306,
7562
+ "grad_norm": 0.99609375,
7563
+ "learning_rate": 2.120288248337029e-05,
7564
+ "loss": 1.2380765676498413,
7565
+ "step": 1077
7566
+ },
7567
+ {
7568
+ "epoch": 0.6150335187562402,
7569
+ "grad_norm": 0.9921875,
7570
+ "learning_rate": 2.117516629711752e-05,
7571
+ "loss": 1.1789859533309937,
7572
+ "step": 1078
7573
+ },
7574
+ {
7575
+ "epoch": 0.6156040507773499,
7576
+ "grad_norm": 0.92578125,
7577
+ "learning_rate": 2.1147450110864748e-05,
7578
+ "loss": 1.1379293203353882,
7579
+ "step": 1079
7580
+ },
7581
+ {
7582
+ "epoch": 0.6161745827984596,
7583
+ "grad_norm": 0.984375,
7584
+ "learning_rate": 2.1119733924611977e-05,
7585
+ "loss": 1.176946759223938,
7586
+ "step": 1080
7587
+ },
7588
+ {
7589
+ "epoch": 0.6167451148195693,
7590
+ "grad_norm": 0.98046875,
7591
+ "learning_rate": 2.10920177383592e-05,
7592
+ "loss": 1.232793927192688,
7593
+ "step": 1081
7594
+ },
7595
+ {
7596
+ "epoch": 0.617315646840679,
7597
+ "grad_norm": 0.94140625,
7598
+ "learning_rate": 2.106430155210643e-05,
7599
+ "loss": 1.1333751678466797,
7600
+ "step": 1082
7601
+ },
7602
+ {
7603
+ "epoch": 0.6178861788617886,
7604
+ "grad_norm": 0.98046875,
7605
+ "learning_rate": 2.103658536585366e-05,
7606
+ "loss": 1.1847493648529053,
7607
+ "step": 1083
7608
+ },
7609
+ {
7610
+ "epoch": 0.6184567108828983,
7611
+ "grad_norm": 0.98828125,
7612
+ "learning_rate": 2.100886917960089e-05,
7613
+ "loss": 1.1365629434585571,
7614
+ "step": 1084
7615
+ },
7616
+ {
7617
+ "epoch": 0.619027242904008,
7618
+ "grad_norm": 0.9609375,
7619
+ "learning_rate": 2.0981152993348114e-05,
7620
+ "loss": 1.1531561613082886,
7621
+ "step": 1085
7622
+ },
7623
+ {
7624
+ "epoch": 0.6195977749251177,
7625
+ "grad_norm": 0.9765625,
7626
+ "learning_rate": 2.0953436807095344e-05,
7627
+ "loss": 1.1419352293014526,
7628
+ "step": 1086
7629
+ },
7630
+ {
7631
+ "epoch": 0.6201683069462274,
7632
+ "grad_norm": 0.95703125,
7633
+ "learning_rate": 2.0925720620842573e-05,
7634
+ "loss": 1.2071990966796875,
7635
+ "step": 1087
7636
+ },
7637
+ {
7638
+ "epoch": 0.6207388389673371,
7639
+ "grad_norm": 1.0078125,
7640
+ "learning_rate": 2.0898004434589803e-05,
7641
+ "loss": 1.146884799003601,
7642
+ "step": 1088
7643
+ },
7644
+ {
7645
+ "epoch": 0.6213093709884467,
7646
+ "grad_norm": 1.0,
7647
+ "learning_rate": 2.087028824833703e-05,
7648
+ "loss": 1.1956453323364258,
7649
+ "step": 1089
7650
+ },
7651
+ {
7652
+ "epoch": 0.6218799030095564,
7653
+ "grad_norm": 0.97265625,
7654
+ "learning_rate": 2.084257206208426e-05,
7655
+ "loss": 1.182574987411499,
7656
+ "step": 1090
7657
+ },
7658
+ {
7659
+ "epoch": 0.6224504350306661,
7660
+ "grad_norm": 0.9765625,
7661
+ "learning_rate": 2.0814855875831488e-05,
7662
+ "loss": 1.1805145740509033,
7663
+ "step": 1091
7664
+ },
7665
+ {
7666
+ "epoch": 0.6230209670517758,
7667
+ "grad_norm": 0.96484375,
7668
+ "learning_rate": 2.0787139689578717e-05,
7669
+ "loss": 1.173978567123413,
7670
+ "step": 1092
7671
+ },
7672
+ {
7673
+ "epoch": 0.6235914990728855,
7674
+ "grad_norm": 0.9375,
7675
+ "learning_rate": 2.0759423503325943e-05,
7676
+ "loss": 1.1732361316680908,
7677
+ "step": 1093
7678
+ },
7679
+ {
7680
+ "epoch": 0.6241620310939952,
7681
+ "grad_norm": 0.94921875,
7682
+ "learning_rate": 2.073170731707317e-05,
7683
+ "loss": 1.1978164911270142,
7684
+ "step": 1094
7685
+ },
7686
+ {
7687
+ "epoch": 0.6247325631151048,
7688
+ "grad_norm": 0.96484375,
7689
+ "learning_rate": 2.07039911308204e-05,
7690
+ "loss": 1.161289930343628,
7691
+ "step": 1095
7692
+ },
7693
+ {
7694
+ "epoch": 0.6253030951362145,
7695
+ "grad_norm": 0.953125,
7696
+ "learning_rate": 2.067627494456763e-05,
7697
+ "loss": 1.1583458185195923,
7698
+ "step": 1096
7699
+ },
7700
+ {
7701
+ "epoch": 0.6258736271573242,
7702
+ "grad_norm": 0.9765625,
7703
+ "learning_rate": 2.0648558758314858e-05,
7704
+ "loss": 1.1835911273956299,
7705
+ "step": 1097
7706
+ },
7707
+ {
7708
+ "epoch": 0.6264441591784339,
7709
+ "grad_norm": 0.9921875,
7710
+ "learning_rate": 2.0620842572062084e-05,
7711
+ "loss": 1.1692794561386108,
7712
+ "step": 1098
7713
+ },
7714
+ {
7715
+ "epoch": 0.6270146911995436,
7716
+ "grad_norm": 0.97265625,
7717
+ "learning_rate": 2.0593126385809313e-05,
7718
+ "loss": 1.1748257875442505,
7719
+ "step": 1099
7720
+ },
7721
+ {
7722
+ "epoch": 0.6275852232206532,
7723
+ "grad_norm": 0.9765625,
7724
+ "learning_rate": 2.0565410199556543e-05,
7725
+ "loss": 1.172876238822937,
7726
+ "step": 1100
7727
+ },
7728
+ {
7729
+ "epoch": 0.6281557552417629,
7730
+ "grad_norm": 1.0078125,
7731
+ "learning_rate": 2.0537694013303772e-05,
7732
+ "loss": 1.1829420328140259,
7733
+ "step": 1101
7734
+ },
7735
+ {
7736
+ "epoch": 0.6287262872628726,
7737
+ "grad_norm": 0.9375,
7738
+ "learning_rate": 2.0509977827051e-05,
7739
+ "loss": 1.163160800933838,
7740
+ "step": 1102
7741
+ },
7742
+ {
7743
+ "epoch": 0.6292968192839823,
7744
+ "grad_norm": 0.96484375,
7745
+ "learning_rate": 2.0482261640798228e-05,
7746
+ "loss": 1.144565463066101,
7747
+ "step": 1103
7748
+ },
7749
+ {
7750
+ "epoch": 0.629867351305092,
7751
+ "grad_norm": 0.953125,
7752
+ "learning_rate": 2.0454545454545457e-05,
7753
+ "loss": 1.1199369430541992,
7754
+ "step": 1104
7755
+ },
7756
+ {
7757
+ "epoch": 0.6304378833262017,
7758
+ "grad_norm": 0.9765625,
7759
+ "learning_rate": 2.0426829268292683e-05,
7760
+ "loss": 1.1951239109039307,
7761
+ "step": 1105
7762
+ },
7763
+ {
7764
+ "epoch": 0.6310084153473113,
7765
+ "grad_norm": 0.96484375,
7766
+ "learning_rate": 2.0399113082039913e-05,
7767
+ "loss": 1.1440958976745605,
7768
+ "step": 1106
7769
+ },
7770
+ {
7771
+ "epoch": 0.631578947368421,
7772
+ "grad_norm": 0.94140625,
7773
+ "learning_rate": 2.037139689578714e-05,
7774
+ "loss": 1.1329402923583984,
7775
+ "step": 1107
7776
+ },
7777
+ {
7778
+ "epoch": 0.631578947368421,
7779
+ "eval_loss": 1.1687453985214233,
7780
+ "eval_runtime": 80.1565,
7781
+ "eval_samples_per_second": 11.927,
7782
+ "eval_steps_per_second": 2.982,
7783
+ "step": 1107
7784
  }
7785
  ],
7786
  "logging_steps": 1,
 
7800
  "attributes": {}
7801
  }
7802
  },
7803
+ "total_flos": 9.75350724523733e+17,
7804
  "train_batch_size": 8,
7805
  "trial_name": null,
7806
  "trial_params": null