shareit commited on
Commit
4b131b2
·
verified ·
1 Parent(s): c0a2dc4

Training in progress, step 13500, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:6c6ed46c413f571f197f0c5984a7d508b40e2e3721d1720037f60e1efdfbd876
3
  size 340808816
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:15f08f8378aadab8b59db4f6adbc2b2825af3c71523ea74b65b22b376c782814
3
  size 340808816
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:bf386412284d142ea24874d3b51850a89ab321f3d76a1b3f665254c40594e84c
3
  size 173247691
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3ec5322734300b03a7e2f43159639b13b792d99af4110f719aeff510f82e7236
3
  size 173247691
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:af60437b8fcbfe37c08e284e2436c6eb6149c609f6a910e093adef85fa7f77c2
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:685522f72316a66965188607b4cfb56965263e003cfa06a3b49b287294bac146
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
- "epoch": 15.034188034188034,
6
  "eval_steps": 500,
7
- "global_step": 13200,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -92408,6 +92408,2106 @@
92408
  "learning_rate": 7.812354677854688e-06,
92409
  "loss": 0.4224,
92410
  "step": 13200
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
92411
  }
92412
  ],
92413
  "logging_steps": 1,
@@ -92427,7 +94527,7 @@
92427
  "attributes": {}
92428
  }
92429
  },
92430
- "total_flos": 7.380283043553952e+19,
92431
  "train_batch_size": 8,
92432
  "trial_name": null,
92433
  "trial_params": null
 
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
+ "epoch": 15.376068376068377,
6
  "eval_steps": 500,
7
+ "global_step": 13500,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
92408
  "learning_rate": 7.812354677854688e-06,
92409
  "loss": 0.4224,
92410
  "step": 13200
92411
+ },
92412
+ {
92413
+ "epoch": 15.035327635327635,
92414
+ "grad_norm": 0.20608681440353394,
92415
+ "learning_rate": 7.808971577452618e-06,
92416
+ "loss": 0.7248,
92417
+ "step": 13201
92418
+ },
92419
+ {
92420
+ "epoch": 15.036467236467237,
92421
+ "grad_norm": 0.35443320870399475,
92422
+ "learning_rate": 7.805589074142236e-06,
92423
+ "loss": 0.7227,
92424
+ "step": 13202
92425
+ },
92426
+ {
92427
+ "epoch": 15.037606837606837,
92428
+ "grad_norm": 0.2172495424747467,
92429
+ "learning_rate": 7.802207168041042e-06,
92430
+ "loss": 0.8817,
92431
+ "step": 13203
92432
+ },
92433
+ {
92434
+ "epoch": 15.038746438746438,
92435
+ "grad_norm": 0.1786259412765503,
92436
+ "learning_rate": 7.79882585926647e-06,
92437
+ "loss": 0.7133,
92438
+ "step": 13204
92439
+ },
92440
+ {
92441
+ "epoch": 15.03988603988604,
92442
+ "grad_norm": 0.19469647109508514,
92443
+ "learning_rate": 7.795445147935986e-06,
92444
+ "loss": 0.5264,
92445
+ "step": 13205
92446
+ },
92447
+ {
92448
+ "epoch": 15.04102564102564,
92449
+ "grad_norm": 0.22203053534030914,
92450
+ "learning_rate": 7.792065034167014e-06,
92451
+ "loss": 0.6028,
92452
+ "step": 13206
92453
+ },
92454
+ {
92455
+ "epoch": 15.042165242165241,
92456
+ "grad_norm": 0.17859232425689697,
92457
+ "learning_rate": 7.788685518076938e-06,
92458
+ "loss": 0.8592,
92459
+ "step": 13207
92460
+ },
92461
+ {
92462
+ "epoch": 15.043304843304844,
92463
+ "grad_norm": 0.16376741230487823,
92464
+ "learning_rate": 7.785306599783144e-06,
92465
+ "loss": 0.7242,
92466
+ "step": 13208
92467
+ },
92468
+ {
92469
+ "epoch": 15.044444444444444,
92470
+ "grad_norm": 0.21637587249279022,
92471
+ "learning_rate": 7.781928279402992e-06,
92472
+ "loss": 0.6116,
92473
+ "step": 13209
92474
+ },
92475
+ {
92476
+ "epoch": 15.045584045584045,
92477
+ "grad_norm": 0.21050210297107697,
92478
+ "learning_rate": 7.778550557053829e-06,
92479
+ "loss": 0.8039,
92480
+ "step": 13210
92481
+ },
92482
+ {
92483
+ "epoch": 15.046723646723647,
92484
+ "grad_norm": 0.20630396902561188,
92485
+ "learning_rate": 7.775173432852958e-06,
92486
+ "loss": 0.8097,
92487
+ "step": 13211
92488
+ },
92489
+ {
92490
+ "epoch": 15.047863247863248,
92491
+ "grad_norm": 0.28566041588783264,
92492
+ "learning_rate": 7.77179690691768e-06,
92493
+ "loss": 0.3769,
92494
+ "step": 13212
92495
+ },
92496
+ {
92497
+ "epoch": 15.049002849002848,
92498
+ "grad_norm": 0.17649933695793152,
92499
+ "learning_rate": 7.768420979365277e-06,
92500
+ "loss": 0.8097,
92501
+ "step": 13213
92502
+ },
92503
+ {
92504
+ "epoch": 15.05014245014245,
92505
+ "grad_norm": 0.1777004599571228,
92506
+ "learning_rate": 7.765045650313005e-06,
92507
+ "loss": 0.7521,
92508
+ "step": 13214
92509
+ },
92510
+ {
92511
+ "epoch": 15.051282051282051,
92512
+ "grad_norm": 0.20190858840942383,
92513
+ "learning_rate": 7.761670919878077e-06,
92514
+ "loss": 0.7145,
92515
+ "step": 13215
92516
+ },
92517
+ {
92518
+ "epoch": 15.052421652421652,
92519
+ "grad_norm": 0.28934812545776367,
92520
+ "learning_rate": 7.758296788177733e-06,
92521
+ "loss": 0.3552,
92522
+ "step": 13216
92523
+ },
92524
+ {
92525
+ "epoch": 15.053561253561254,
92526
+ "grad_norm": 0.1863059401512146,
92527
+ "learning_rate": 7.754923255329167e-06,
92528
+ "loss": 0.7675,
92529
+ "step": 13217
92530
+ },
92531
+ {
92532
+ "epoch": 15.054700854700855,
92533
+ "grad_norm": 0.2047613114118576,
92534
+ "learning_rate": 7.751550321449527e-06,
92535
+ "loss": 0.7593,
92536
+ "step": 13218
92537
+ },
92538
+ {
92539
+ "epoch": 15.055840455840455,
92540
+ "grad_norm": 0.1818694770336151,
92541
+ "learning_rate": 7.748177986655983e-06,
92542
+ "loss": 0.734,
92543
+ "step": 13219
92544
+ },
92545
+ {
92546
+ "epoch": 15.056980056980057,
92547
+ "grad_norm": 0.191678985953331,
92548
+ "learning_rate": 7.744806251065657e-06,
92549
+ "loss": 0.6582,
92550
+ "step": 13220
92551
+ },
92552
+ {
92553
+ "epoch": 15.058119658119658,
92554
+ "grad_norm": 0.17697349190711975,
92555
+ "learning_rate": 7.741435114795662e-06,
92556
+ "loss": 0.5432,
92557
+ "step": 13221
92558
+ },
92559
+ {
92560
+ "epoch": 15.059259259259258,
92561
+ "grad_norm": 0.18738119304180145,
92562
+ "learning_rate": 7.738064577963097e-06,
92563
+ "loss": 0.8128,
92564
+ "step": 13222
92565
+ },
92566
+ {
92567
+ "epoch": 15.06039886039886,
92568
+ "grad_norm": 0.17838743329048157,
92569
+ "learning_rate": 7.734694640685009e-06,
92570
+ "loss": 0.8135,
92571
+ "step": 13223
92572
+ },
92573
+ {
92574
+ "epoch": 15.061538461538461,
92575
+ "grad_norm": 0.18243756890296936,
92576
+ "learning_rate": 7.731325303078456e-06,
92577
+ "loss": 0.8034,
92578
+ "step": 13224
92579
+ },
92580
+ {
92581
+ "epoch": 15.062678062678062,
92582
+ "grad_norm": 0.2645007371902466,
92583
+ "learning_rate": 7.727956565260467e-06,
92584
+ "loss": 0.6103,
92585
+ "step": 13225
92586
+ },
92587
+ {
92588
+ "epoch": 15.063817663817664,
92589
+ "grad_norm": 0.168042853474617,
92590
+ "learning_rate": 7.724588427348042e-06,
92591
+ "loss": 0.6509,
92592
+ "step": 13226
92593
+ },
92594
+ {
92595
+ "epoch": 15.064957264957265,
92596
+ "grad_norm": 0.21104352176189423,
92597
+ "learning_rate": 7.72122088945817e-06,
92598
+ "loss": 0.6717,
92599
+ "step": 13227
92600
+ },
92601
+ {
92602
+ "epoch": 15.066096866096865,
92603
+ "grad_norm": 0.20439642667770386,
92604
+ "learning_rate": 7.717853951707813e-06,
92605
+ "loss": 0.7022,
92606
+ "step": 13228
92607
+ },
92608
+ {
92609
+ "epoch": 15.067236467236468,
92610
+ "grad_norm": 0.20428550243377686,
92611
+ "learning_rate": 7.714487614213922e-06,
92612
+ "loss": 0.7572,
92613
+ "step": 13229
92614
+ },
92615
+ {
92616
+ "epoch": 15.068376068376068,
92617
+ "grad_norm": 0.21032805740833282,
92618
+ "learning_rate": 7.711121877093405e-06,
92619
+ "loss": 0.6847,
92620
+ "step": 13230
92621
+ },
92622
+ {
92623
+ "epoch": 15.069515669515669,
92624
+ "grad_norm": 0.2351704090833664,
92625
+ "learning_rate": 7.707756740463167e-06,
92626
+ "loss": 0.708,
92627
+ "step": 13231
92628
+ },
92629
+ {
92630
+ "epoch": 15.070655270655271,
92631
+ "grad_norm": 0.19543321430683136,
92632
+ "learning_rate": 7.704392204440094e-06,
92633
+ "loss": 0.6966,
92634
+ "step": 13232
92635
+ },
92636
+ {
92637
+ "epoch": 15.071794871794872,
92638
+ "grad_norm": 0.22169937193393707,
92639
+ "learning_rate": 7.701028269141051e-06,
92640
+ "loss": 0.6904,
92641
+ "step": 13233
92642
+ },
92643
+ {
92644
+ "epoch": 15.072934472934472,
92645
+ "grad_norm": 0.20034444332122803,
92646
+ "learning_rate": 7.697664934682859e-06,
92647
+ "loss": 0.5926,
92648
+ "step": 13234
92649
+ },
92650
+ {
92651
+ "epoch": 15.074074074074074,
92652
+ "grad_norm": 0.21546687185764313,
92653
+ "learning_rate": 7.694302201182343e-06,
92654
+ "loss": 0.5675,
92655
+ "step": 13235
92656
+ },
92657
+ {
92658
+ "epoch": 15.075213675213675,
92659
+ "grad_norm": 0.20143888890743256,
92660
+ "learning_rate": 7.690940068756308e-06,
92661
+ "loss": 0.714,
92662
+ "step": 13236
92663
+ },
92664
+ {
92665
+ "epoch": 15.076353276353275,
92666
+ "grad_norm": 0.19900089502334595,
92667
+ "learning_rate": 7.68757853752152e-06,
92668
+ "loss": 0.7343,
92669
+ "step": 13237
92670
+ },
92671
+ {
92672
+ "epoch": 15.077492877492878,
92673
+ "grad_norm": 0.23945918679237366,
92674
+ "learning_rate": 7.684217607594741e-06,
92675
+ "loss": 0.5449,
92676
+ "step": 13238
92677
+ },
92678
+ {
92679
+ "epoch": 15.078632478632478,
92680
+ "grad_norm": 0.2190757691860199,
92681
+ "learning_rate": 7.680857279092701e-06,
92682
+ "loss": 0.674,
92683
+ "step": 13239
92684
+ },
92685
+ {
92686
+ "epoch": 15.079772079772079,
92687
+ "grad_norm": 0.21157409250736237,
92688
+ "learning_rate": 7.677497552132125e-06,
92689
+ "loss": 0.8033,
92690
+ "step": 13240
92691
+ },
92692
+ {
92693
+ "epoch": 15.080911680911681,
92694
+ "grad_norm": 0.1564355343580246,
92695
+ "learning_rate": 7.674138426829688e-06,
92696
+ "loss": 0.7209,
92697
+ "step": 13241
92698
+ },
92699
+ {
92700
+ "epoch": 15.082051282051282,
92701
+ "grad_norm": 0.24544627964496613,
92702
+ "learning_rate": 7.670779903302071e-06,
92703
+ "loss": 0.6977,
92704
+ "step": 13242
92705
+ },
92706
+ {
92707
+ "epoch": 15.083190883190884,
92708
+ "grad_norm": 0.18262211978435516,
92709
+ "learning_rate": 7.667421981665923e-06,
92710
+ "loss": 0.924,
92711
+ "step": 13243
92712
+ },
92713
+ {
92714
+ "epoch": 15.084330484330485,
92715
+ "grad_norm": 0.23551349341869354,
92716
+ "learning_rate": 7.664064662037882e-06,
92717
+ "loss": 0.4392,
92718
+ "step": 13244
92719
+ },
92720
+ {
92721
+ "epoch": 15.085470085470085,
92722
+ "grad_norm": 0.21138112246990204,
92723
+ "learning_rate": 7.660707944534539e-06,
92724
+ "loss": 0.4933,
92725
+ "step": 13245
92726
+ },
92727
+ {
92728
+ "epoch": 15.086609686609687,
92729
+ "grad_norm": 0.18942241370677948,
92730
+ "learning_rate": 7.657351829272496e-06,
92731
+ "loss": 0.6874,
92732
+ "step": 13246
92733
+ },
92734
+ {
92735
+ "epoch": 15.087749287749288,
92736
+ "grad_norm": 0.16392655670642853,
92737
+ "learning_rate": 7.653996316368314e-06,
92738
+ "loss": 0.865,
92739
+ "step": 13247
92740
+ },
92741
+ {
92742
+ "epoch": 15.088888888888889,
92743
+ "grad_norm": 0.16634123027324677,
92744
+ "learning_rate": 7.65064140593854e-06,
92745
+ "loss": 0.7992,
92746
+ "step": 13248
92747
+ },
92748
+ {
92749
+ "epoch": 15.090028490028491,
92750
+ "grad_norm": 0.19082193076610565,
92751
+ "learning_rate": 7.647287098099707e-06,
92752
+ "loss": 0.407,
92753
+ "step": 13249
92754
+ },
92755
+ {
92756
+ "epoch": 15.091168091168091,
92757
+ "grad_norm": 0.19843685626983643,
92758
+ "learning_rate": 7.643933392968308e-06,
92759
+ "loss": 0.6434,
92760
+ "step": 13250
92761
+ },
92762
+ {
92763
+ "epoch": 15.092307692307692,
92764
+ "grad_norm": 0.21986281871795654,
92765
+ "learning_rate": 7.64058029066084e-06,
92766
+ "loss": 0.6239,
92767
+ "step": 13251
92768
+ },
92769
+ {
92770
+ "epoch": 15.093447293447294,
92771
+ "grad_norm": 0.24562717974185944,
92772
+ "learning_rate": 7.637227791293752e-06,
92773
+ "loss": 0.5732,
92774
+ "step": 13252
92775
+ },
92776
+ {
92777
+ "epoch": 15.094586894586895,
92778
+ "grad_norm": 0.2094041258096695,
92779
+ "learning_rate": 7.633875894983489e-06,
92780
+ "loss": 0.6639,
92781
+ "step": 13253
92782
+ },
92783
+ {
92784
+ "epoch": 15.095726495726495,
92785
+ "grad_norm": 0.24959199130535126,
92786
+ "learning_rate": 7.630524601846472e-06,
92787
+ "loss": 0.3085,
92788
+ "step": 13254
92789
+ },
92790
+ {
92791
+ "epoch": 15.096866096866098,
92792
+ "grad_norm": 0.18908515572547913,
92793
+ "learning_rate": 7.627173911999111e-06,
92794
+ "loss": 0.7597,
92795
+ "step": 13255
92796
+ },
92797
+ {
92798
+ "epoch": 15.098005698005698,
92799
+ "grad_norm": 0.21889039874076843,
92800
+ "learning_rate": 7.623823825557766e-06,
92801
+ "loss": 0.3345,
92802
+ "step": 13256
92803
+ },
92804
+ {
92805
+ "epoch": 15.099145299145299,
92806
+ "grad_norm": 0.21106140315532684,
92807
+ "learning_rate": 7.620474342638806e-06,
92808
+ "loss": 0.6758,
92809
+ "step": 13257
92810
+ },
92811
+ {
92812
+ "epoch": 15.100284900284901,
92813
+ "grad_norm": 0.23992294073104858,
92814
+ "learning_rate": 7.617125463358565e-06,
92815
+ "loss": 0.7788,
92816
+ "step": 13258
92817
+ },
92818
+ {
92819
+ "epoch": 15.101424501424502,
92820
+ "grad_norm": 0.2021246999502182,
92821
+ "learning_rate": 7.613777187833363e-06,
92822
+ "loss": 0.733,
92823
+ "step": 13259
92824
+ },
92825
+ {
92826
+ "epoch": 15.102564102564102,
92827
+ "grad_norm": 0.24441534280776978,
92828
+ "learning_rate": 7.610429516179488e-06,
92829
+ "loss": 0.641,
92830
+ "step": 13260
92831
+ },
92832
+ {
92833
+ "epoch": 15.103703703703705,
92834
+ "grad_norm": 0.194869726896286,
92835
+ "learning_rate": 7.607082448513217e-06,
92836
+ "loss": 0.7236,
92837
+ "step": 13261
92838
+ },
92839
+ {
92840
+ "epoch": 15.104843304843305,
92841
+ "grad_norm": 0.23420466482639313,
92842
+ "learning_rate": 7.603735984950805e-06,
92843
+ "loss": 0.7169,
92844
+ "step": 13262
92845
+ },
92846
+ {
92847
+ "epoch": 15.105982905982906,
92848
+ "grad_norm": 0.1979341059923172,
92849
+ "learning_rate": 7.60039012560849e-06,
92850
+ "loss": 0.7052,
92851
+ "step": 13263
92852
+ },
92853
+ {
92854
+ "epoch": 15.107122507122508,
92855
+ "grad_norm": 0.2143956869840622,
92856
+ "learning_rate": 7.5970448706024655e-06,
92857
+ "loss": 0.579,
92858
+ "step": 13264
92859
+ },
92860
+ {
92861
+ "epoch": 15.108262108262108,
92862
+ "grad_norm": 0.16880324482917786,
92863
+ "learning_rate": 7.5937002200489324e-06,
92864
+ "loss": 0.6357,
92865
+ "step": 13265
92866
+ },
92867
+ {
92868
+ "epoch": 15.109401709401709,
92869
+ "grad_norm": 0.1926845759153366,
92870
+ "learning_rate": 7.590356174064059e-06,
92871
+ "loss": 0.7423,
92872
+ "step": 13266
92873
+ },
92874
+ {
92875
+ "epoch": 15.110541310541311,
92876
+ "grad_norm": 0.21125121414661407,
92877
+ "learning_rate": 7.587012732763999e-06,
92878
+ "loss": 0.5724,
92879
+ "step": 13267
92880
+ },
92881
+ {
92882
+ "epoch": 15.111680911680912,
92883
+ "grad_norm": 0.23667533695697784,
92884
+ "learning_rate": 7.583669896264864e-06,
92885
+ "loss": 0.8051,
92886
+ "step": 13268
92887
+ },
92888
+ {
92889
+ "epoch": 15.112820512820512,
92890
+ "grad_norm": 0.17306900024414062,
92891
+ "learning_rate": 7.580327664682768e-06,
92892
+ "loss": 0.9573,
92893
+ "step": 13269
92894
+ },
92895
+ {
92896
+ "epoch": 15.113960113960115,
92897
+ "grad_norm": 0.20057110488414764,
92898
+ "learning_rate": 7.576986038133799e-06,
92899
+ "loss": 0.4748,
92900
+ "step": 13270
92901
+ },
92902
+ {
92903
+ "epoch": 15.115099715099715,
92904
+ "grad_norm": 0.17408953607082367,
92905
+ "learning_rate": 7.573645016734018e-06,
92906
+ "loss": 0.5414,
92907
+ "step": 13271
92908
+ },
92909
+ {
92910
+ "epoch": 15.116239316239316,
92911
+ "grad_norm": 0.2110489159822464,
92912
+ "learning_rate": 7.570304600599468e-06,
92913
+ "loss": 0.6668,
92914
+ "step": 13272
92915
+ },
92916
+ {
92917
+ "epoch": 15.117378917378918,
92918
+ "grad_norm": 0.1887875348329544,
92919
+ "learning_rate": 7.5669647898461705e-06,
92920
+ "loss": 0.4897,
92921
+ "step": 13273
92922
+ },
92923
+ {
92924
+ "epoch": 15.118518518518519,
92925
+ "grad_norm": 0.2168729603290558,
92926
+ "learning_rate": 7.563625584590134e-06,
92927
+ "loss": 0.618,
92928
+ "step": 13274
92929
+ },
92930
+ {
92931
+ "epoch": 15.11965811965812,
92932
+ "grad_norm": 0.23232001066207886,
92933
+ "learning_rate": 7.560286984947326e-06,
92934
+ "loss": 0.6055,
92935
+ "step": 13275
92936
+ },
92937
+ {
92938
+ "epoch": 15.120797720797722,
92939
+ "grad_norm": 0.1825498789548874,
92940
+ "learning_rate": 7.556948991033708e-06,
92941
+ "loss": 0.5826,
92942
+ "step": 13276
92943
+ },
92944
+ {
92945
+ "epoch": 15.121937321937322,
92946
+ "grad_norm": 0.18917182087898254,
92947
+ "learning_rate": 7.5536116029652215e-06,
92948
+ "loss": 0.7733,
92949
+ "step": 13277
92950
+ },
92951
+ {
92952
+ "epoch": 15.123076923076923,
92953
+ "grad_norm": 0.20644721388816833,
92954
+ "learning_rate": 7.550274820857789e-06,
92955
+ "loss": 0.7803,
92956
+ "step": 13278
92957
+ },
92958
+ {
92959
+ "epoch": 15.124216524216525,
92960
+ "grad_norm": 0.20011848211288452,
92961
+ "learning_rate": 7.546938644827289e-06,
92962
+ "loss": 0.6496,
92963
+ "step": 13279
92964
+ },
92965
+ {
92966
+ "epoch": 15.125356125356126,
92967
+ "grad_norm": 0.2278977930545807,
92968
+ "learning_rate": 7.543603074989608e-06,
92969
+ "loss": 0.5138,
92970
+ "step": 13280
92971
+ },
92972
+ {
92973
+ "epoch": 15.126495726495726,
92974
+ "grad_norm": 0.18745478987693787,
92975
+ "learning_rate": 7.540268111460599e-06,
92976
+ "loss": 0.5401,
92977
+ "step": 13281
92978
+ },
92979
+ {
92980
+ "epoch": 15.127635327635328,
92981
+ "grad_norm": 0.18297061324119568,
92982
+ "learning_rate": 7.53693375435609e-06,
92983
+ "loss": 0.6971,
92984
+ "step": 13282
92985
+ },
92986
+ {
92987
+ "epoch": 15.128774928774929,
92988
+ "grad_norm": 0.1973070651292801,
92989
+ "learning_rate": 7.5336000037918965e-06,
92990
+ "loss": 0.5205,
92991
+ "step": 13283
92992
+ },
92993
+ {
92994
+ "epoch": 15.12991452991453,
92995
+ "grad_norm": 0.22368676960468292,
92996
+ "learning_rate": 7.5302668598838085e-06,
92997
+ "loss": 0.7489,
92998
+ "step": 13284
92999
+ },
93000
+ {
93001
+ "epoch": 15.131054131054132,
93002
+ "grad_norm": 0.2430863231420517,
93003
+ "learning_rate": 7.526934322747603e-06,
93004
+ "loss": 0.7293,
93005
+ "step": 13285
93006
+ },
93007
+ {
93008
+ "epoch": 15.132193732193732,
93009
+ "grad_norm": 0.17869368195533752,
93010
+ "learning_rate": 7.5236023924990105e-06,
93011
+ "loss": 0.7587,
93012
+ "step": 13286
93013
+ },
93014
+ {
93015
+ "epoch": 15.133333333333333,
93016
+ "grad_norm": 0.21526575088500977,
93017
+ "learning_rate": 7.520271069253765e-06,
93018
+ "loss": 0.6364,
93019
+ "step": 13287
93020
+ },
93021
+ {
93022
+ "epoch": 15.134472934472935,
93023
+ "grad_norm": 0.19106706976890564,
93024
+ "learning_rate": 7.516940353127577e-06,
93025
+ "loss": 0.7858,
93026
+ "step": 13288
93027
+ },
93028
+ {
93029
+ "epoch": 15.135612535612536,
93030
+ "grad_norm": 0.17700304090976715,
93031
+ "learning_rate": 7.513610244236138e-06,
93032
+ "loss": 0.7265,
93033
+ "step": 13289
93034
+ },
93035
+ {
93036
+ "epoch": 15.136752136752136,
93037
+ "grad_norm": 0.18937309086322784,
93038
+ "learning_rate": 7.510280742695092e-06,
93039
+ "loss": 0.6815,
93040
+ "step": 13290
93041
+ },
93042
+ {
93043
+ "epoch": 15.137891737891739,
93044
+ "grad_norm": 0.18945249915122986,
93045
+ "learning_rate": 7.506951848620094e-06,
93046
+ "loss": 0.6224,
93047
+ "step": 13291
93048
+ },
93049
+ {
93050
+ "epoch": 15.13903133903134,
93051
+ "grad_norm": 0.22184334695339203,
93052
+ "learning_rate": 7.503623562126766e-06,
93053
+ "loss": 0.6988,
93054
+ "step": 13292
93055
+ },
93056
+ {
93057
+ "epoch": 15.14017094017094,
93058
+ "grad_norm": 0.2096634954214096,
93059
+ "learning_rate": 7.5002958833307075e-06,
93060
+ "loss": 0.8174,
93061
+ "step": 13293
93062
+ },
93063
+ {
93064
+ "epoch": 15.141310541310542,
93065
+ "grad_norm": 0.19907282292842865,
93066
+ "learning_rate": 7.496968812347494e-06,
93067
+ "loss": 0.5364,
93068
+ "step": 13294
93069
+ },
93070
+ {
93071
+ "epoch": 15.142450142450143,
93072
+ "grad_norm": 0.24593563377857208,
93073
+ "learning_rate": 7.49364234929269e-06,
93074
+ "loss": 0.649,
93075
+ "step": 13295
93076
+ },
93077
+ {
93078
+ "epoch": 15.143589743589743,
93079
+ "grad_norm": 0.22036831080913544,
93080
+ "learning_rate": 7.490316494281835e-06,
93081
+ "loss": 0.6822,
93082
+ "step": 13296
93083
+ },
93084
+ {
93085
+ "epoch": 15.144729344729345,
93086
+ "grad_norm": 0.224491149187088,
93087
+ "learning_rate": 7.486991247430433e-06,
93088
+ "loss": 0.6195,
93089
+ "step": 13297
93090
+ },
93091
+ {
93092
+ "epoch": 15.145868945868946,
93093
+ "grad_norm": 0.18605081737041473,
93094
+ "learning_rate": 7.483666608853987e-06,
93095
+ "loss": 0.4838,
93096
+ "step": 13298
93097
+ },
93098
+ {
93099
+ "epoch": 15.147008547008546,
93100
+ "grad_norm": 0.19752785563468933,
93101
+ "learning_rate": 7.4803425786679705e-06,
93102
+ "loss": 0.6153,
93103
+ "step": 13299
93104
+ },
93105
+ {
93106
+ "epoch": 15.148148148148149,
93107
+ "grad_norm": 0.17299829423427582,
93108
+ "learning_rate": 7.477019156987835e-06,
93109
+ "loss": 0.4304,
93110
+ "step": 13300
93111
+ },
93112
+ {
93113
+ "epoch": 15.14928774928775,
93114
+ "grad_norm": 0.2041027992963791,
93115
+ "learning_rate": 7.473696343929018e-06,
93116
+ "loss": 0.7166,
93117
+ "step": 13301
93118
+ },
93119
+ {
93120
+ "epoch": 15.15042735042735,
93121
+ "grad_norm": 0.22014085948467255,
93122
+ "learning_rate": 7.47037413960692e-06,
93123
+ "loss": 0.4789,
93124
+ "step": 13302
93125
+ },
93126
+ {
93127
+ "epoch": 15.151566951566952,
93128
+ "grad_norm": 0.2193816602230072,
93129
+ "learning_rate": 7.4670525441369236e-06,
93130
+ "loss": 0.7827,
93131
+ "step": 13303
93132
+ },
93133
+ {
93134
+ "epoch": 15.152706552706553,
93135
+ "grad_norm": 0.21887926757335663,
93136
+ "learning_rate": 7.463731557634426e-06,
93137
+ "loss": 0.5464,
93138
+ "step": 13304
93139
+ },
93140
+ {
93141
+ "epoch": 15.153846153846153,
93142
+ "grad_norm": 0.158628910779953,
93143
+ "learning_rate": 7.460411180214749e-06,
93144
+ "loss": 0.836,
93145
+ "step": 13305
93146
+ },
93147
+ {
93148
+ "epoch": 15.154985754985756,
93149
+ "grad_norm": 0.24886372685432434,
93150
+ "learning_rate": 7.457091411993225e-06,
93151
+ "loss": 0.6018,
93152
+ "step": 13306
93153
+ },
93154
+ {
93155
+ "epoch": 15.156125356125356,
93156
+ "grad_norm": 0.20588864386081696,
93157
+ "learning_rate": 7.453772253085159e-06,
93158
+ "loss": 0.6703,
93159
+ "step": 13307
93160
+ },
93161
+ {
93162
+ "epoch": 15.157264957264957,
93163
+ "grad_norm": 0.17586199939250946,
93164
+ "learning_rate": 7.450453703605845e-06,
93165
+ "loss": 0.821,
93166
+ "step": 13308
93167
+ },
93168
+ {
93169
+ "epoch": 15.158404558404559,
93170
+ "grad_norm": 0.22378386557102203,
93171
+ "learning_rate": 7.447135763670524e-06,
93172
+ "loss": 0.6723,
93173
+ "step": 13309
93174
+ },
93175
+ {
93176
+ "epoch": 15.15954415954416,
93177
+ "grad_norm": 0.2398693561553955,
93178
+ "learning_rate": 7.443818433394451e-06,
93179
+ "loss": 0.6561,
93180
+ "step": 13310
93181
+ },
93182
+ {
93183
+ "epoch": 15.16068376068376,
93184
+ "grad_norm": 0.280377060174942,
93185
+ "learning_rate": 7.440501712892842e-06,
93186
+ "loss": 0.6986,
93187
+ "step": 13311
93188
+ },
93189
+ {
93190
+ "epoch": 15.161823361823362,
93191
+ "grad_norm": 0.19695614278316498,
93192
+ "learning_rate": 7.437185602280905e-06,
93193
+ "loss": 0.6489,
93194
+ "step": 13312
93195
+ },
93196
+ {
93197
+ "epoch": 15.162962962962963,
93198
+ "grad_norm": 0.22838595509529114,
93199
+ "learning_rate": 7.433870101673804e-06,
93200
+ "loss": 0.6227,
93201
+ "step": 13313
93202
+ },
93203
+ {
93204
+ "epoch": 15.164102564102564,
93205
+ "grad_norm": 0.21671253442764282,
93206
+ "learning_rate": 7.43055521118669e-06,
93207
+ "loss": 0.551,
93208
+ "step": 13314
93209
+ },
93210
+ {
93211
+ "epoch": 15.165242165242166,
93212
+ "grad_norm": 0.16176068782806396,
93213
+ "learning_rate": 7.427240930934729e-06,
93214
+ "loss": 0.8505,
93215
+ "step": 13315
93216
+ },
93217
+ {
93218
+ "epoch": 15.166381766381766,
93219
+ "grad_norm": 0.21151845157146454,
93220
+ "learning_rate": 7.423927261033006e-06,
93221
+ "loss": 0.6639,
93222
+ "step": 13316
93223
+ },
93224
+ {
93225
+ "epoch": 15.167521367521367,
93226
+ "grad_norm": 0.20331384241580963,
93227
+ "learning_rate": 7.420614201596626e-06,
93228
+ "loss": 0.5958,
93229
+ "step": 13317
93230
+ },
93231
+ {
93232
+ "epoch": 15.16866096866097,
93233
+ "grad_norm": 0.2182028889656067,
93234
+ "learning_rate": 7.417301752740655e-06,
93235
+ "loss": 0.777,
93236
+ "step": 13318
93237
+ },
93238
+ {
93239
+ "epoch": 15.16980056980057,
93240
+ "grad_norm": 0.23227620124816895,
93241
+ "learning_rate": 7.4139899145801576e-06,
93242
+ "loss": 0.4787,
93243
+ "step": 13319
93244
+ },
93245
+ {
93246
+ "epoch": 15.17094017094017,
93247
+ "grad_norm": 0.2299741953611374,
93248
+ "learning_rate": 7.4106786872301434e-06,
93249
+ "loss": 0.7904,
93250
+ "step": 13320
93251
+ },
93252
+ {
93253
+ "epoch": 15.172079772079773,
93254
+ "grad_norm": 0.217166006565094,
93255
+ "learning_rate": 7.407368070805628e-06,
93256
+ "loss": 0.6805,
93257
+ "step": 13321
93258
+ },
93259
+ {
93260
+ "epoch": 15.173219373219373,
93261
+ "grad_norm": 0.1870729923248291,
93262
+ "learning_rate": 7.404058065421599e-06,
93263
+ "loss": 0.6697,
93264
+ "step": 13322
93265
+ },
93266
+ {
93267
+ "epoch": 15.174358974358974,
93268
+ "grad_norm": 0.18819458782672882,
93269
+ "learning_rate": 7.400748671193034e-06,
93270
+ "loss": 0.6807,
93271
+ "step": 13323
93272
+ },
93273
+ {
93274
+ "epoch": 15.175498575498576,
93275
+ "grad_norm": 0.2323538362979889,
93276
+ "learning_rate": 7.397439888234853e-06,
93277
+ "loss": 0.5102,
93278
+ "step": 13324
93279
+ },
93280
+ {
93281
+ "epoch": 15.176638176638177,
93282
+ "grad_norm": 0.25649964809417725,
93283
+ "learning_rate": 7.394131716661987e-06,
93284
+ "loss": 0.5656,
93285
+ "step": 13325
93286
+ },
93287
+ {
93288
+ "epoch": 15.177777777777777,
93289
+ "grad_norm": 0.19201435148715973,
93290
+ "learning_rate": 7.3908241565893575e-06,
93291
+ "loss": 0.6959,
93292
+ "step": 13326
93293
+ },
93294
+ {
93295
+ "epoch": 15.17891737891738,
93296
+ "grad_norm": 0.19382207095623016,
93297
+ "learning_rate": 7.387517208131823e-06,
93298
+ "loss": 0.5518,
93299
+ "step": 13327
93300
+ },
93301
+ {
93302
+ "epoch": 15.18005698005698,
93303
+ "grad_norm": 0.2733919322490692,
93304
+ "learning_rate": 7.384210871404251e-06,
93305
+ "loss": 0.5729,
93306
+ "step": 13328
93307
+ },
93308
+ {
93309
+ "epoch": 15.18119658119658,
93310
+ "grad_norm": 0.24027517437934875,
93311
+ "learning_rate": 7.380905146521477e-06,
93312
+ "loss": 0.4685,
93313
+ "step": 13329
93314
+ },
93315
+ {
93316
+ "epoch": 15.182336182336183,
93317
+ "grad_norm": 0.22657380998134613,
93318
+ "learning_rate": 7.377600033598331e-06,
93319
+ "loss": 0.6801,
93320
+ "step": 13330
93321
+ },
93322
+ {
93323
+ "epoch": 15.183475783475783,
93324
+ "grad_norm": 0.17790141701698303,
93325
+ "learning_rate": 7.374295532749586e-06,
93326
+ "loss": 0.7821,
93327
+ "step": 13331
93328
+ },
93329
+ {
93330
+ "epoch": 15.184615384615384,
93331
+ "grad_norm": 0.22210240364074707,
93332
+ "learning_rate": 7.37099164409003e-06,
93333
+ "loss": 0.7127,
93334
+ "step": 13332
93335
+ },
93336
+ {
93337
+ "epoch": 15.185754985754986,
93338
+ "grad_norm": 0.19975833594799042,
93339
+ "learning_rate": 7.367688367734415e-06,
93340
+ "loss": 0.7258,
93341
+ "step": 13333
93342
+ },
93343
+ {
93344
+ "epoch": 15.186894586894587,
93345
+ "grad_norm": 0.2221197634935379,
93346
+ "learning_rate": 7.36438570379748e-06,
93347
+ "loss": 0.4842,
93348
+ "step": 13334
93349
+ },
93350
+ {
93351
+ "epoch": 15.188034188034187,
93352
+ "grad_norm": 0.15724675357341766,
93353
+ "learning_rate": 7.361083652393919e-06,
93354
+ "loss": 0.7987,
93355
+ "step": 13335
93356
+ },
93357
+ {
93358
+ "epoch": 15.18917378917379,
93359
+ "grad_norm": 0.18950201570987701,
93360
+ "learning_rate": 7.3577822136384204e-06,
93361
+ "loss": 0.7515,
93362
+ "step": 13336
93363
+ },
93364
+ {
93365
+ "epoch": 15.19031339031339,
93366
+ "grad_norm": 0.19062010943889618,
93367
+ "learning_rate": 7.354481387645673e-06,
93368
+ "loss": 0.5944,
93369
+ "step": 13337
93370
+ },
93371
+ {
93372
+ "epoch": 15.19145299145299,
93373
+ "grad_norm": 0.22277235984802246,
93374
+ "learning_rate": 7.351181174530317e-06,
93375
+ "loss": 0.6526,
93376
+ "step": 13338
93377
+ },
93378
+ {
93379
+ "epoch": 15.192592592592593,
93380
+ "grad_norm": 0.16412495076656342,
93381
+ "learning_rate": 7.347881574406967e-06,
93382
+ "loss": 0.8125,
93383
+ "step": 13339
93384
+ },
93385
+ {
93386
+ "epoch": 15.193732193732194,
93387
+ "grad_norm": 0.19410619139671326,
93388
+ "learning_rate": 7.344582587390234e-06,
93389
+ "loss": 0.7798,
93390
+ "step": 13340
93391
+ },
93392
+ {
93393
+ "epoch": 15.194871794871794,
93394
+ "grad_norm": 0.17703565955162048,
93395
+ "learning_rate": 7.341284213594698e-06,
93396
+ "loss": 0.6936,
93397
+ "step": 13341
93398
+ },
93399
+ {
93400
+ "epoch": 15.196011396011396,
93401
+ "grad_norm": 0.18267908692359924,
93402
+ "learning_rate": 7.337986453134935e-06,
93403
+ "loss": 0.6342,
93404
+ "step": 13342
93405
+ },
93406
+ {
93407
+ "epoch": 15.197150997150997,
93408
+ "grad_norm": 0.20167747139930725,
93409
+ "learning_rate": 7.334689306125461e-06,
93410
+ "loss": 0.7808,
93411
+ "step": 13343
93412
+ },
93413
+ {
93414
+ "epoch": 15.198290598290598,
93415
+ "grad_norm": 0.1822354644536972,
93416
+ "learning_rate": 7.331392772680809e-06,
93417
+ "loss": 0.5235,
93418
+ "step": 13344
93419
+ },
93420
+ {
93421
+ "epoch": 15.1994301994302,
93422
+ "grad_norm": 0.18686936795711517,
93423
+ "learning_rate": 7.328096852915475e-06,
93424
+ "loss": 0.6758,
93425
+ "step": 13345
93426
+ },
93427
+ {
93428
+ "epoch": 15.2005698005698,
93429
+ "grad_norm": 0.19524578750133514,
93430
+ "learning_rate": 7.324801546943944e-06,
93431
+ "loss": 0.4665,
93432
+ "step": 13346
93433
+ },
93434
+ {
93435
+ "epoch": 15.201709401709401,
93436
+ "grad_norm": 0.19947238266468048,
93437
+ "learning_rate": 7.321506854880644e-06,
93438
+ "loss": 0.4769,
93439
+ "step": 13347
93440
+ },
93441
+ {
93442
+ "epoch": 15.202849002849003,
93443
+ "grad_norm": 0.24945421516895294,
93444
+ "learning_rate": 7.318212776840036e-06,
93445
+ "loss": 0.5923,
93446
+ "step": 13348
93447
+ },
93448
+ {
93449
+ "epoch": 15.203988603988604,
93450
+ "grad_norm": 0.17447318136692047,
93451
+ "learning_rate": 7.314919312936533e-06,
93452
+ "loss": 0.5977,
93453
+ "step": 13349
93454
+ },
93455
+ {
93456
+ "epoch": 15.205128205128204,
93457
+ "grad_norm": 0.21766497194766998,
93458
+ "learning_rate": 7.311626463284504e-06,
93459
+ "loss": 0.5435,
93460
+ "step": 13350
93461
+ },
93462
+ {
93463
+ "epoch": 15.206267806267807,
93464
+ "grad_norm": 0.23319518566131592,
93465
+ "learning_rate": 7.3083342279983365e-06,
93466
+ "loss": 0.5095,
93467
+ "step": 13351
93468
+ },
93469
+ {
93470
+ "epoch": 15.207407407407407,
93471
+ "grad_norm": 0.1703135073184967,
93472
+ "learning_rate": 7.305042607192369e-06,
93473
+ "loss": 0.7992,
93474
+ "step": 13352
93475
+ },
93476
+ {
93477
+ "epoch": 15.208547008547008,
93478
+ "grad_norm": 0.1810133010149002,
93479
+ "learning_rate": 7.301751600980944e-06,
93480
+ "loss": 0.8067,
93481
+ "step": 13353
93482
+ },
93483
+ {
93484
+ "epoch": 15.20968660968661,
93485
+ "grad_norm": 0.22245138883590698,
93486
+ "learning_rate": 7.298461209478349e-06,
93487
+ "loss": 0.608,
93488
+ "step": 13354
93489
+ },
93490
+ {
93491
+ "epoch": 15.21082621082621,
93492
+ "grad_norm": 0.1670108139514923,
93493
+ "learning_rate": 7.295171432798872e-06,
93494
+ "loss": 0.8941,
93495
+ "step": 13355
93496
+ },
93497
+ {
93498
+ "epoch": 15.211965811965811,
93499
+ "grad_norm": 0.2086310088634491,
93500
+ "learning_rate": 7.291882271056783e-06,
93501
+ "loss": 0.5176,
93502
+ "step": 13356
93503
+ },
93504
+ {
93505
+ "epoch": 15.213105413105414,
93506
+ "grad_norm": 0.18529261648654938,
93507
+ "learning_rate": 7.288593724366327e-06,
93508
+ "loss": 0.8927,
93509
+ "step": 13357
93510
+ },
93511
+ {
93512
+ "epoch": 15.214245014245014,
93513
+ "grad_norm": 0.1824301779270172,
93514
+ "learning_rate": 7.285305792841701e-06,
93515
+ "loss": 0.7053,
93516
+ "step": 13358
93517
+ },
93518
+ {
93519
+ "epoch": 15.215384615384615,
93520
+ "grad_norm": 0.1776217371225357,
93521
+ "learning_rate": 7.28201847659713e-06,
93522
+ "loss": 0.57,
93523
+ "step": 13359
93524
+ },
93525
+ {
93526
+ "epoch": 15.216524216524217,
93527
+ "grad_norm": 0.19689984619617462,
93528
+ "learning_rate": 7.278731775746789e-06,
93529
+ "loss": 0.6868,
93530
+ "step": 13360
93531
+ },
93532
+ {
93533
+ "epoch": 15.217663817663817,
93534
+ "grad_norm": 0.21592627465724945,
93535
+ "learning_rate": 7.275445690404817e-06,
93536
+ "loss": 0.5144,
93537
+ "step": 13361
93538
+ },
93539
+ {
93540
+ "epoch": 15.218803418803418,
93541
+ "grad_norm": 0.2437269538640976,
93542
+ "learning_rate": 7.272160220685362e-06,
93543
+ "loss": 0.5688,
93544
+ "step": 13362
93545
+ },
93546
+ {
93547
+ "epoch": 15.21994301994302,
93548
+ "grad_norm": 0.19515958428382874,
93549
+ "learning_rate": 7.268875366702532e-06,
93550
+ "loss": 0.7549,
93551
+ "step": 13363
93552
+ },
93553
+ {
93554
+ "epoch": 15.221082621082621,
93555
+ "grad_norm": 0.18477806448936462,
93556
+ "learning_rate": 7.265591128570431e-06,
93557
+ "loss": 0.4052,
93558
+ "step": 13364
93559
+ },
93560
+ {
93561
+ "epoch": 15.222222222222221,
93562
+ "grad_norm": 0.17877839505672455,
93563
+ "learning_rate": 7.262307506403113e-06,
93564
+ "loss": 0.8298,
93565
+ "step": 13365
93566
+ },
93567
+ {
93568
+ "epoch": 15.223361823361824,
93569
+ "grad_norm": 0.17731106281280518,
93570
+ "learning_rate": 7.259024500314632e-06,
93571
+ "loss": 0.6849,
93572
+ "step": 13366
93573
+ },
93574
+ {
93575
+ "epoch": 15.224501424501424,
93576
+ "grad_norm": 0.17548824846744537,
93577
+ "learning_rate": 7.255742110419017e-06,
93578
+ "loss": 0.6393,
93579
+ "step": 13367
93580
+ },
93581
+ {
93582
+ "epoch": 15.225641025641025,
93583
+ "grad_norm": 0.21052774786949158,
93584
+ "learning_rate": 7.252460336830286e-06,
93585
+ "loss": 0.7747,
93586
+ "step": 13368
93587
+ },
93588
+ {
93589
+ "epoch": 15.226780626780627,
93590
+ "grad_norm": 0.2353142499923706,
93591
+ "learning_rate": 7.249179179662397e-06,
93592
+ "loss": 0.5368,
93593
+ "step": 13369
93594
+ },
93595
+ {
93596
+ "epoch": 15.227920227920228,
93597
+ "grad_norm": 0.2377912402153015,
93598
+ "learning_rate": 7.245898639029336e-06,
93599
+ "loss": 0.4894,
93600
+ "step": 13370
93601
+ },
93602
+ {
93603
+ "epoch": 15.229059829059828,
93604
+ "grad_norm": 0.20241715013980865,
93605
+ "learning_rate": 7.24261871504505e-06,
93606
+ "loss": 0.6448,
93607
+ "step": 13371
93608
+ },
93609
+ {
93610
+ "epoch": 15.23019943019943,
93611
+ "grad_norm": 0.22061561048030853,
93612
+ "learning_rate": 7.239339407823437e-06,
93613
+ "loss": 0.4698,
93614
+ "step": 13372
93615
+ },
93616
+ {
93617
+ "epoch": 15.231339031339031,
93618
+ "grad_norm": 0.19990026950836182,
93619
+ "learning_rate": 7.2360607174784124e-06,
93620
+ "loss": 0.7864,
93621
+ "step": 13373
93622
+ },
93623
+ {
93624
+ "epoch": 15.232478632478632,
93625
+ "grad_norm": 0.16054971516132355,
93626
+ "learning_rate": 7.232782644123848e-06,
93627
+ "loss": 0.7828,
93628
+ "step": 13374
93629
+ },
93630
+ {
93631
+ "epoch": 15.233618233618234,
93632
+ "grad_norm": 0.20575302839279175,
93633
+ "learning_rate": 7.229505187873611e-06,
93634
+ "loss": 0.7156,
93635
+ "step": 13375
93636
+ },
93637
+ {
93638
+ "epoch": 15.234757834757835,
93639
+ "grad_norm": 0.27407199144363403,
93640
+ "learning_rate": 7.226228348841518e-06,
93641
+ "loss": 0.5875,
93642
+ "step": 13376
93643
+ },
93644
+ {
93645
+ "epoch": 15.235897435897435,
93646
+ "grad_norm": 0.1809110790491104,
93647
+ "learning_rate": 7.222952127141397e-06,
93648
+ "loss": 0.7659,
93649
+ "step": 13377
93650
+ },
93651
+ {
93652
+ "epoch": 15.237037037037037,
93653
+ "grad_norm": 0.21950261294841766,
93654
+ "learning_rate": 7.219676522887031e-06,
93655
+ "loss": 0.6556,
93656
+ "step": 13378
93657
+ },
93658
+ {
93659
+ "epoch": 15.238176638176638,
93660
+ "grad_norm": 0.19694559276103973,
93661
+ "learning_rate": 7.216401536192199e-06,
93662
+ "loss": 0.7612,
93663
+ "step": 13379
93664
+ },
93665
+ {
93666
+ "epoch": 15.239316239316238,
93667
+ "grad_norm": 0.19548237323760986,
93668
+ "learning_rate": 7.213127167170644e-06,
93669
+ "loss": 0.7912,
93670
+ "step": 13380
93671
+ },
93672
+ {
93673
+ "epoch": 15.24045584045584,
93674
+ "grad_norm": 0.22181104123592377,
93675
+ "learning_rate": 7.2098534159361e-06,
93676
+ "loss": 0.6947,
93677
+ "step": 13381
93678
+ },
93679
+ {
93680
+ "epoch": 15.241595441595441,
93681
+ "grad_norm": 0.19053779542446136,
93682
+ "learning_rate": 7.206580282602266e-06,
93683
+ "loss": 0.7365,
93684
+ "step": 13382
93685
+ },
93686
+ {
93687
+ "epoch": 15.242735042735042,
93688
+ "grad_norm": 0.20558376610279083,
93689
+ "learning_rate": 7.2033077672828404e-06,
93690
+ "loss": 0.6269,
93691
+ "step": 13383
93692
+ },
93693
+ {
93694
+ "epoch": 15.243874643874644,
93695
+ "grad_norm": 0.18020299077033997,
93696
+ "learning_rate": 7.200035870091471e-06,
93697
+ "loss": 0.656,
93698
+ "step": 13384
93699
+ },
93700
+ {
93701
+ "epoch": 15.245014245014245,
93702
+ "grad_norm": 0.21702425181865692,
93703
+ "learning_rate": 7.196764591141802e-06,
93704
+ "loss": 0.5239,
93705
+ "step": 13385
93706
+ },
93707
+ {
93708
+ "epoch": 15.246153846153845,
93709
+ "grad_norm": 0.22578953206539154,
93710
+ "learning_rate": 7.193493930547462e-06,
93711
+ "loss": 0.3689,
93712
+ "step": 13386
93713
+ },
93714
+ {
93715
+ "epoch": 15.247293447293448,
93716
+ "grad_norm": 0.2162429541349411,
93717
+ "learning_rate": 7.1902238884220516e-06,
93718
+ "loss": 0.7994,
93719
+ "step": 13387
93720
+ },
93721
+ {
93722
+ "epoch": 15.248433048433048,
93723
+ "grad_norm": 0.2074805051088333,
93724
+ "learning_rate": 7.186954464879136e-06,
93725
+ "loss": 0.7104,
93726
+ "step": 13388
93727
+ },
93728
+ {
93729
+ "epoch": 15.249572649572649,
93730
+ "grad_norm": 0.17333164811134338,
93731
+ "learning_rate": 7.1836856600322775e-06,
93732
+ "loss": 0.698,
93733
+ "step": 13389
93734
+ },
93735
+ {
93736
+ "epoch": 15.250712250712251,
93737
+ "grad_norm": 0.193593367934227,
93738
+ "learning_rate": 7.1804174739950105e-06,
93739
+ "loss": 0.4865,
93740
+ "step": 13390
93741
+ },
93742
+ {
93743
+ "epoch": 15.251851851851852,
93744
+ "grad_norm": 0.1828693002462387,
93745
+ "learning_rate": 7.177149906880848e-06,
93746
+ "loss": 0.7006,
93747
+ "step": 13391
93748
+ },
93749
+ {
93750
+ "epoch": 15.252991452991452,
93751
+ "grad_norm": 0.19954030215740204,
93752
+ "learning_rate": 7.173882958803282e-06,
93753
+ "loss": 0.5624,
93754
+ "step": 13392
93755
+ },
93756
+ {
93757
+ "epoch": 15.254131054131054,
93758
+ "grad_norm": 0.19160442054271698,
93759
+ "learning_rate": 7.170616629875784e-06,
93760
+ "loss": 0.7892,
93761
+ "step": 13393
93762
+ },
93763
+ {
93764
+ "epoch": 15.255270655270655,
93765
+ "grad_norm": 0.224081888794899,
93766
+ "learning_rate": 7.16735092021181e-06,
93767
+ "loss": 0.6121,
93768
+ "step": 13394
93769
+ },
93770
+ {
93771
+ "epoch": 15.256410256410255,
93772
+ "grad_norm": 0.1943773776292801,
93773
+ "learning_rate": 7.1640858299247684e-06,
93774
+ "loss": 0.6284,
93775
+ "step": 13395
93776
+ },
93777
+ {
93778
+ "epoch": 15.257549857549858,
93779
+ "grad_norm": 0.1929141879081726,
93780
+ "learning_rate": 7.160821359128078e-06,
93781
+ "loss": 0.8806,
93782
+ "step": 13396
93783
+ },
93784
+ {
93785
+ "epoch": 15.258689458689458,
93786
+ "grad_norm": 0.27313852310180664,
93787
+ "learning_rate": 7.157557507935117e-06,
93788
+ "loss": 0.4549,
93789
+ "step": 13397
93790
+ },
93791
+ {
93792
+ "epoch": 15.25982905982906,
93793
+ "grad_norm": 0.4554316997528076,
93794
+ "learning_rate": 7.154294276459258e-06,
93795
+ "loss": 0.6778,
93796
+ "step": 13398
93797
+ },
93798
+ {
93799
+ "epoch": 15.260968660968661,
93800
+ "grad_norm": 0.19258996844291687,
93801
+ "learning_rate": 7.151031664813829e-06,
93802
+ "loss": 0.7,
93803
+ "step": 13399
93804
+ },
93805
+ {
93806
+ "epoch": 15.262108262108262,
93807
+ "grad_norm": 0.24250654876232147,
93808
+ "learning_rate": 7.1477696731121565e-06,
93809
+ "loss": 0.6825,
93810
+ "step": 13400
93811
+ },
93812
+ {
93813
+ "epoch": 15.263247863247864,
93814
+ "grad_norm": 0.2219674438238144,
93815
+ "learning_rate": 7.144508301467534e-06,
93816
+ "loss": 0.8407,
93817
+ "step": 13401
93818
+ },
93819
+ {
93820
+ "epoch": 15.264387464387465,
93821
+ "grad_norm": 0.2358654886484146,
93822
+ "learning_rate": 7.141247549993241e-06,
93823
+ "loss": 0.5774,
93824
+ "step": 13402
93825
+ },
93826
+ {
93827
+ "epoch": 15.265527065527065,
93828
+ "grad_norm": 0.20805026590824127,
93829
+ "learning_rate": 7.137987418802533e-06,
93830
+ "loss": 0.6997,
93831
+ "step": 13403
93832
+ },
93833
+ {
93834
+ "epoch": 15.266666666666667,
93835
+ "grad_norm": 0.19631749391555786,
93836
+ "learning_rate": 7.134727908008645e-06,
93837
+ "loss": 0.6452,
93838
+ "step": 13404
93839
+ },
93840
+ {
93841
+ "epoch": 15.267806267806268,
93842
+ "grad_norm": 0.19085797667503357,
93843
+ "learning_rate": 7.1314690177247925e-06,
93844
+ "loss": 0.87,
93845
+ "step": 13405
93846
+ },
93847
+ {
93848
+ "epoch": 15.268945868945869,
93849
+ "grad_norm": 0.16966448724269867,
93850
+ "learning_rate": 7.128210748064151e-06,
93851
+ "loss": 0.6457,
93852
+ "step": 13406
93853
+ },
93854
+ {
93855
+ "epoch": 15.270085470085471,
93856
+ "grad_norm": 0.22518151998519897,
93857
+ "learning_rate": 7.1249530991398974e-06,
93858
+ "loss": 0.6048,
93859
+ "step": 13407
93860
+ },
93861
+ {
93862
+ "epoch": 15.271225071225071,
93863
+ "grad_norm": 0.1851891130208969,
93864
+ "learning_rate": 7.1216960710651815e-06,
93865
+ "loss": 0.564,
93866
+ "step": 13408
93867
+ },
93868
+ {
93869
+ "epoch": 15.272364672364672,
93870
+ "grad_norm": 0.20710742473602295,
93871
+ "learning_rate": 7.118439663953133e-06,
93872
+ "loss": 0.5152,
93873
+ "step": 13409
93874
+ },
93875
+ {
93876
+ "epoch": 15.273504273504274,
93877
+ "grad_norm": 0.1835888773202896,
93878
+ "learning_rate": 7.115183877916842e-06,
93879
+ "loss": 0.5819,
93880
+ "step": 13410
93881
+ },
93882
+ {
93883
+ "epoch": 15.274643874643875,
93884
+ "grad_norm": 0.1785074919462204,
93885
+ "learning_rate": 7.111928713069399e-06,
93886
+ "loss": 0.8095,
93887
+ "step": 13411
93888
+ },
93889
+ {
93890
+ "epoch": 15.275783475783475,
93891
+ "grad_norm": 0.19669075310230255,
93892
+ "learning_rate": 7.108674169523863e-06,
93893
+ "loss": 0.6795,
93894
+ "step": 13412
93895
+ },
93896
+ {
93897
+ "epoch": 15.276923076923078,
93898
+ "grad_norm": 0.2427806556224823,
93899
+ "learning_rate": 7.1054202473932825e-06,
93900
+ "loss": 0.6465,
93901
+ "step": 13413
93902
+ },
93903
+ {
93904
+ "epoch": 15.278062678062678,
93905
+ "grad_norm": 0.1938008964061737,
93906
+ "learning_rate": 7.102166946790651e-06,
93907
+ "loss": 0.6594,
93908
+ "step": 13414
93909
+ },
93910
+ {
93911
+ "epoch": 15.279202279202279,
93912
+ "grad_norm": 0.21511799097061157,
93913
+ "learning_rate": 7.09891426782899e-06,
93914
+ "loss": 0.7886,
93915
+ "step": 13415
93916
+ },
93917
+ {
93918
+ "epoch": 15.280341880341881,
93919
+ "grad_norm": 0.19147200882434845,
93920
+ "learning_rate": 7.095662210621262e-06,
93921
+ "loss": 0.6507,
93922
+ "step": 13416
93923
+ },
93924
+ {
93925
+ "epoch": 15.281481481481482,
93926
+ "grad_norm": 0.21382924914360046,
93927
+ "learning_rate": 7.092410775280434e-06,
93928
+ "loss": 0.6097,
93929
+ "step": 13417
93930
+ },
93931
+ {
93932
+ "epoch": 15.282621082621082,
93933
+ "grad_norm": 0.20031499862670898,
93934
+ "learning_rate": 7.089159961919414e-06,
93935
+ "loss": 0.5536,
93936
+ "step": 13418
93937
+ },
93938
+ {
93939
+ "epoch": 15.283760683760685,
93940
+ "grad_norm": 0.2048831731081009,
93941
+ "learning_rate": 7.085909770651128e-06,
93942
+ "loss": 0.8472,
93943
+ "step": 13419
93944
+ },
93945
+ {
93946
+ "epoch": 15.284900284900285,
93947
+ "grad_norm": 0.19666039943695068,
93948
+ "learning_rate": 7.0826602015884566e-06,
93949
+ "loss": 0.7362,
93950
+ "step": 13420
93951
+ },
93952
+ {
93953
+ "epoch": 15.286039886039886,
93954
+ "grad_norm": 0.17590700089931488,
93955
+ "learning_rate": 7.079411254844276e-06,
93956
+ "loss": 0.6823,
93957
+ "step": 13421
93958
+ },
93959
+ {
93960
+ "epoch": 15.287179487179488,
93961
+ "grad_norm": 0.17183063924312592,
93962
+ "learning_rate": 7.076162930531418e-06,
93963
+ "loss": 0.7005,
93964
+ "step": 13422
93965
+ },
93966
+ {
93967
+ "epoch": 15.288319088319088,
93968
+ "grad_norm": 0.2370138019323349,
93969
+ "learning_rate": 7.072915228762714e-06,
93970
+ "loss": 0.5092,
93971
+ "step": 13423
93972
+ },
93973
+ {
93974
+ "epoch": 15.289458689458689,
93975
+ "grad_norm": 0.16556316614151,
93976
+ "learning_rate": 7.069668149650962e-06,
93977
+ "loss": 0.6152,
93978
+ "step": 13424
93979
+ },
93980
+ {
93981
+ "epoch": 15.290598290598291,
93982
+ "grad_norm": 0.1977030485868454,
93983
+ "learning_rate": 7.066421693308945e-06,
93984
+ "loss": 0.6643,
93985
+ "step": 13425
93986
+ },
93987
+ {
93988
+ "epoch": 15.291737891737892,
93989
+ "grad_norm": 0.19474047422409058,
93990
+ "learning_rate": 7.063175859849419e-06,
93991
+ "loss": 0.5826,
93992
+ "step": 13426
93993
+ },
93994
+ {
93995
+ "epoch": 15.292877492877492,
93996
+ "grad_norm": 0.1902286559343338,
93997
+ "learning_rate": 7.059930649385122e-06,
93998
+ "loss": 0.622,
93999
+ "step": 13427
94000
+ },
94001
+ {
94002
+ "epoch": 15.294017094017095,
94003
+ "grad_norm": 0.252772718667984,
94004
+ "learning_rate": 7.056686062028775e-06,
94005
+ "loss": 0.548,
94006
+ "step": 13428
94007
+ },
94008
+ {
94009
+ "epoch": 15.295156695156695,
94010
+ "grad_norm": 0.21062877774238586,
94011
+ "learning_rate": 7.05344209789306e-06,
94012
+ "loss": 0.4934,
94013
+ "step": 13429
94014
+ },
94015
+ {
94016
+ "epoch": 15.296296296296296,
94017
+ "grad_norm": 0.2218659371137619,
94018
+ "learning_rate": 7.050198757090653e-06,
94019
+ "loss": 0.6007,
94020
+ "step": 13430
94021
+ },
94022
+ {
94023
+ "epoch": 15.297435897435898,
94024
+ "grad_norm": 0.3193570375442505,
94025
+ "learning_rate": 7.046956039734206e-06,
94026
+ "loss": 0.2876,
94027
+ "step": 13431
94028
+ },
94029
+ {
94030
+ "epoch": 15.298575498575499,
94031
+ "grad_norm": 0.19239835441112518,
94032
+ "learning_rate": 7.0437139459363535e-06,
94033
+ "loss": 0.8156,
94034
+ "step": 13432
94035
+ },
94036
+ {
94037
+ "epoch": 15.2997150997151,
94038
+ "grad_norm": 0.21255037188529968,
94039
+ "learning_rate": 7.04047247580969e-06,
94040
+ "loss": 0.6548,
94041
+ "step": 13433
94042
+ },
94043
+ {
94044
+ "epoch": 15.300854700854702,
94045
+ "grad_norm": 0.22222843766212463,
94046
+ "learning_rate": 7.037231629466804e-06,
94047
+ "loss": 0.6232,
94048
+ "step": 13434
94049
+ },
94050
+ {
94051
+ "epoch": 15.301994301994302,
94052
+ "grad_norm": 0.21897831559181213,
94053
+ "learning_rate": 7.0339914070202625e-06,
94054
+ "loss": 0.7452,
94055
+ "step": 13435
94056
+ },
94057
+ {
94058
+ "epoch": 15.303133903133903,
94059
+ "grad_norm": 0.19468940794467926,
94060
+ "learning_rate": 7.0307518085826055e-06,
94061
+ "loss": 0.6738,
94062
+ "step": 13436
94063
+ },
94064
+ {
94065
+ "epoch": 15.304273504273505,
94066
+ "grad_norm": 0.2297879457473755,
94067
+ "learning_rate": 7.0275128342663536e-06,
94068
+ "loss": 0.4746,
94069
+ "step": 13437
94070
+ },
94071
+ {
94072
+ "epoch": 15.305413105413106,
94073
+ "grad_norm": 0.20002175867557526,
94074
+ "learning_rate": 7.024274484184007e-06,
94075
+ "loss": 0.43,
94076
+ "step": 13438
94077
+ },
94078
+ {
94079
+ "epoch": 15.306552706552706,
94080
+ "grad_norm": 0.21483980119228363,
94081
+ "learning_rate": 7.0210367584480465e-06,
94082
+ "loss": 0.6486,
94083
+ "step": 13439
94084
+ },
94085
+ {
94086
+ "epoch": 15.307692307692308,
94087
+ "grad_norm": 0.17824262380599976,
94088
+ "learning_rate": 7.017799657170918e-06,
94089
+ "loss": 0.9038,
94090
+ "step": 13440
94091
+ },
94092
+ {
94093
+ "epoch": 15.308831908831909,
94094
+ "grad_norm": 0.20306964218616486,
94095
+ "learning_rate": 7.014563180465055e-06,
94096
+ "loss": 0.6428,
94097
+ "step": 13441
94098
+ },
94099
+ {
94100
+ "epoch": 15.30997150997151,
94101
+ "grad_norm": 0.15465456247329712,
94102
+ "learning_rate": 7.011327328442874e-06,
94103
+ "loss": 0.4822,
94104
+ "step": 13442
94105
+ },
94106
+ {
94107
+ "epoch": 15.311111111111112,
94108
+ "grad_norm": 0.19104813039302826,
94109
+ "learning_rate": 7.008092101216771e-06,
94110
+ "loss": 0.7172,
94111
+ "step": 13443
94112
+ },
94113
+ {
94114
+ "epoch": 15.312250712250712,
94115
+ "grad_norm": 0.18439635634422302,
94116
+ "learning_rate": 7.0048574988991e-06,
94117
+ "loss": 0.6679,
94118
+ "step": 13444
94119
+ },
94120
+ {
94121
+ "epoch": 15.313390313390313,
94122
+ "grad_norm": 0.19624824821949005,
94123
+ "learning_rate": 7.001623521602216e-06,
94124
+ "loss": 0.676,
94125
+ "step": 13445
94126
+ },
94127
+ {
94128
+ "epoch": 15.314529914529915,
94129
+ "grad_norm": 0.20672352612018585,
94130
+ "learning_rate": 6.99839016943844e-06,
94131
+ "loss": 0.7165,
94132
+ "step": 13446
94133
+ },
94134
+ {
94135
+ "epoch": 15.315669515669516,
94136
+ "grad_norm": 0.21458734571933746,
94137
+ "learning_rate": 6.995157442520081e-06,
94138
+ "loss": 0.7422,
94139
+ "step": 13447
94140
+ },
94141
+ {
94142
+ "epoch": 15.316809116809116,
94143
+ "grad_norm": 0.18510808050632477,
94144
+ "learning_rate": 6.9919253409594155e-06,
94145
+ "loss": 0.671,
94146
+ "step": 13448
94147
+ },
94148
+ {
94149
+ "epoch": 15.317948717948719,
94150
+ "grad_norm": 0.20022939145565033,
94151
+ "learning_rate": 6.988693864868706e-06,
94152
+ "loss": 0.7407,
94153
+ "step": 13449
94154
+ },
94155
+ {
94156
+ "epoch": 15.31908831908832,
94157
+ "grad_norm": 0.22099626064300537,
94158
+ "learning_rate": 6.985463014360197e-06,
94159
+ "loss": 0.5132,
94160
+ "step": 13450
94161
+ },
94162
+ {
94163
+ "epoch": 15.32022792022792,
94164
+ "grad_norm": 0.1770186424255371,
94165
+ "learning_rate": 6.982232789546092e-06,
94166
+ "loss": 0.59,
94167
+ "step": 13451
94168
+ },
94169
+ {
94170
+ "epoch": 15.321367521367522,
94171
+ "grad_norm": 0.17203353345394135,
94172
+ "learning_rate": 6.979003190538588e-06,
94173
+ "loss": 0.8341,
94174
+ "step": 13452
94175
+ },
94176
+ {
94177
+ "epoch": 15.322507122507123,
94178
+ "grad_norm": 0.1846415251493454,
94179
+ "learning_rate": 6.975774217449865e-06,
94180
+ "loss": 0.6996,
94181
+ "step": 13453
94182
+ },
94183
+ {
94184
+ "epoch": 15.323646723646723,
94185
+ "grad_norm": 0.21757927536964417,
94186
+ "learning_rate": 6.972545870392075e-06,
94187
+ "loss": 0.5245,
94188
+ "step": 13454
94189
+ },
94190
+ {
94191
+ "epoch": 15.324786324786325,
94192
+ "grad_norm": 0.1696988046169281,
94193
+ "learning_rate": 6.969318149477336e-06,
94194
+ "loss": 0.5843,
94195
+ "step": 13455
94196
+ },
94197
+ {
94198
+ "epoch": 15.325925925925926,
94199
+ "grad_norm": 0.1950981318950653,
94200
+ "learning_rate": 6.966091054817764e-06,
94201
+ "loss": 0.8791,
94202
+ "step": 13456
94203
+ },
94204
+ {
94205
+ "epoch": 15.327065527065526,
94206
+ "grad_norm": 0.1883671134710312,
94207
+ "learning_rate": 6.962864586525439e-06,
94208
+ "loss": 0.7896,
94209
+ "step": 13457
94210
+ },
94211
+ {
94212
+ "epoch": 15.328205128205129,
94213
+ "grad_norm": 0.23657511174678802,
94214
+ "learning_rate": 6.959638744712432e-06,
94215
+ "loss": 0.5707,
94216
+ "step": 13458
94217
+ },
94218
+ {
94219
+ "epoch": 15.32934472934473,
94220
+ "grad_norm": 0.17644041776657104,
94221
+ "learning_rate": 6.956413529490782e-06,
94222
+ "loss": 0.6035,
94223
+ "step": 13459
94224
+ },
94225
+ {
94226
+ "epoch": 15.33048433048433,
94227
+ "grad_norm": 0.16345062851905823,
94228
+ "learning_rate": 6.953188940972511e-06,
94229
+ "loss": 0.7362,
94230
+ "step": 13460
94231
+ },
94232
+ {
94233
+ "epoch": 15.331623931623932,
94234
+ "grad_norm": 0.20905448496341705,
94235
+ "learning_rate": 6.949964979269616e-06,
94236
+ "loss": 0.7829,
94237
+ "step": 13461
94238
+ },
94239
+ {
94240
+ "epoch": 15.332763532763533,
94241
+ "grad_norm": 0.1936965137720108,
94242
+ "learning_rate": 6.946741644494084e-06,
94243
+ "loss": 0.6073,
94244
+ "step": 13462
94245
+ },
94246
+ {
94247
+ "epoch": 15.333903133903133,
94248
+ "grad_norm": 0.19706177711486816,
94249
+ "learning_rate": 6.94351893675785e-06,
94250
+ "loss": 0.8126,
94251
+ "step": 13463
94252
+ },
94253
+ {
94254
+ "epoch": 15.335042735042736,
94255
+ "grad_norm": 0.22282631695270538,
94256
+ "learning_rate": 6.940296856172862e-06,
94257
+ "loss": 0.4836,
94258
+ "step": 13464
94259
+ },
94260
+ {
94261
+ "epoch": 15.336182336182336,
94262
+ "grad_norm": 0.19140516221523285,
94263
+ "learning_rate": 6.937075402851029e-06,
94264
+ "loss": 0.7697,
94265
+ "step": 13465
94266
+ },
94267
+ {
94268
+ "epoch": 15.337321937321937,
94269
+ "grad_norm": 0.18049626052379608,
94270
+ "learning_rate": 6.933854576904248e-06,
94271
+ "loss": 0.8117,
94272
+ "step": 13466
94273
+ },
94274
+ {
94275
+ "epoch": 15.338461538461539,
94276
+ "grad_norm": 0.2209792137145996,
94277
+ "learning_rate": 6.93063437844437e-06,
94278
+ "loss": 0.718,
94279
+ "step": 13467
94280
+ },
94281
+ {
94282
+ "epoch": 15.33960113960114,
94283
+ "grad_norm": 0.16232642531394958,
94284
+ "learning_rate": 6.927414807583252e-06,
94285
+ "loss": 0.7753,
94286
+ "step": 13468
94287
+ },
94288
+ {
94289
+ "epoch": 15.34074074074074,
94290
+ "grad_norm": 0.17342950403690338,
94291
+ "learning_rate": 6.924195864432717e-06,
94292
+ "loss": 0.8164,
94293
+ "step": 13469
94294
+ },
94295
+ {
94296
+ "epoch": 15.341880341880342,
94297
+ "grad_norm": 0.1576143354177475,
94298
+ "learning_rate": 6.9209775491045705e-06,
94299
+ "loss": 0.638,
94300
+ "step": 13470
94301
+ },
94302
+ {
94303
+ "epoch": 15.343019943019943,
94304
+ "grad_norm": 0.21170037984848022,
94305
+ "learning_rate": 6.91775986171059e-06,
94306
+ "loss": 0.5737,
94307
+ "step": 13471
94308
+ },
94309
+ {
94310
+ "epoch": 15.344159544159544,
94311
+ "grad_norm": 0.21984083950519562,
94312
+ "learning_rate": 6.9145428023625365e-06,
94313
+ "loss": 0.6241,
94314
+ "step": 13472
94315
+ },
94316
+ {
94317
+ "epoch": 15.345299145299146,
94318
+ "grad_norm": 0.19216473400592804,
94319
+ "learning_rate": 6.911326371172153e-06,
94320
+ "loss": 0.5762,
94321
+ "step": 13473
94322
+ },
94323
+ {
94324
+ "epoch": 15.346438746438746,
94325
+ "grad_norm": 0.17950469255447388,
94326
+ "learning_rate": 6.908110568251141e-06,
94327
+ "loss": 0.7806,
94328
+ "step": 13474
94329
+ },
94330
+ {
94331
+ "epoch": 15.347578347578347,
94332
+ "grad_norm": 0.28059157729148865,
94333
+ "learning_rate": 6.904895393711203e-06,
94334
+ "loss": 0.5223,
94335
+ "step": 13475
94336
+ },
94337
+ {
94338
+ "epoch": 15.34871794871795,
94339
+ "grad_norm": 0.25041908025741577,
94340
+ "learning_rate": 6.901680847664008e-06,
94341
+ "loss": 0.5838,
94342
+ "step": 13476
94343
+ },
94344
+ {
94345
+ "epoch": 15.34985754985755,
94346
+ "grad_norm": 0.2188163548707962,
94347
+ "learning_rate": 6.898466930221217e-06,
94348
+ "loss": 0.5893,
94349
+ "step": 13477
94350
+ },
94351
+ {
94352
+ "epoch": 15.35099715099715,
94353
+ "grad_norm": 0.22686757147312164,
94354
+ "learning_rate": 6.89525364149444e-06,
94355
+ "loss": 0.8098,
94356
+ "step": 13478
94357
+ },
94358
+ {
94359
+ "epoch": 15.352136752136753,
94360
+ "grad_norm": 0.2084110975265503,
94361
+ "learning_rate": 6.892040981595294e-06,
94362
+ "loss": 0.5571,
94363
+ "step": 13479
94364
+ },
94365
+ {
94366
+ "epoch": 15.353276353276353,
94367
+ "grad_norm": 0.16481290757656097,
94368
+ "learning_rate": 6.88882895063536e-06,
94369
+ "loss": 0.7637,
94370
+ "step": 13480
94371
+ },
94372
+ {
94373
+ "epoch": 15.354415954415954,
94374
+ "grad_norm": 0.2415093630552292,
94375
+ "learning_rate": 6.885617548726203e-06,
94376
+ "loss": 0.4873,
94377
+ "step": 13481
94378
+ },
94379
+ {
94380
+ "epoch": 15.355555555555556,
94381
+ "grad_norm": 0.2453286200761795,
94382
+ "learning_rate": 6.882406775979363e-06,
94383
+ "loss": 0.4265,
94384
+ "step": 13482
94385
+ },
94386
+ {
94387
+ "epoch": 15.356695156695157,
94388
+ "grad_norm": 0.2449209839105606,
94389
+ "learning_rate": 6.87919663250636e-06,
94390
+ "loss": 0.5711,
94391
+ "step": 13483
94392
+ },
94393
+ {
94394
+ "epoch": 15.357834757834757,
94395
+ "grad_norm": 0.16910892724990845,
94396
+ "learning_rate": 6.875987118418698e-06,
94397
+ "loss": 0.8142,
94398
+ "step": 13484
94399
+ },
94400
+ {
94401
+ "epoch": 15.35897435897436,
94402
+ "grad_norm": 0.2112656682729721,
94403
+ "learning_rate": 6.8727782338278364e-06,
94404
+ "loss": 0.6616,
94405
+ "step": 13485
94406
+ },
94407
+ {
94408
+ "epoch": 15.36011396011396,
94409
+ "grad_norm": 0.23164135217666626,
94410
+ "learning_rate": 6.869569978845236e-06,
94411
+ "loss": 0.7478,
94412
+ "step": 13486
94413
+ },
94414
+ {
94415
+ "epoch": 15.36125356125356,
94416
+ "grad_norm": 0.23191292583942413,
94417
+ "learning_rate": 6.866362353582331e-06,
94418
+ "loss": 0.4085,
94419
+ "step": 13487
94420
+ },
94421
+ {
94422
+ "epoch": 15.362393162393163,
94423
+ "grad_norm": 0.1655510514974594,
94424
+ "learning_rate": 6.863155358150536e-06,
94425
+ "loss": 0.7969,
94426
+ "step": 13488
94427
+ },
94428
+ {
94429
+ "epoch": 15.363532763532763,
94430
+ "grad_norm": 0.26377928256988525,
94431
+ "learning_rate": 6.859948992661224e-06,
94432
+ "loss": 0.6692,
94433
+ "step": 13489
94434
+ },
94435
+ {
94436
+ "epoch": 15.364672364672364,
94437
+ "grad_norm": 0.20556597411632538,
94438
+ "learning_rate": 6.856743257225767e-06,
94439
+ "loss": 0.7595,
94440
+ "step": 13490
94441
+ },
94442
+ {
94443
+ "epoch": 15.365811965811966,
94444
+ "grad_norm": 0.2174561470746994,
94445
+ "learning_rate": 6.853538151955508e-06,
94446
+ "loss": 0.3178,
94447
+ "step": 13491
94448
+ },
94449
+ {
94450
+ "epoch": 15.366951566951567,
94451
+ "grad_norm": 0.16128693521022797,
94452
+ "learning_rate": 6.850333676961784e-06,
94453
+ "loss": 0.9294,
94454
+ "step": 13492
94455
+ },
94456
+ {
94457
+ "epoch": 15.368091168091167,
94458
+ "grad_norm": 0.2202058583498001,
94459
+ "learning_rate": 6.847129832355876e-06,
94460
+ "loss": 0.799,
94461
+ "step": 13493
94462
+ },
94463
+ {
94464
+ "epoch": 15.36923076923077,
94465
+ "grad_norm": 0.1866167187690735,
94466
+ "learning_rate": 6.843926618249069e-06,
94467
+ "loss": 0.7674,
94468
+ "step": 13494
94469
+ },
94470
+ {
94471
+ "epoch": 15.37037037037037,
94472
+ "grad_norm": 0.1961738020181656,
94473
+ "learning_rate": 6.840724034752621e-06,
94474
+ "loss": 0.6597,
94475
+ "step": 13495
94476
+ },
94477
+ {
94478
+ "epoch": 15.37150997150997,
94479
+ "grad_norm": 0.22003182768821716,
94480
+ "learning_rate": 6.837522081977771e-06,
94481
+ "loss": 0.5568,
94482
+ "step": 13496
94483
+ },
94484
+ {
94485
+ "epoch": 15.372649572649573,
94486
+ "grad_norm": 0.19237026572227478,
94487
+ "learning_rate": 6.83432076003572e-06,
94488
+ "loss": 0.7058,
94489
+ "step": 13497
94490
+ },
94491
+ {
94492
+ "epoch": 15.373789173789174,
94493
+ "grad_norm": 0.2223634421825409,
94494
+ "learning_rate": 6.831120069037666e-06,
94495
+ "loss": 0.579,
94496
+ "step": 13498
94497
+ },
94498
+ {
94499
+ "epoch": 15.374928774928774,
94500
+ "grad_norm": 0.19303710758686066,
94501
+ "learning_rate": 6.827920009094774e-06,
94502
+ "loss": 0.6463,
94503
+ "step": 13499
94504
+ },
94505
+ {
94506
+ "epoch": 15.376068376068377,
94507
+ "grad_norm": 0.23518739640712738,
94508
+ "learning_rate": 6.824720580318203e-06,
94509
+ "loss": 0.4935,
94510
+ "step": 13500
94511
  }
94512
  ],
94513
  "logging_steps": 1,
 
94527
  "attributes": {}
94528
  }
94529
  },
94530
+ "total_flos": 7.548157591547757e+19,
94531
  "train_batch_size": 8,
94532
  "trial_name": null,
94533
  "trial_params": null