shareit commited on
Commit
2c11fab
·
verified ·
1 Parent(s): 6d5f390

Training in progress, step 13800, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:15f08f8378aadab8b59db4f6adbc2b2825af3c71523ea74b65b22b376c782814
3
  size 340808816
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3aafb57b910d4cccd85ea24209a70be5b99344b88a9876d8830c026cbfc09984
3
  size 340808816
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3ec5322734300b03a7e2f43159639b13b792d99af4110f719aeff510f82e7236
3
  size 173247691
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:059f6f8429397406dface628a4284dcb8938551965f3c045168f79f5fba8d08b
3
  size 173247691
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:685522f72316a66965188607b4cfb56965263e003cfa06a3b49b287294bac146
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7e55996a4913dc987fc027e04b41b6008152cac112575a6ab3bd719b08b3ee43
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
- "epoch": 15.376068376068377,
6
  "eval_steps": 500,
7
- "global_step": 13500,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -94508,6 +94508,2106 @@
94508
  "learning_rate": 6.824720580318203e-06,
94509
  "loss": 0.4935,
94510
  "step": 13500
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
94511
  }
94512
  ],
94513
  "logging_steps": 1,
@@ -94527,7 +96627,7 @@
94527
  "attributes": {}
94528
  }
94529
  },
94530
- "total_flos": 7.548157591547757e+19,
94531
  "train_batch_size": 8,
94532
  "trial_name": null,
94533
  "trial_params": null
 
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
+ "epoch": 15.717948717948717,
6
  "eval_steps": 500,
7
+ "global_step": 13800,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
94508
  "learning_rate": 6.824720580318203e-06,
94509
  "loss": 0.4935,
94510
  "step": 13500
94511
+ },
94512
+ {
94513
+ "epoch": 15.377207977207977,
94514
+ "grad_norm": 0.2545756995677948,
94515
+ "learning_rate": 6.82152178281906e-06,
94516
+ "loss": 0.5802,
94517
+ "step": 13501
94518
+ },
94519
+ {
94520
+ "epoch": 15.378347578347578,
94521
+ "grad_norm": 0.18533293902873993,
94522
+ "learning_rate": 6.81832361670845e-06,
94523
+ "loss": 0.8319,
94524
+ "step": 13502
94525
+ },
94526
+ {
94527
+ "epoch": 15.37948717948718,
94528
+ "grad_norm": 0.17357389628887177,
94529
+ "learning_rate": 6.8151260820974754e-06,
94530
+ "loss": 0.6984,
94531
+ "step": 13503
94532
+ },
94533
+ {
94534
+ "epoch": 15.38062678062678,
94535
+ "grad_norm": 0.21384303271770477,
94536
+ "learning_rate": 6.811929179097173e-06,
94537
+ "loss": 0.6616,
94538
+ "step": 13504
94539
+ },
94540
+ {
94541
+ "epoch": 15.381766381766381,
94542
+ "grad_norm": 0.16954922676086426,
94543
+ "learning_rate": 6.808732907818585e-06,
94544
+ "loss": 0.6801,
94545
+ "step": 13505
94546
+ },
94547
+ {
94548
+ "epoch": 15.382905982905983,
94549
+ "grad_norm": 0.19935904443264008,
94550
+ "learning_rate": 6.805537268372733e-06,
94551
+ "loss": 0.5464,
94552
+ "step": 13506
94553
+ },
94554
+ {
94555
+ "epoch": 15.384045584045584,
94556
+ "grad_norm": 0.22920085489749908,
94557
+ "learning_rate": 6.8023422608706114e-06,
94558
+ "loss": 0.6909,
94559
+ "step": 13507
94560
+ },
94561
+ {
94562
+ "epoch": 15.385185185185184,
94563
+ "grad_norm": 0.17728930711746216,
94564
+ "learning_rate": 6.7991478854231825e-06,
94565
+ "loss": 0.7678,
94566
+ "step": 13508
94567
+ },
94568
+ {
94569
+ "epoch": 15.386324786324787,
94570
+ "grad_norm": 0.2285919189453125,
94571
+ "learning_rate": 6.7959541421413974e-06,
94572
+ "loss": 0.6241,
94573
+ "step": 13509
94574
+ },
94575
+ {
94576
+ "epoch": 15.387464387464387,
94577
+ "grad_norm": 0.2507666349411011,
94578
+ "learning_rate": 6.792761031136189e-06,
94579
+ "loss": 0.4517,
94580
+ "step": 13510
94581
+ },
94582
+ {
94583
+ "epoch": 15.388603988603988,
94584
+ "grad_norm": 0.2384263277053833,
94585
+ "learning_rate": 6.789568552518463e-06,
94586
+ "loss": 0.5156,
94587
+ "step": 13511
94588
+ },
94589
+ {
94590
+ "epoch": 15.38974358974359,
94591
+ "grad_norm": 0.1914670169353485,
94592
+ "learning_rate": 6.786376706399097e-06,
94593
+ "loss": 0.6855,
94594
+ "step": 13512
94595
+ },
94596
+ {
94597
+ "epoch": 15.39088319088319,
94598
+ "grad_norm": 0.18924571573734283,
94599
+ "learning_rate": 6.783185492888947e-06,
94600
+ "loss": 0.5981,
94601
+ "step": 13513
94602
+ },
94603
+ {
94604
+ "epoch": 15.392022792022791,
94605
+ "grad_norm": 0.19691336154937744,
94606
+ "learning_rate": 6.779994912098875e-06,
94607
+ "loss": 0.657,
94608
+ "step": 13514
94609
+ },
94610
+ {
94611
+ "epoch": 15.393162393162394,
94612
+ "grad_norm": 0.17275047302246094,
94613
+ "learning_rate": 6.776804964139677e-06,
94614
+ "loss": 0.8592,
94615
+ "step": 13515
94616
+ },
94617
+ {
94618
+ "epoch": 15.394301994301994,
94619
+ "grad_norm": 0.22531549632549286,
94620
+ "learning_rate": 6.773615649122158e-06,
94621
+ "loss": 0.6171,
94622
+ "step": 13516
94623
+ },
94624
+ {
94625
+ "epoch": 15.395441595441595,
94626
+ "grad_norm": 0.18528665602207184,
94627
+ "learning_rate": 6.7704269671570896e-06,
94628
+ "loss": 0.6811,
94629
+ "step": 13517
94630
+ },
94631
+ {
94632
+ "epoch": 15.396581196581197,
94633
+ "grad_norm": 0.16656826436519623,
94634
+ "learning_rate": 6.767238918355231e-06,
94635
+ "loss": 0.6328,
94636
+ "step": 13518
94637
+ },
94638
+ {
94639
+ "epoch": 15.397720797720797,
94640
+ "grad_norm": 0.20518410205841064,
94641
+ "learning_rate": 6.7640515028272986e-06,
94642
+ "loss": 0.4002,
94643
+ "step": 13519
94644
+ },
94645
+ {
94646
+ "epoch": 15.398860398860398,
94647
+ "grad_norm": 0.19122925400733948,
94648
+ "learning_rate": 6.760864720684007e-06,
94649
+ "loss": 0.7034,
94650
+ "step": 13520
94651
+ },
94652
+ {
94653
+ "epoch": 15.4,
94654
+ "grad_norm": 0.24097371101379395,
94655
+ "learning_rate": 6.7576785720360416e-06,
94656
+ "loss": 0.6354,
94657
+ "step": 13521
94658
+ },
94659
+ {
94660
+ "epoch": 15.401139601139601,
94661
+ "grad_norm": 0.23148728907108307,
94662
+ "learning_rate": 6.754493056994072e-06,
94663
+ "loss": 0.7375,
94664
+ "step": 13522
94665
+ },
94666
+ {
94667
+ "epoch": 15.402279202279201,
94668
+ "grad_norm": 0.16283705830574036,
94669
+ "learning_rate": 6.751308175668727e-06,
94670
+ "loss": 0.7969,
94671
+ "step": 13523
94672
+ },
94673
+ {
94674
+ "epoch": 15.403418803418804,
94675
+ "grad_norm": 0.24585258960723877,
94676
+ "learning_rate": 6.748123928170627e-06,
94677
+ "loss": 0.5324,
94678
+ "step": 13524
94679
+ },
94680
+ {
94681
+ "epoch": 15.404558404558404,
94682
+ "grad_norm": 0.2425752878189087,
94683
+ "learning_rate": 6.744940314610387e-06,
94684
+ "loss": 0.5958,
94685
+ "step": 13525
94686
+ },
94687
+ {
94688
+ "epoch": 15.405698005698005,
94689
+ "grad_norm": 0.17162194848060608,
94690
+ "learning_rate": 6.741757335098567e-06,
94691
+ "loss": 0.6547,
94692
+ "step": 13526
94693
+ },
94694
+ {
94695
+ "epoch": 15.406837606837607,
94696
+ "grad_norm": 0.18037395179271698,
94697
+ "learning_rate": 6.738574989745724e-06,
94698
+ "loss": 0.8093,
94699
+ "step": 13527
94700
+ },
94701
+ {
94702
+ "epoch": 15.407977207977208,
94703
+ "grad_norm": 0.22981791198253632,
94704
+ "learning_rate": 6.7353932786623945e-06,
94705
+ "loss": 0.7284,
94706
+ "step": 13528
94707
+ },
94708
+ {
94709
+ "epoch": 15.40911680911681,
94710
+ "grad_norm": 0.23959402740001678,
94711
+ "learning_rate": 6.732212201959087e-06,
94712
+ "loss": 0.3635,
94713
+ "step": 13529
94714
+ },
94715
+ {
94716
+ "epoch": 15.41025641025641,
94717
+ "grad_norm": 0.2161649465560913,
94718
+ "learning_rate": 6.729031759746282e-06,
94719
+ "loss": 0.5876,
94720
+ "step": 13530
94721
+ },
94722
+ {
94723
+ "epoch": 15.411396011396011,
94724
+ "grad_norm": 0.21092326939105988,
94725
+ "learning_rate": 6.725851952134446e-06,
94726
+ "loss": 0.7228,
94727
+ "step": 13531
94728
+ },
94729
+ {
94730
+ "epoch": 15.412535612535613,
94731
+ "grad_norm": 0.21590463817119598,
94732
+ "learning_rate": 6.72267277923403e-06,
94733
+ "loss": 0.6601,
94734
+ "step": 13532
94735
+ },
94736
+ {
94737
+ "epoch": 15.413675213675214,
94738
+ "grad_norm": 0.22229517996311188,
94739
+ "learning_rate": 6.7194942411554555e-06,
94740
+ "loss": 0.547,
94741
+ "step": 13533
94742
+ },
94743
+ {
94744
+ "epoch": 15.414814814814815,
94745
+ "grad_norm": 0.21258416771888733,
94746
+ "learning_rate": 6.71631633800911e-06,
94747
+ "loss": 0.7539,
94748
+ "step": 13534
94749
+ },
94750
+ {
94751
+ "epoch": 15.415954415954417,
94752
+ "grad_norm": 0.15924860537052155,
94753
+ "learning_rate": 6.713139069905372e-06,
94754
+ "loss": 0.7066,
94755
+ "step": 13535
94756
+ },
94757
+ {
94758
+ "epoch": 15.417094017094017,
94759
+ "grad_norm": 0.16245602071285248,
94760
+ "learning_rate": 6.709962436954612e-06,
94761
+ "loss": 0.6911,
94762
+ "step": 13536
94763
+ },
94764
+ {
94765
+ "epoch": 15.418233618233618,
94766
+ "grad_norm": 0.18839913606643677,
94767
+ "learning_rate": 6.70678643926716e-06,
94768
+ "loss": 0.6721,
94769
+ "step": 13537
94770
+ },
94771
+ {
94772
+ "epoch": 15.41937321937322,
94773
+ "grad_norm": 0.19004669785499573,
94774
+ "learning_rate": 6.703611076953315e-06,
94775
+ "loss": 0.7099,
94776
+ "step": 13538
94777
+ },
94778
+ {
94779
+ "epoch": 15.42051282051282,
94780
+ "grad_norm": 0.23223291337490082,
94781
+ "learning_rate": 6.7004363501233705e-06,
94782
+ "loss": 0.5233,
94783
+ "step": 13539
94784
+ },
94785
+ {
94786
+ "epoch": 15.421652421652421,
94787
+ "grad_norm": 0.18488751351833344,
94788
+ "learning_rate": 6.697262258887596e-06,
94789
+ "loss": 0.7661,
94790
+ "step": 13540
94791
+ },
94792
+ {
94793
+ "epoch": 15.422792022792024,
94794
+ "grad_norm": 0.1790686845779419,
94795
+ "learning_rate": 6.694088803356247e-06,
94796
+ "loss": 0.8949,
94797
+ "step": 13541
94798
+ },
94799
+ {
94800
+ "epoch": 15.423931623931624,
94801
+ "grad_norm": 0.20640535652637482,
94802
+ "learning_rate": 6.690915983639523e-06,
94803
+ "loss": 0.7,
94804
+ "step": 13542
94805
+ },
94806
+ {
94807
+ "epoch": 15.425071225071225,
94808
+ "grad_norm": 0.2872496545314789,
94809
+ "learning_rate": 6.68774379984764e-06,
94810
+ "loss": 0.4593,
94811
+ "step": 13543
94812
+ },
94813
+ {
94814
+ "epoch": 15.426210826210827,
94815
+ "grad_norm": 0.20648087561130524,
94816
+ "learning_rate": 6.684572252090773e-06,
94817
+ "loss": 0.5741,
94818
+ "step": 13544
94819
+ },
94820
+ {
94821
+ "epoch": 15.427350427350428,
94822
+ "grad_norm": 0.16248594224452972,
94823
+ "learning_rate": 6.681401340479087e-06,
94824
+ "loss": 0.9091,
94825
+ "step": 13545
94826
+ },
94827
+ {
94828
+ "epoch": 15.428490028490028,
94829
+ "grad_norm": 0.23793335258960724,
94830
+ "learning_rate": 6.678231065122695e-06,
94831
+ "loss": 0.501,
94832
+ "step": 13546
94833
+ },
94834
+ {
94835
+ "epoch": 15.42962962962963,
94836
+ "grad_norm": 0.1887454092502594,
94837
+ "learning_rate": 6.675061426131729e-06,
94838
+ "loss": 0.4776,
94839
+ "step": 13547
94840
+ },
94841
+ {
94842
+ "epoch": 15.430769230769231,
94843
+ "grad_norm": 0.20787455141544342,
94844
+ "learning_rate": 6.67189242361628e-06,
94845
+ "loss": 0.7284,
94846
+ "step": 13548
94847
+ },
94848
+ {
94849
+ "epoch": 15.431908831908832,
94850
+ "grad_norm": 0.16973797976970673,
94851
+ "learning_rate": 6.668724057686404e-06,
94852
+ "loss": 0.6371,
94853
+ "step": 13549
94854
+ },
94855
+ {
94856
+ "epoch": 15.433048433048434,
94857
+ "grad_norm": 0.209912970662117,
94858
+ "learning_rate": 6.665556328452152e-06,
94859
+ "loss": 0.7062,
94860
+ "step": 13550
94861
+ },
94862
+ {
94863
+ "epoch": 15.434188034188034,
94864
+ "grad_norm": 0.21412673592567444,
94865
+ "learning_rate": 6.66238923602355e-06,
94866
+ "loss": 0.6927,
94867
+ "step": 13551
94868
+ },
94869
+ {
94870
+ "epoch": 15.435327635327635,
94871
+ "grad_norm": 0.18775635957717896,
94872
+ "learning_rate": 6.659222780510605e-06,
94873
+ "loss": 0.4888,
94874
+ "step": 13552
94875
+ },
94876
+ {
94877
+ "epoch": 15.436467236467237,
94878
+ "grad_norm": 0.19604071974754333,
94879
+ "learning_rate": 6.65605696202328e-06,
94880
+ "loss": 0.7704,
94881
+ "step": 13553
94882
+ },
94883
+ {
94884
+ "epoch": 15.437606837606838,
94885
+ "grad_norm": 0.17671994864940643,
94886
+ "learning_rate": 6.652891780671547e-06,
94887
+ "loss": 0.6545,
94888
+ "step": 13554
94889
+ },
94890
+ {
94891
+ "epoch": 15.438746438746438,
94892
+ "grad_norm": 0.2810894548892975,
94893
+ "learning_rate": 6.649727236565334e-06,
94894
+ "loss": 0.6377,
94895
+ "step": 13555
94896
+ },
94897
+ {
94898
+ "epoch": 15.43988603988604,
94899
+ "grad_norm": 0.19777388870716095,
94900
+ "learning_rate": 6.646563329814567e-06,
94901
+ "loss": 0.7028,
94902
+ "step": 13556
94903
+ },
94904
+ {
94905
+ "epoch": 15.441025641025641,
94906
+ "grad_norm": 0.1773541122674942,
94907
+ "learning_rate": 6.643400060529112e-06,
94908
+ "loss": 0.7958,
94909
+ "step": 13557
94910
+ },
94911
+ {
94912
+ "epoch": 15.442165242165242,
94913
+ "grad_norm": 0.2325608879327774,
94914
+ "learning_rate": 6.64023742881886e-06,
94915
+ "loss": 0.8598,
94916
+ "step": 13558
94917
+ },
94918
+ {
94919
+ "epoch": 15.443304843304844,
94920
+ "grad_norm": 0.21778924763202667,
94921
+ "learning_rate": 6.6370754347936605e-06,
94922
+ "loss": 0.6885,
94923
+ "step": 13559
94924
+ },
94925
+ {
94926
+ "epoch": 15.444444444444445,
94927
+ "grad_norm": 0.20094701647758484,
94928
+ "learning_rate": 6.6339140785633215e-06,
94929
+ "loss": 0.6292,
94930
+ "step": 13560
94931
+ },
94932
+ {
94933
+ "epoch": 15.445584045584045,
94934
+ "grad_norm": 0.1571194976568222,
94935
+ "learning_rate": 6.630753360237654e-06,
94936
+ "loss": 0.7107,
94937
+ "step": 13561
94938
+ },
94939
+ {
94940
+ "epoch": 15.446723646723648,
94941
+ "grad_norm": 0.226139634847641,
94942
+ "learning_rate": 6.627593279926439e-06,
94943
+ "loss": 0.4293,
94944
+ "step": 13562
94945
+ },
94946
+ {
94947
+ "epoch": 15.447863247863248,
94948
+ "grad_norm": 0.2584592401981354,
94949
+ "learning_rate": 6.624433837739438e-06,
94950
+ "loss": 0.5004,
94951
+ "step": 13563
94952
+ },
94953
+ {
94954
+ "epoch": 15.449002849002849,
94955
+ "grad_norm": 0.22435049712657928,
94956
+ "learning_rate": 6.621275033786379e-06,
94957
+ "loss": 0.6862,
94958
+ "step": 13564
94959
+ },
94960
+ {
94961
+ "epoch": 15.450142450142451,
94962
+ "grad_norm": 0.17067396640777588,
94963
+ "learning_rate": 6.6181168681769765e-06,
94964
+ "loss": 0.7152,
94965
+ "step": 13565
94966
+ },
94967
+ {
94968
+ "epoch": 15.451282051282051,
94969
+ "grad_norm": 0.15705978870391846,
94970
+ "learning_rate": 6.614959341020929e-06,
94971
+ "loss": 0.9746,
94972
+ "step": 13566
94973
+ },
94974
+ {
94975
+ "epoch": 15.452421652421652,
94976
+ "grad_norm": 0.24600954353809357,
94977
+ "learning_rate": 6.611802452427907e-06,
94978
+ "loss": 0.7185,
94979
+ "step": 13567
94980
+ },
94981
+ {
94982
+ "epoch": 15.453561253561254,
94983
+ "grad_norm": 0.18077035248279572,
94984
+ "learning_rate": 6.60864620250754e-06,
94985
+ "loss": 0.5957,
94986
+ "step": 13568
94987
+ },
94988
+ {
94989
+ "epoch": 15.454700854700855,
94990
+ "grad_norm": 0.23606523871421814,
94991
+ "learning_rate": 6.605490591369473e-06,
94992
+ "loss": 0.6958,
94993
+ "step": 13569
94994
+ },
94995
+ {
94996
+ "epoch": 15.455840455840455,
94997
+ "grad_norm": 0.25060296058654785,
94998
+ "learning_rate": 6.602335619123312e-06,
94999
+ "loss": 0.6264,
95000
+ "step": 13570
95001
+ },
95002
+ {
95003
+ "epoch": 15.456980056980058,
95004
+ "grad_norm": 0.19400660693645477,
95005
+ "learning_rate": 6.599181285878622e-06,
95006
+ "loss": 0.7568,
95007
+ "step": 13571
95008
+ },
95009
+ {
95010
+ "epoch": 15.458119658119658,
95011
+ "grad_norm": 0.2130562663078308,
95012
+ "learning_rate": 6.596027591744966e-06,
95013
+ "loss": 0.5687,
95014
+ "step": 13572
95015
+ },
95016
+ {
95017
+ "epoch": 15.459259259259259,
95018
+ "grad_norm": 0.29239821434020996,
95019
+ "learning_rate": 6.592874536831884e-06,
95020
+ "loss": 0.6646,
95021
+ "step": 13573
95022
+ },
95023
+ {
95024
+ "epoch": 15.460398860398861,
95025
+ "grad_norm": 0.23149274289608002,
95026
+ "learning_rate": 6.5897221212488895e-06,
95027
+ "loss": 0.7832,
95028
+ "step": 13574
95029
+ },
95030
+ {
95031
+ "epoch": 15.461538461538462,
95032
+ "grad_norm": 0.16438227891921997,
95033
+ "learning_rate": 6.58657034510548e-06,
95034
+ "loss": 0.7924,
95035
+ "step": 13575
95036
+ },
95037
+ {
95038
+ "epoch": 15.462678062678062,
95039
+ "grad_norm": 0.2602296471595764,
95040
+ "learning_rate": 6.583419208511113e-06,
95041
+ "loss": 0.3983,
95042
+ "step": 13576
95043
+ },
95044
+ {
95045
+ "epoch": 15.463817663817665,
95046
+ "grad_norm": 0.18291400372982025,
95047
+ "learning_rate": 6.580268711575244e-06,
95048
+ "loss": 0.9553,
95049
+ "step": 13577
95050
+ },
95051
+ {
95052
+ "epoch": 15.464957264957265,
95053
+ "grad_norm": 0.18735671043395996,
95054
+ "learning_rate": 6.577118854407297e-06,
95055
+ "loss": 0.7603,
95056
+ "step": 13578
95057
+ },
95058
+ {
95059
+ "epoch": 15.466096866096866,
95060
+ "grad_norm": 0.2598130404949188,
95061
+ "learning_rate": 6.573969637116673e-06,
95062
+ "loss": 0.7535,
95063
+ "step": 13579
95064
+ },
95065
+ {
95066
+ "epoch": 15.467236467236468,
95067
+ "grad_norm": 0.20607733726501465,
95068
+ "learning_rate": 6.570821059812757e-06,
95069
+ "loss": 0.7439,
95070
+ "step": 13580
95071
+ },
95072
+ {
95073
+ "epoch": 15.468376068376068,
95074
+ "grad_norm": 0.2689054310321808,
95075
+ "learning_rate": 6.5676731226049056e-06,
95076
+ "loss": 0.5412,
95077
+ "step": 13581
95078
+ },
95079
+ {
95080
+ "epoch": 15.469515669515669,
95081
+ "grad_norm": 0.18888936936855316,
95082
+ "learning_rate": 6.564525825602464e-06,
95083
+ "loss": 0.7777,
95084
+ "step": 13582
95085
+ },
95086
+ {
95087
+ "epoch": 15.470655270655271,
95088
+ "grad_norm": 0.25411272048950195,
95089
+ "learning_rate": 6.561379168914731e-06,
95090
+ "loss": 0.4327,
95091
+ "step": 13583
95092
+ },
95093
+ {
95094
+ "epoch": 15.471794871794872,
95095
+ "grad_norm": 0.15883229672908783,
95096
+ "learning_rate": 6.5582331526510026e-06,
95097
+ "loss": 0.5527,
95098
+ "step": 13584
95099
+ },
95100
+ {
95101
+ "epoch": 15.472934472934472,
95102
+ "grad_norm": 0.2070358544588089,
95103
+ "learning_rate": 6.555087776920554e-06,
95104
+ "loss": 0.7144,
95105
+ "step": 13585
95106
+ },
95107
+ {
95108
+ "epoch": 15.474074074074075,
95109
+ "grad_norm": 0.20985698699951172,
95110
+ "learning_rate": 6.55194304183264e-06,
95111
+ "loss": 0.7495,
95112
+ "step": 13586
95113
+ },
95114
+ {
95115
+ "epoch": 15.475213675213675,
95116
+ "grad_norm": 0.23107481002807617,
95117
+ "learning_rate": 6.548798947496465e-06,
95118
+ "loss": 0.6298,
95119
+ "step": 13587
95120
+ },
95121
+ {
95122
+ "epoch": 15.476353276353276,
95123
+ "grad_norm": 0.18231339752674103,
95124
+ "learning_rate": 6.5456554940212465e-06,
95125
+ "loss": 0.7531,
95126
+ "step": 13588
95127
+ },
95128
+ {
95129
+ "epoch": 15.477492877492878,
95130
+ "grad_norm": 0.17274364829063416,
95131
+ "learning_rate": 6.542512681516161e-06,
95132
+ "loss": 0.7785,
95133
+ "step": 13589
95134
+ },
95135
+ {
95136
+ "epoch": 15.478632478632479,
95137
+ "grad_norm": 0.21576517820358276,
95138
+ "learning_rate": 6.53937051009037e-06,
95139
+ "loss": 0.9112,
95140
+ "step": 13590
95141
+ },
95142
+ {
95143
+ "epoch": 15.47977207977208,
95144
+ "grad_norm": 0.20775271952152252,
95145
+ "learning_rate": 6.536228979853007e-06,
95146
+ "loss": 0.8234,
95147
+ "step": 13591
95148
+ },
95149
+ {
95150
+ "epoch": 15.480911680911682,
95151
+ "grad_norm": 0.2606852650642395,
95152
+ "learning_rate": 6.533088090913186e-06,
95153
+ "loss": 0.4991,
95154
+ "step": 13592
95155
+ },
95156
+ {
95157
+ "epoch": 15.482051282051282,
95158
+ "grad_norm": 0.17941322922706604,
95159
+ "learning_rate": 6.52994784338001e-06,
95160
+ "loss": 0.6829,
95161
+ "step": 13593
95162
+ },
95163
+ {
95164
+ "epoch": 15.483190883190883,
95165
+ "grad_norm": 0.1975211352109909,
95166
+ "learning_rate": 6.526808237362528e-06,
95167
+ "loss": 0.4983,
95168
+ "step": 13594
95169
+ },
95170
+ {
95171
+ "epoch": 15.484330484330485,
95172
+ "grad_norm": 0.2171153724193573,
95173
+ "learning_rate": 6.523669272969799e-06,
95174
+ "loss": 0.6357,
95175
+ "step": 13595
95176
+ },
95177
+ {
95178
+ "epoch": 15.485470085470086,
95179
+ "grad_norm": 0.2066015899181366,
95180
+ "learning_rate": 6.520530950310846e-06,
95181
+ "loss": 0.6761,
95182
+ "step": 13596
95183
+ },
95184
+ {
95185
+ "epoch": 15.486609686609686,
95186
+ "grad_norm": 0.24421249330043793,
95187
+ "learning_rate": 6.517393269494679e-06,
95188
+ "loss": 0.67,
95189
+ "step": 13597
95190
+ },
95191
+ {
95192
+ "epoch": 15.487749287749288,
95193
+ "grad_norm": 0.18982775509357452,
95194
+ "learning_rate": 6.514256230630264e-06,
95195
+ "loss": 0.6891,
95196
+ "step": 13598
95197
+ },
95198
+ {
95199
+ "epoch": 15.488888888888889,
95200
+ "grad_norm": 0.2217584252357483,
95201
+ "learning_rate": 6.511119833826567e-06,
95202
+ "loss": 0.5141,
95203
+ "step": 13599
95204
+ },
95205
+ {
95206
+ "epoch": 15.49002849002849,
95207
+ "grad_norm": 0.19728122651576996,
95208
+ "learning_rate": 6.507984079192523e-06,
95209
+ "loss": 0.7819,
95210
+ "step": 13600
95211
+ },
95212
+ {
95213
+ "epoch": 15.491168091168092,
95214
+ "grad_norm": 0.20434993505477905,
95215
+ "learning_rate": 6.504848966837043e-06,
95216
+ "loss": 0.7104,
95217
+ "step": 13601
95218
+ },
95219
+ {
95220
+ "epoch": 15.492307692307692,
95221
+ "grad_norm": 0.2107301652431488,
95222
+ "learning_rate": 6.501714496869021e-06,
95223
+ "loss": 0.8561,
95224
+ "step": 13602
95225
+ },
95226
+ {
95227
+ "epoch": 15.493447293447293,
95228
+ "grad_norm": 0.17963461577892303,
95229
+ "learning_rate": 6.498580669397325e-06,
95230
+ "loss": 0.8131,
95231
+ "step": 13603
95232
+ },
95233
+ {
95234
+ "epoch": 15.494586894586895,
95235
+ "grad_norm": 0.19163499772548676,
95236
+ "learning_rate": 6.495447484530809e-06,
95237
+ "loss": 0.5698,
95238
+ "step": 13604
95239
+ },
95240
+ {
95241
+ "epoch": 15.495726495726496,
95242
+ "grad_norm": 0.1939983367919922,
95243
+ "learning_rate": 6.492314942378283e-06,
95244
+ "loss": 0.8806,
95245
+ "step": 13605
95246
+ },
95247
+ {
95248
+ "epoch": 15.496866096866096,
95249
+ "grad_norm": 0.21192686259746552,
95250
+ "learning_rate": 6.489183043048552e-06,
95251
+ "loss": 0.6066,
95252
+ "step": 13606
95253
+ },
95254
+ {
95255
+ "epoch": 15.498005698005699,
95256
+ "grad_norm": 0.15550144016742706,
95257
+ "learning_rate": 6.486051786650402e-06,
95258
+ "loss": 0.6037,
95259
+ "step": 13607
95260
+ },
95261
+ {
95262
+ "epoch": 15.4991452991453,
95263
+ "grad_norm": 0.19832514226436615,
95264
+ "learning_rate": 6.482921173292595e-06,
95265
+ "loss": 0.6994,
95266
+ "step": 13608
95267
+ },
95268
+ {
95269
+ "epoch": 15.5002849002849,
95270
+ "grad_norm": 0.21604904532432556,
95271
+ "learning_rate": 6.479791203083848e-06,
95272
+ "loss": 0.7685,
95273
+ "step": 13609
95274
+ },
95275
+ {
95276
+ "epoch": 15.501424501424502,
95277
+ "grad_norm": 0.21722885966300964,
95278
+ "learning_rate": 6.476661876132886e-06,
95279
+ "loss": 0.7895,
95280
+ "step": 13610
95281
+ },
95282
+ {
95283
+ "epoch": 15.502564102564103,
95284
+ "grad_norm": 0.2538605034351349,
95285
+ "learning_rate": 6.473533192548395e-06,
95286
+ "loss": 0.4011,
95287
+ "step": 13611
95288
+ },
95289
+ {
95290
+ "epoch": 15.503703703703703,
95291
+ "grad_norm": 0.22261404991149902,
95292
+ "learning_rate": 6.470405152439043e-06,
95293
+ "loss": 0.6813,
95294
+ "step": 13612
95295
+ },
95296
+ {
95297
+ "epoch": 15.504843304843305,
95298
+ "grad_norm": 0.18874602019786835,
95299
+ "learning_rate": 6.467277755913478e-06,
95300
+ "loss": 0.5311,
95301
+ "step": 13613
95302
+ },
95303
+ {
95304
+ "epoch": 15.505982905982906,
95305
+ "grad_norm": 0.24819247424602509,
95306
+ "learning_rate": 6.464151003080321e-06,
95307
+ "loss": 0.5075,
95308
+ "step": 13614
95309
+ },
95310
+ {
95311
+ "epoch": 15.507122507122507,
95312
+ "grad_norm": 0.1872682273387909,
95313
+ "learning_rate": 6.461024894048176e-06,
95314
+ "loss": 0.656,
95315
+ "step": 13615
95316
+ },
95317
+ {
95318
+ "epoch": 15.508262108262109,
95319
+ "grad_norm": 0.19362613558769226,
95320
+ "learning_rate": 6.457899428925624e-06,
95321
+ "loss": 0.7423,
95322
+ "step": 13616
95323
+ },
95324
+ {
95325
+ "epoch": 15.50940170940171,
95326
+ "grad_norm": 0.20935077965259552,
95327
+ "learning_rate": 6.454774607821206e-06,
95328
+ "loss": 0.67,
95329
+ "step": 13617
95330
+ },
95331
+ {
95332
+ "epoch": 15.51054131054131,
95333
+ "grad_norm": 0.15607993304729462,
95334
+ "learning_rate": 6.45165043084347e-06,
95335
+ "loss": 0.7793,
95336
+ "step": 13618
95337
+ },
95338
+ {
95339
+ "epoch": 15.511680911680912,
95340
+ "grad_norm": 0.23192988336086273,
95341
+ "learning_rate": 6.448526898100921e-06,
95342
+ "loss": 0.8127,
95343
+ "step": 13619
95344
+ },
95345
+ {
95346
+ "epoch": 15.512820512820513,
95347
+ "grad_norm": 0.215484619140625,
95348
+ "learning_rate": 6.445404009702055e-06,
95349
+ "loss": 0.7282,
95350
+ "step": 13620
95351
+ },
95352
+ {
95353
+ "epoch": 15.513960113960113,
95354
+ "grad_norm": 0.18776561319828033,
95355
+ "learning_rate": 6.442281765755329e-06,
95356
+ "loss": 0.6589,
95357
+ "step": 13621
95358
+ },
95359
+ {
95360
+ "epoch": 15.515099715099716,
95361
+ "grad_norm": 0.24401643872261047,
95362
+ "learning_rate": 6.43916016636919e-06,
95363
+ "loss": 0.3575,
95364
+ "step": 13622
95365
+ },
95366
+ {
95367
+ "epoch": 15.516239316239316,
95368
+ "grad_norm": 0.18532097339630127,
95369
+ "learning_rate": 6.4360392116520594e-06,
95370
+ "loss": 0.8261,
95371
+ "step": 13623
95372
+ },
95373
+ {
95374
+ "epoch": 15.517378917378917,
95375
+ "grad_norm": 0.24294257164001465,
95376
+ "learning_rate": 6.43291890171234e-06,
95377
+ "loss": 0.7725,
95378
+ "step": 13624
95379
+ },
95380
+ {
95381
+ "epoch": 15.518518518518519,
95382
+ "grad_norm": 0.16897542774677277,
95383
+ "learning_rate": 6.429799236658404e-06,
95384
+ "loss": 0.8488,
95385
+ "step": 13625
95386
+ },
95387
+ {
95388
+ "epoch": 15.51965811965812,
95389
+ "grad_norm": 0.22571931779384613,
95390
+ "learning_rate": 6.426680216598613e-06,
95391
+ "loss": 0.5263,
95392
+ "step": 13626
95393
+ },
95394
+ {
95395
+ "epoch": 15.52079772079772,
95396
+ "grad_norm": 0.18616579473018646,
95397
+ "learning_rate": 6.4235618416412986e-06,
95398
+ "loss": 0.5997,
95399
+ "step": 13627
95400
+ },
95401
+ {
95402
+ "epoch": 15.521937321937322,
95403
+ "grad_norm": 0.1776077151298523,
95404
+ "learning_rate": 6.420444111894761e-06,
95405
+ "loss": 0.5849,
95406
+ "step": 13628
95407
+ },
95408
+ {
95409
+ "epoch": 15.523076923076923,
95410
+ "grad_norm": 0.17871063947677612,
95411
+ "learning_rate": 6.417327027467293e-06,
95412
+ "loss": 0.6076,
95413
+ "step": 13629
95414
+ },
95415
+ {
95416
+ "epoch": 15.524216524216524,
95417
+ "grad_norm": 0.203303724527359,
95418
+ "learning_rate": 6.414210588467162e-06,
95419
+ "loss": 0.6325,
95420
+ "step": 13630
95421
+ },
95422
+ {
95423
+ "epoch": 15.525356125356126,
95424
+ "grad_norm": 0.17372427880764008,
95425
+ "learning_rate": 6.411094795002612e-06,
95426
+ "loss": 0.8,
95427
+ "step": 13631
95428
+ },
95429
+ {
95430
+ "epoch": 15.526495726495726,
95431
+ "grad_norm": 0.22373448312282562,
95432
+ "learning_rate": 6.407979647181855e-06,
95433
+ "loss": 0.735,
95434
+ "step": 13632
95435
+ },
95436
+ {
95437
+ "epoch": 15.527635327635327,
95438
+ "grad_norm": 0.2009502649307251,
95439
+ "learning_rate": 6.404865145113093e-06,
95440
+ "loss": 0.5968,
95441
+ "step": 13633
95442
+ },
95443
+ {
95444
+ "epoch": 15.52877492877493,
95445
+ "grad_norm": 0.24295362830162048,
95446
+ "learning_rate": 6.401751288904498e-06,
95447
+ "loss": 0.616,
95448
+ "step": 13634
95449
+ },
95450
+ {
95451
+ "epoch": 15.52991452991453,
95452
+ "grad_norm": 0.2393190711736679,
95453
+ "learning_rate": 6.398638078664229e-06,
95454
+ "loss": 0.7765,
95455
+ "step": 13635
95456
+ },
95457
+ {
95458
+ "epoch": 15.53105413105413,
95459
+ "grad_norm": 0.1962868869304657,
95460
+ "learning_rate": 6.3955255145004135e-06,
95461
+ "loss": 0.6915,
95462
+ "step": 13636
95463
+ },
95464
+ {
95465
+ "epoch": 15.532193732193733,
95466
+ "grad_norm": 0.34747734665870667,
95467
+ "learning_rate": 6.3924135965211605e-06,
95468
+ "loss": 0.8085,
95469
+ "step": 13637
95470
+ },
95471
+ {
95472
+ "epoch": 15.533333333333333,
95473
+ "grad_norm": 0.20524170994758606,
95474
+ "learning_rate": 6.389302324834559e-06,
95475
+ "loss": 0.742,
95476
+ "step": 13638
95477
+ },
95478
+ {
95479
+ "epoch": 15.534472934472934,
95480
+ "grad_norm": 0.2063647210597992,
95481
+ "learning_rate": 6.38619169954866e-06,
95482
+ "loss": 0.5466,
95483
+ "step": 13639
95484
+ },
95485
+ {
95486
+ "epoch": 15.535612535612536,
95487
+ "grad_norm": 0.2075195014476776,
95488
+ "learning_rate": 6.383081720771514e-06,
95489
+ "loss": 0.7451,
95490
+ "step": 13640
95491
+ },
95492
+ {
95493
+ "epoch": 15.536752136752137,
95494
+ "grad_norm": 0.17599990963935852,
95495
+ "learning_rate": 6.379972388611136e-06,
95496
+ "loss": 0.698,
95497
+ "step": 13641
95498
+ },
95499
+ {
95500
+ "epoch": 15.537891737891737,
95501
+ "grad_norm": 0.19163137674331665,
95502
+ "learning_rate": 6.376863703175528e-06,
95503
+ "loss": 0.8553,
95504
+ "step": 13642
95505
+ },
95506
+ {
95507
+ "epoch": 15.53903133903134,
95508
+ "grad_norm": 0.18536020815372467,
95509
+ "learning_rate": 6.37375566457265e-06,
95510
+ "loss": 0.635,
95511
+ "step": 13643
95512
+ },
95513
+ {
95514
+ "epoch": 15.54017094017094,
95515
+ "grad_norm": 0.22451657056808472,
95516
+ "learning_rate": 6.370648272910462e-06,
95517
+ "loss": 0.5601,
95518
+ "step": 13644
95519
+ },
95520
+ {
95521
+ "epoch": 15.54131054131054,
95522
+ "grad_norm": 0.2571554481983185,
95523
+ "learning_rate": 6.367541528296889e-06,
95524
+ "loss": 0.6696,
95525
+ "step": 13645
95526
+ },
95527
+ {
95528
+ "epoch": 15.542450142450143,
95529
+ "grad_norm": 1.3970999717712402,
95530
+ "learning_rate": 6.364435430839838e-06,
95531
+ "loss": 0.6399,
95532
+ "step": 13646
95533
+ },
95534
+ {
95535
+ "epoch": 15.543589743589743,
95536
+ "grad_norm": 0.21825458109378815,
95537
+ "learning_rate": 6.361329980647194e-06,
95538
+ "loss": 0.704,
95539
+ "step": 13647
95540
+ },
95541
+ {
95542
+ "epoch": 15.544729344729344,
95543
+ "grad_norm": 0.16594573855400085,
95544
+ "learning_rate": 6.358225177826812e-06,
95545
+ "loss": 0.6154,
95546
+ "step": 13648
95547
+ },
95548
+ {
95549
+ "epoch": 15.545868945868946,
95550
+ "grad_norm": 0.1690720170736313,
95551
+ "learning_rate": 6.355121022486546e-06,
95552
+ "loss": 0.9228,
95553
+ "step": 13649
95554
+ },
95555
+ {
95556
+ "epoch": 15.547008547008547,
95557
+ "grad_norm": 0.23778723180294037,
95558
+ "learning_rate": 6.352017514734193e-06,
95559
+ "loss": 0.4943,
95560
+ "step": 13650
95561
+ },
95562
+ {
95563
+ "epoch": 15.548148148148147,
95564
+ "grad_norm": 0.23354555666446686,
95565
+ "learning_rate": 6.348914654677554e-06,
95566
+ "loss": 0.3579,
95567
+ "step": 13651
95568
+ },
95569
+ {
95570
+ "epoch": 15.54928774928775,
95571
+ "grad_norm": 0.22613407671451569,
95572
+ "learning_rate": 6.345812442424398e-06,
95573
+ "loss": 0.552,
95574
+ "step": 13652
95575
+ },
95576
+ {
95577
+ "epoch": 15.55042735042735,
95578
+ "grad_norm": 0.19844311475753784,
95579
+ "learning_rate": 6.342710878082478e-06,
95580
+ "loss": 0.7388,
95581
+ "step": 13653
95582
+ },
95583
+ {
95584
+ "epoch": 15.55156695156695,
95585
+ "grad_norm": 0.17051514983177185,
95586
+ "learning_rate": 6.339609961759521e-06,
95587
+ "loss": 0.7468,
95588
+ "step": 13654
95589
+ },
95590
+ {
95591
+ "epoch": 15.552706552706553,
95592
+ "grad_norm": 0.2350083738565445,
95593
+ "learning_rate": 6.33650969356322e-06,
95594
+ "loss": 0.6674,
95595
+ "step": 13655
95596
+ },
95597
+ {
95598
+ "epoch": 15.553846153846154,
95599
+ "grad_norm": 0.21361273527145386,
95600
+ "learning_rate": 6.3334100736012644e-06,
95601
+ "loss": 0.5688,
95602
+ "step": 13656
95603
+ },
95604
+ {
95605
+ "epoch": 15.554985754985754,
95606
+ "grad_norm": 0.18314236402511597,
95607
+ "learning_rate": 6.330311101981307e-06,
95608
+ "loss": 0.6635,
95609
+ "step": 13657
95610
+ },
95611
+ {
95612
+ "epoch": 15.556125356125357,
95613
+ "grad_norm": 0.2125498503446579,
95614
+ "learning_rate": 6.32721277881099e-06,
95615
+ "loss": 0.5927,
95616
+ "step": 13658
95617
+ },
95618
+ {
95619
+ "epoch": 15.557264957264957,
95620
+ "grad_norm": 0.21594832837581635,
95621
+ "learning_rate": 6.324115104197919e-06,
95622
+ "loss": 0.6365,
95623
+ "step": 13659
95624
+ },
95625
+ {
95626
+ "epoch": 15.558404558404558,
95627
+ "grad_norm": 0.2782728374004364,
95628
+ "learning_rate": 6.321018078249693e-06,
95629
+ "loss": 0.6943,
95630
+ "step": 13660
95631
+ },
95632
+ {
95633
+ "epoch": 15.55954415954416,
95634
+ "grad_norm": 0.18271590769290924,
95635
+ "learning_rate": 6.317921701073884e-06,
95636
+ "loss": 0.7358,
95637
+ "step": 13661
95638
+ },
95639
+ {
95640
+ "epoch": 15.56068376068376,
95641
+ "grad_norm": 0.19562652707099915,
95642
+ "learning_rate": 6.314825972778022e-06,
95643
+ "loss": 0.6251,
95644
+ "step": 13662
95645
+ },
95646
+ {
95647
+ "epoch": 15.561823361823361,
95648
+ "grad_norm": 0.2306443750858307,
95649
+ "learning_rate": 6.311730893469636e-06,
95650
+ "loss": 0.5493,
95651
+ "step": 13663
95652
+ },
95653
+ {
95654
+ "epoch": 15.562962962962963,
95655
+ "grad_norm": 0.2782440781593323,
95656
+ "learning_rate": 6.3086364632562316e-06,
95657
+ "loss": 0.6875,
95658
+ "step": 13664
95659
+ },
95660
+ {
95661
+ "epoch": 15.564102564102564,
95662
+ "grad_norm": 0.16360704600811005,
95663
+ "learning_rate": 6.305542682245291e-06,
95664
+ "loss": 0.6351,
95665
+ "step": 13665
95666
+ },
95667
+ {
95668
+ "epoch": 15.565242165242164,
95669
+ "grad_norm": 0.2210601568222046,
95670
+ "learning_rate": 6.302449550544256e-06,
95671
+ "loss": 0.5766,
95672
+ "step": 13666
95673
+ },
95674
+ {
95675
+ "epoch": 15.566381766381767,
95676
+ "grad_norm": 0.22705049812793732,
95677
+ "learning_rate": 6.299357068260567e-06,
95678
+ "loss": 0.3935,
95679
+ "step": 13667
95680
+ },
95681
+ {
95682
+ "epoch": 15.567521367521367,
95683
+ "grad_norm": 0.2909753620624542,
95684
+ "learning_rate": 6.296265235501634e-06,
95685
+ "loss": 0.4501,
95686
+ "step": 13668
95687
+ },
95688
+ {
95689
+ "epoch": 15.568660968660968,
95690
+ "grad_norm": 0.23857071995735168,
95691
+ "learning_rate": 6.293174052374845e-06,
95692
+ "loss": 0.586,
95693
+ "step": 13669
95694
+ },
95695
+ {
95696
+ "epoch": 15.56980056980057,
95697
+ "grad_norm": 0.19779235124588013,
95698
+ "learning_rate": 6.290083518987563e-06,
95699
+ "loss": 0.4547,
95700
+ "step": 13670
95701
+ },
95702
+ {
95703
+ "epoch": 15.57094017094017,
95704
+ "grad_norm": 0.2003849744796753,
95705
+ "learning_rate": 6.286993635447136e-06,
95706
+ "loss": 0.7345,
95707
+ "step": 13671
95708
+ },
95709
+ {
95710
+ "epoch": 15.572079772079771,
95711
+ "grad_norm": 0.188863605260849,
95712
+ "learning_rate": 6.283904401860885e-06,
95713
+ "loss": 0.6969,
95714
+ "step": 13672
95715
+ },
95716
+ {
95717
+ "epoch": 15.573219373219374,
95718
+ "grad_norm": 0.23119278252124786,
95719
+ "learning_rate": 6.2808158183361e-06,
95720
+ "loss": 0.5791,
95721
+ "step": 13673
95722
+ },
95723
+ {
95724
+ "epoch": 15.574358974358974,
95725
+ "grad_norm": 0.19105198979377747,
95726
+ "learning_rate": 6.277727884980056e-06,
95727
+ "loss": 0.5908,
95728
+ "step": 13674
95729
+ },
95730
+ {
95731
+ "epoch": 15.575498575498575,
95732
+ "grad_norm": 0.20295053720474243,
95733
+ "learning_rate": 6.274640601900012e-06,
95734
+ "loss": 0.5843,
95735
+ "step": 13675
95736
+ },
95737
+ {
95738
+ "epoch": 15.576638176638177,
95739
+ "grad_norm": 0.18536078929901123,
95740
+ "learning_rate": 6.2715539692032e-06,
95741
+ "loss": 0.723,
95742
+ "step": 13676
95743
+ },
95744
+ {
95745
+ "epoch": 15.577777777777778,
95746
+ "grad_norm": 0.18521544337272644,
95747
+ "learning_rate": 6.2684679869968145e-06,
95748
+ "loss": 0.8696,
95749
+ "step": 13677
95750
+ },
95751
+ {
95752
+ "epoch": 15.578917378917378,
95753
+ "grad_norm": 0.19663411378860474,
95754
+ "learning_rate": 6.26538265538805e-06,
95755
+ "loss": 0.9285,
95756
+ "step": 13678
95757
+ },
95758
+ {
95759
+ "epoch": 15.58005698005698,
95760
+ "grad_norm": 0.22954058647155762,
95761
+ "learning_rate": 6.262297974484063e-06,
95762
+ "loss": 0.4636,
95763
+ "step": 13679
95764
+ },
95765
+ {
95766
+ "epoch": 15.581196581196581,
95767
+ "grad_norm": 0.19672894477844238,
95768
+ "learning_rate": 6.259213944392001e-06,
95769
+ "loss": 0.6554,
95770
+ "step": 13680
95771
+ },
95772
+ {
95773
+ "epoch": 15.582336182336181,
95774
+ "grad_norm": 0.23419034481048584,
95775
+ "learning_rate": 6.256130565218971e-06,
95776
+ "loss": 0.4539,
95777
+ "step": 13681
95778
+ },
95779
+ {
95780
+ "epoch": 15.583475783475784,
95781
+ "grad_norm": 0.16873398423194885,
95782
+ "learning_rate": 6.2530478370720765e-06,
95783
+ "loss": 0.4983,
95784
+ "step": 13682
95785
+ },
95786
+ {
95787
+ "epoch": 15.584615384615384,
95788
+ "grad_norm": 0.22072651982307434,
95789
+ "learning_rate": 6.249965760058391e-06,
95790
+ "loss": 0.5829,
95791
+ "step": 13683
95792
+ },
95793
+ {
95794
+ "epoch": 15.585754985754985,
95795
+ "grad_norm": 0.18701456487178802,
95796
+ "learning_rate": 6.246884334284947e-06,
95797
+ "loss": 0.8002,
95798
+ "step": 13684
95799
+ },
95800
+ {
95801
+ "epoch": 15.586894586894587,
95802
+ "grad_norm": 0.1927860826253891,
95803
+ "learning_rate": 6.243803559858785e-06,
95804
+ "loss": 0.6156,
95805
+ "step": 13685
95806
+ },
95807
+ {
95808
+ "epoch": 15.588034188034188,
95809
+ "grad_norm": 0.22001326084136963,
95810
+ "learning_rate": 6.240723436886903e-06,
95811
+ "loss": 0.6379,
95812
+ "step": 13686
95813
+ },
95814
+ {
95815
+ "epoch": 15.589173789173788,
95816
+ "grad_norm": 0.18028047680854797,
95817
+ "learning_rate": 6.237643965476292e-06,
95818
+ "loss": 0.8061,
95819
+ "step": 13687
95820
+ },
95821
+ {
95822
+ "epoch": 15.59031339031339,
95823
+ "grad_norm": 0.20484380424022675,
95824
+ "learning_rate": 6.234565145733898e-06,
95825
+ "loss": 0.6586,
95826
+ "step": 13688
95827
+ },
95828
+ {
95829
+ "epoch": 15.591452991452991,
95830
+ "grad_norm": 0.2841224670410156,
95831
+ "learning_rate": 6.231486977766657e-06,
95832
+ "loss": 0.4662,
95833
+ "step": 13689
95834
+ },
95835
+ {
95836
+ "epoch": 15.592592592592592,
95837
+ "grad_norm": 0.27535203099250793,
95838
+ "learning_rate": 6.228409461681484e-06,
95839
+ "loss": 0.7547,
95840
+ "step": 13690
95841
+ },
95842
+ {
95843
+ "epoch": 15.593732193732194,
95844
+ "grad_norm": 0.23370136320590973,
95845
+ "learning_rate": 6.2253325975852844e-06,
95846
+ "loss": 0.6202,
95847
+ "step": 13691
95848
+ },
95849
+ {
95850
+ "epoch": 15.594871794871795,
95851
+ "grad_norm": 0.20593878626823425,
95852
+ "learning_rate": 6.222256385584907e-06,
95853
+ "loss": 0.4472,
95854
+ "step": 13692
95855
+ },
95856
+ {
95857
+ "epoch": 15.596011396011395,
95858
+ "grad_norm": 0.17125186324119568,
95859
+ "learning_rate": 6.219180825787204e-06,
95860
+ "loss": 0.7245,
95861
+ "step": 13693
95862
+ },
95863
+ {
95864
+ "epoch": 15.597150997150997,
95865
+ "grad_norm": 0.19655224680900574,
95866
+ "learning_rate": 6.216105918299e-06,
95867
+ "loss": 0.5892,
95868
+ "step": 13694
95869
+ },
95870
+ {
95871
+ "epoch": 15.598290598290598,
95872
+ "grad_norm": 0.17949378490447998,
95873
+ "learning_rate": 6.2130316632271e-06,
95874
+ "loss": 0.4656,
95875
+ "step": 13695
95876
+ },
95877
+ {
95878
+ "epoch": 15.5994301994302,
95879
+ "grad_norm": 0.17048440873622894,
95880
+ "learning_rate": 6.20995806067827e-06,
95881
+ "loss": 0.6455,
95882
+ "step": 13696
95883
+ },
95884
+ {
95885
+ "epoch": 15.6005698005698,
95886
+ "grad_norm": 0.16665752232074738,
95887
+ "learning_rate": 6.2068851107592645e-06,
95888
+ "loss": 0.7673,
95889
+ "step": 13697
95890
+ },
95891
+ {
95892
+ "epoch": 15.601709401709401,
95893
+ "grad_norm": 0.22793520987033844,
95894
+ "learning_rate": 6.203812813576823e-06,
95895
+ "loss": 0.7257,
95896
+ "step": 13698
95897
+ },
95898
+ {
95899
+ "epoch": 15.602849002849004,
95900
+ "grad_norm": 0.20825371146202087,
95901
+ "learning_rate": 6.200741169237659e-06,
95902
+ "loss": 0.519,
95903
+ "step": 13699
95904
+ },
95905
+ {
95906
+ "epoch": 15.603988603988604,
95907
+ "grad_norm": 0.22275830805301666,
95908
+ "learning_rate": 6.197670177848447e-06,
95909
+ "loss": 0.5398,
95910
+ "step": 13700
95911
+ },
95912
+ {
95913
+ "epoch": 15.605128205128205,
95914
+ "grad_norm": 0.16599951684474945,
95915
+ "learning_rate": 6.194599839515846e-06,
95916
+ "loss": 0.8594,
95917
+ "step": 13701
95918
+ },
95919
+ {
95920
+ "epoch": 15.606267806267807,
95921
+ "grad_norm": 0.20247229933738708,
95922
+ "learning_rate": 6.191530154346523e-06,
95923
+ "loss": 0.9489,
95924
+ "step": 13702
95925
+ },
95926
+ {
95927
+ "epoch": 15.607407407407408,
95928
+ "grad_norm": 0.19792650640010834,
95929
+ "learning_rate": 6.188461122447075e-06,
95930
+ "loss": 0.5835,
95931
+ "step": 13703
95932
+ },
95933
+ {
95934
+ "epoch": 15.608547008547008,
95935
+ "grad_norm": 0.1858179271221161,
95936
+ "learning_rate": 6.185392743924104e-06,
95937
+ "loss": 0.651,
95938
+ "step": 13704
95939
+ },
95940
+ {
95941
+ "epoch": 15.60968660968661,
95942
+ "grad_norm": 0.1663610339164734,
95943
+ "learning_rate": 6.182325018884183e-06,
95944
+ "loss": 0.5449,
95945
+ "step": 13705
95946
+ },
95947
+ {
95948
+ "epoch": 15.610826210826211,
95949
+ "grad_norm": 0.19580359756946564,
95950
+ "learning_rate": 6.17925794743387e-06,
95951
+ "loss": 0.6482,
95952
+ "step": 13706
95953
+ },
95954
+ {
95955
+ "epoch": 15.611965811965812,
95956
+ "grad_norm": 0.21123597025871277,
95957
+ "learning_rate": 6.176191529679678e-06,
95958
+ "loss": 0.6836,
95959
+ "step": 13707
95960
+ },
95961
+ {
95962
+ "epoch": 15.613105413105414,
95963
+ "grad_norm": 0.18846312165260315,
95964
+ "learning_rate": 6.173125765728122e-06,
95965
+ "loss": 0.5522,
95966
+ "step": 13708
95967
+ },
95968
+ {
95969
+ "epoch": 15.614245014245014,
95970
+ "grad_norm": 0.1801503747701645,
95971
+ "learning_rate": 6.1700606556856805e-06,
95972
+ "loss": 0.7241,
95973
+ "step": 13709
95974
+ },
95975
+ {
95976
+ "epoch": 15.615384615384615,
95977
+ "grad_norm": 0.2200639843940735,
95978
+ "learning_rate": 6.1669961996588195e-06,
95979
+ "loss": 0.7103,
95980
+ "step": 13710
95981
+ },
95982
+ {
95983
+ "epoch": 15.616524216524217,
95984
+ "grad_norm": 0.19399894773960114,
95985
+ "learning_rate": 6.163932397753969e-06,
95986
+ "loss": 0.6425,
95987
+ "step": 13711
95988
+ },
95989
+ {
95990
+ "epoch": 15.617663817663818,
95991
+ "grad_norm": 0.2099304497241974,
95992
+ "learning_rate": 6.160869250077536e-06,
95993
+ "loss": 0.74,
95994
+ "step": 13712
95995
+ },
95996
+ {
95997
+ "epoch": 15.618803418803418,
95998
+ "grad_norm": 0.2581200897693634,
95999
+ "learning_rate": 6.157806756735937e-06,
96000
+ "loss": 0.5516,
96001
+ "step": 13713
96002
+ },
96003
+ {
96004
+ "epoch": 15.61994301994302,
96005
+ "grad_norm": 0.21245378255844116,
96006
+ "learning_rate": 6.1547449178355174e-06,
96007
+ "loss": 0.4188,
96008
+ "step": 13714
96009
+ },
96010
+ {
96011
+ "epoch": 15.621082621082621,
96012
+ "grad_norm": 0.225898876786232,
96013
+ "learning_rate": 6.151683733482633e-06,
96014
+ "loss": 0.7311,
96015
+ "step": 13715
96016
+ },
96017
+ {
96018
+ "epoch": 15.622222222222222,
96019
+ "grad_norm": 0.1864606887102127,
96020
+ "learning_rate": 6.148623203783605e-06,
96021
+ "loss": 0.6569,
96022
+ "step": 13716
96023
+ },
96024
+ {
96025
+ "epoch": 15.623361823361824,
96026
+ "grad_norm": 0.2043372094631195,
96027
+ "learning_rate": 6.145563328844742e-06,
96028
+ "loss": 0.5602,
96029
+ "step": 13717
96030
+ },
96031
+ {
96032
+ "epoch": 15.624501424501425,
96033
+ "grad_norm": 0.22436149418354034,
96034
+ "learning_rate": 6.142504108772307e-06,
96035
+ "loss": 0.7941,
96036
+ "step": 13718
96037
+ },
96038
+ {
96039
+ "epoch": 15.625641025641025,
96040
+ "grad_norm": 0.20962457358837128,
96041
+ "learning_rate": 6.139445543672562e-06,
96042
+ "loss": 0.6914,
96043
+ "step": 13719
96044
+ },
96045
+ {
96046
+ "epoch": 15.626780626780628,
96047
+ "grad_norm": 0.3241886496543884,
96048
+ "learning_rate": 6.136387633651741e-06,
96049
+ "loss": 0.4077,
96050
+ "step": 13720
96051
+ },
96052
+ {
96053
+ "epoch": 15.627920227920228,
96054
+ "grad_norm": 0.20413905382156372,
96055
+ "learning_rate": 6.133330378816057e-06,
96056
+ "loss": 0.5582,
96057
+ "step": 13721
96058
+ },
96059
+ {
96060
+ "epoch": 15.629059829059829,
96061
+ "grad_norm": 0.2374972552061081,
96062
+ "learning_rate": 6.1302737792716895e-06,
96063
+ "loss": 0.6637,
96064
+ "step": 13722
96065
+ },
96066
+ {
96067
+ "epoch": 15.630199430199431,
96068
+ "grad_norm": 0.16341468691825867,
96069
+ "learning_rate": 6.127217835124796e-06,
96070
+ "loss": 0.7038,
96071
+ "step": 13723
96072
+ },
96073
+ {
96074
+ "epoch": 15.631339031339031,
96075
+ "grad_norm": 0.2513233423233032,
96076
+ "learning_rate": 6.124162546481543e-06,
96077
+ "loss": 0.5117,
96078
+ "step": 13724
96079
+ },
96080
+ {
96081
+ "epoch": 15.632478632478632,
96082
+ "grad_norm": 0.19655568897724152,
96083
+ "learning_rate": 6.121107913448024e-06,
96084
+ "loss": 0.7148,
96085
+ "step": 13725
96086
+ },
96087
+ {
96088
+ "epoch": 15.633618233618234,
96089
+ "grad_norm": 0.1788332313299179,
96090
+ "learning_rate": 6.118053936130347e-06,
96091
+ "loss": 0.6445,
96092
+ "step": 13726
96093
+ },
96094
+ {
96095
+ "epoch": 15.634757834757835,
96096
+ "grad_norm": 0.21004877984523773,
96097
+ "learning_rate": 6.115000614634581e-06,
96098
+ "loss": 0.7228,
96099
+ "step": 13727
96100
+ },
96101
+ {
96102
+ "epoch": 15.635897435897435,
96103
+ "grad_norm": 0.23008368909358978,
96104
+ "learning_rate": 6.111947949066784e-06,
96105
+ "loss": 0.5885,
96106
+ "step": 13728
96107
+ },
96108
+ {
96109
+ "epoch": 15.637037037037038,
96110
+ "grad_norm": 0.20609422028064728,
96111
+ "learning_rate": 6.108895939532972e-06,
96112
+ "loss": 0.6035,
96113
+ "step": 13729
96114
+ },
96115
+ {
96116
+ "epoch": 15.638176638176638,
96117
+ "grad_norm": 0.20903274416923523,
96118
+ "learning_rate": 6.105844586139154e-06,
96119
+ "loss": 0.7254,
96120
+ "step": 13730
96121
+ },
96122
+ {
96123
+ "epoch": 15.639316239316239,
96124
+ "grad_norm": 0.1961694359779358,
96125
+ "learning_rate": 6.102793888991312e-06,
96126
+ "loss": 0.3647,
96127
+ "step": 13731
96128
+ },
96129
+ {
96130
+ "epoch": 15.640455840455841,
96131
+ "grad_norm": 0.23456496000289917,
96132
+ "learning_rate": 6.099743848195408e-06,
96133
+ "loss": 0.6749,
96134
+ "step": 13732
96135
+ },
96136
+ {
96137
+ "epoch": 15.641595441595442,
96138
+ "grad_norm": 0.19131501019001007,
96139
+ "learning_rate": 6.096694463857381e-06,
96140
+ "loss": 0.6785,
96141
+ "step": 13733
96142
+ },
96143
+ {
96144
+ "epoch": 15.642735042735042,
96145
+ "grad_norm": 0.17733091115951538,
96146
+ "learning_rate": 6.0936457360831256e-06,
96147
+ "loss": 0.6629,
96148
+ "step": 13734
96149
+ },
96150
+ {
96151
+ "epoch": 15.643874643874645,
96152
+ "grad_norm": 0.2198195606470108,
96153
+ "learning_rate": 6.090597664978553e-06,
96154
+ "loss": 0.589,
96155
+ "step": 13735
96156
+ },
96157
+ {
96158
+ "epoch": 15.645014245014245,
96159
+ "grad_norm": 0.179597869515419,
96160
+ "learning_rate": 6.087550250649532e-06,
96161
+ "loss": 0.6942,
96162
+ "step": 13736
96163
+ },
96164
+ {
96165
+ "epoch": 15.646153846153846,
96166
+ "grad_norm": 0.20365090668201447,
96167
+ "learning_rate": 6.084503493201893e-06,
96168
+ "loss": 0.6757,
96169
+ "step": 13737
96170
+ },
96171
+ {
96172
+ "epoch": 15.647293447293448,
96173
+ "grad_norm": 0.2194930911064148,
96174
+ "learning_rate": 6.081457392741466e-06,
96175
+ "loss": 0.7845,
96176
+ "step": 13738
96177
+ },
96178
+ {
96179
+ "epoch": 15.648433048433048,
96180
+ "grad_norm": 0.19855773448944092,
96181
+ "learning_rate": 6.078411949374049e-06,
96182
+ "loss": 0.5702,
96183
+ "step": 13739
96184
+ },
96185
+ {
96186
+ "epoch": 15.649572649572649,
96187
+ "grad_norm": 0.1931416541337967,
96188
+ "learning_rate": 6.075367163205428e-06,
96189
+ "loss": 0.6954,
96190
+ "step": 13740
96191
+ },
96192
+ {
96193
+ "epoch": 15.650712250712251,
96194
+ "grad_norm": 0.19040903449058533,
96195
+ "learning_rate": 6.072323034341343e-06,
96196
+ "loss": 0.6878,
96197
+ "step": 13741
96198
+ },
96199
+ {
96200
+ "epoch": 15.651851851851852,
96201
+ "grad_norm": 0.20580269396305084,
96202
+ "learning_rate": 6.0692795628875286e-06,
96203
+ "loss": 0.6766,
96204
+ "step": 13742
96205
+ },
96206
+ {
96207
+ "epoch": 15.652991452991452,
96208
+ "grad_norm": 0.22299405932426453,
96209
+ "learning_rate": 6.066236748949691e-06,
96210
+ "loss": 0.5875,
96211
+ "step": 13743
96212
+ },
96213
+ {
96214
+ "epoch": 15.654131054131055,
96215
+ "grad_norm": 0.2034991979598999,
96216
+ "learning_rate": 6.063194592633531e-06,
96217
+ "loss": 0.6345,
96218
+ "step": 13744
96219
+ },
96220
+ {
96221
+ "epoch": 15.655270655270655,
96222
+ "grad_norm": 0.1856851428747177,
96223
+ "learning_rate": 6.060153094044682e-06,
96224
+ "loss": 0.7327,
96225
+ "step": 13745
96226
+ },
96227
+ {
96228
+ "epoch": 15.656410256410256,
96229
+ "grad_norm": 0.18239708244800568,
96230
+ "learning_rate": 6.0571122532888106e-06,
96231
+ "loss": 0.6735,
96232
+ "step": 13746
96233
+ },
96234
+ {
96235
+ "epoch": 15.657549857549858,
96236
+ "grad_norm": 0.21312111616134644,
96237
+ "learning_rate": 6.054072070471531e-06,
96238
+ "loss": 0.5746,
96239
+ "step": 13747
96240
+ },
96241
+ {
96242
+ "epoch": 15.658689458689459,
96243
+ "grad_norm": 0.17315645515918732,
96244
+ "learning_rate": 6.051032545698421e-06,
96245
+ "loss": 0.893,
96246
+ "step": 13748
96247
+ },
96248
+ {
96249
+ "epoch": 15.65982905982906,
96250
+ "grad_norm": 0.21159929037094116,
96251
+ "learning_rate": 6.047993679075059e-06,
96252
+ "loss": 0.5457,
96253
+ "step": 13749
96254
+ },
96255
+ {
96256
+ "epoch": 15.660968660968662,
96257
+ "grad_norm": 0.2133578658103943,
96258
+ "learning_rate": 6.044955470706997e-06,
96259
+ "loss": 0.8786,
96260
+ "step": 13750
96261
+ },
96262
+ {
96263
+ "epoch": 15.662108262108262,
96264
+ "grad_norm": 0.20090807974338531,
96265
+ "learning_rate": 6.0419179206997664e-06,
96266
+ "loss": 0.7035,
96267
+ "step": 13751
96268
+ },
96269
+ {
96270
+ "epoch": 15.663247863247863,
96271
+ "grad_norm": 0.17659156024456024,
96272
+ "learning_rate": 6.038881029158852e-06,
96273
+ "loss": 0.7067,
96274
+ "step": 13752
96275
+ },
96276
+ {
96277
+ "epoch": 15.664387464387465,
96278
+ "grad_norm": 0.235539972782135,
96279
+ "learning_rate": 6.035844796189743e-06,
96280
+ "loss": 0.5339,
96281
+ "step": 13753
96282
+ },
96283
+ {
96284
+ "epoch": 15.665527065527066,
96285
+ "grad_norm": 0.18721574544906616,
96286
+ "learning_rate": 6.032809221897898e-06,
96287
+ "loss": 0.8193,
96288
+ "step": 13754
96289
+ },
96290
+ {
96291
+ "epoch": 15.666666666666666,
96292
+ "grad_norm": 0.21573007106781006,
96293
+ "learning_rate": 6.029774306388753e-06,
96294
+ "loss": 0.6192,
96295
+ "step": 13755
96296
+ },
96297
+ {
96298
+ "epoch": 15.667806267806268,
96299
+ "grad_norm": 0.2722488343715668,
96300
+ "learning_rate": 6.026740049767701e-06,
96301
+ "loss": 0.7024,
96302
+ "step": 13756
96303
+ },
96304
+ {
96305
+ "epoch": 15.668945868945869,
96306
+ "grad_norm": 0.21313630044460297,
96307
+ "learning_rate": 6.0237064521401515e-06,
96308
+ "loss": 0.7763,
96309
+ "step": 13757
96310
+ },
96311
+ {
96312
+ "epoch": 15.67008547008547,
96313
+ "grad_norm": 0.16580374538898468,
96314
+ "learning_rate": 6.020673513611469e-06,
96315
+ "loss": 0.8544,
96316
+ "step": 13758
96317
+ },
96318
+ {
96319
+ "epoch": 15.671225071225072,
96320
+ "grad_norm": 0.24010197818279266,
96321
+ "learning_rate": 6.017641234286983e-06,
96322
+ "loss": 0.3291,
96323
+ "step": 13759
96324
+ },
96325
+ {
96326
+ "epoch": 15.672364672364672,
96327
+ "grad_norm": 0.2201775759458542,
96328
+ "learning_rate": 6.014609614272018e-06,
96329
+ "loss": 0.7122,
96330
+ "step": 13760
96331
+ },
96332
+ {
96333
+ "epoch": 15.673504273504273,
96334
+ "grad_norm": 0.19828544557094574,
96335
+ "learning_rate": 6.0115786536718705e-06,
96336
+ "loss": 0.4014,
96337
+ "step": 13761
96338
+ },
96339
+ {
96340
+ "epoch": 15.674643874643875,
96341
+ "grad_norm": 0.20189552009105682,
96342
+ "learning_rate": 6.00854835259182e-06,
96343
+ "loss": 0.5587,
96344
+ "step": 13762
96345
+ },
96346
+ {
96347
+ "epoch": 15.675783475783476,
96348
+ "grad_norm": 0.17917750775814056,
96349
+ "learning_rate": 6.005518711137106e-06,
96350
+ "loss": 0.8163,
96351
+ "step": 13763
96352
+ },
96353
+ {
96354
+ "epoch": 15.676923076923076,
96355
+ "grad_norm": 0.17694270610809326,
96356
+ "learning_rate": 6.002489729412963e-06,
96357
+ "loss": 0.7236,
96358
+ "step": 13764
96359
+ },
96360
+ {
96361
+ "epoch": 15.678062678062679,
96362
+ "grad_norm": 0.204745352268219,
96363
+ "learning_rate": 5.999461407524596e-06,
96364
+ "loss": 0.5852,
96365
+ "step": 13765
96366
+ },
96367
+ {
96368
+ "epoch": 15.67920227920228,
96369
+ "grad_norm": 0.23212666809558868,
96370
+ "learning_rate": 5.99643374557719e-06,
96371
+ "loss": 0.6488,
96372
+ "step": 13766
96373
+ },
96374
+ {
96375
+ "epoch": 15.68034188034188,
96376
+ "grad_norm": 0.20231904089450836,
96377
+ "learning_rate": 5.993406743675889e-06,
96378
+ "loss": 0.6721,
96379
+ "step": 13767
96380
+ },
96381
+ {
96382
+ "epoch": 15.681481481481482,
96383
+ "grad_norm": 0.2235812097787857,
96384
+ "learning_rate": 5.990380401925847e-06,
96385
+ "loss": 0.5575,
96386
+ "step": 13768
96387
+ },
96388
+ {
96389
+ "epoch": 15.682621082621083,
96390
+ "grad_norm": 0.20220504701137543,
96391
+ "learning_rate": 5.987354720432167e-06,
96392
+ "loss": 0.6535,
96393
+ "step": 13769
96394
+ },
96395
+ {
96396
+ "epoch": 15.683760683760683,
96397
+ "grad_norm": 0.17467883229255676,
96398
+ "learning_rate": 5.984329699299954e-06,
96399
+ "loss": 0.738,
96400
+ "step": 13770
96401
+ },
96402
+ {
96403
+ "epoch": 15.684900284900285,
96404
+ "grad_norm": 0.18006768822669983,
96405
+ "learning_rate": 5.981305338634255e-06,
96406
+ "loss": 0.6707,
96407
+ "step": 13771
96408
+ },
96409
+ {
96410
+ "epoch": 15.686039886039886,
96411
+ "grad_norm": 0.21668808162212372,
96412
+ "learning_rate": 5.97828163854012e-06,
96413
+ "loss": 0.5729,
96414
+ "step": 13772
96415
+ },
96416
+ {
96417
+ "epoch": 15.687179487179487,
96418
+ "grad_norm": 0.1905527114868164,
96419
+ "learning_rate": 5.975258599122577e-06,
96420
+ "loss": 0.7817,
96421
+ "step": 13773
96422
+ },
96423
+ {
96424
+ "epoch": 15.688319088319089,
96425
+ "grad_norm": 0.20768201351165771,
96426
+ "learning_rate": 5.97223622048663e-06,
96427
+ "loss": 0.7568,
96428
+ "step": 13774
96429
+ },
96430
+ {
96431
+ "epoch": 15.68945868945869,
96432
+ "grad_norm": 0.28116485476493835,
96433
+ "learning_rate": 5.969214502737233e-06,
96434
+ "loss": 0.4476,
96435
+ "step": 13775
96436
+ },
96437
+ {
96438
+ "epoch": 15.69059829059829,
96439
+ "grad_norm": 0.21743696928024292,
96440
+ "learning_rate": 5.966193445979357e-06,
96441
+ "loss": 0.7654,
96442
+ "step": 13776
96443
+ },
96444
+ {
96445
+ "epoch": 15.691737891737892,
96446
+ "grad_norm": 0.17984333634376526,
96447
+ "learning_rate": 5.963173050317921e-06,
96448
+ "loss": 0.7383,
96449
+ "step": 13777
96450
+ },
96451
+ {
96452
+ "epoch": 15.692877492877493,
96453
+ "grad_norm": 0.2137390673160553,
96454
+ "learning_rate": 5.960153315857839e-06,
96455
+ "loss": 0.6606,
96456
+ "step": 13778
96457
+ },
96458
+ {
96459
+ "epoch": 15.694017094017093,
96460
+ "grad_norm": 0.1965833157300949,
96461
+ "learning_rate": 5.957134242703991e-06,
96462
+ "loss": 0.8008,
96463
+ "step": 13779
96464
+ },
96465
+ {
96466
+ "epoch": 15.695156695156696,
96467
+ "grad_norm": 0.22292731702327728,
96468
+ "learning_rate": 5.9541158309612404e-06,
96469
+ "loss": 0.7107,
96470
+ "step": 13780
96471
+ },
96472
+ {
96473
+ "epoch": 15.696296296296296,
96474
+ "grad_norm": 0.24760042130947113,
96475
+ "learning_rate": 5.9510980807344295e-06,
96476
+ "loss": 0.5346,
96477
+ "step": 13781
96478
+ },
96479
+ {
96480
+ "epoch": 15.697435897435897,
96481
+ "grad_norm": 0.2328803688287735,
96482
+ "learning_rate": 5.948080992128361e-06,
96483
+ "loss": 0.4708,
96484
+ "step": 13782
96485
+ },
96486
+ {
96487
+ "epoch": 15.698575498575499,
96488
+ "grad_norm": 0.21508914232254028,
96489
+ "learning_rate": 5.945064565247829e-06,
96490
+ "loss": 0.6997,
96491
+ "step": 13783
96492
+ },
96493
+ {
96494
+ "epoch": 15.6997150997151,
96495
+ "grad_norm": 0.1934168040752411,
96496
+ "learning_rate": 5.942048800197611e-06,
96497
+ "loss": 0.593,
96498
+ "step": 13784
96499
+ },
96500
+ {
96501
+ "epoch": 15.7008547008547,
96502
+ "grad_norm": 0.1619928926229477,
96503
+ "learning_rate": 5.939033697082453e-06,
96504
+ "loss": 0.5503,
96505
+ "step": 13785
96506
+ },
96507
+ {
96508
+ "epoch": 15.701994301994302,
96509
+ "grad_norm": 0.18001818656921387,
96510
+ "learning_rate": 5.936019256007063e-06,
96511
+ "loss": 0.3774,
96512
+ "step": 13786
96513
+ },
96514
+ {
96515
+ "epoch": 15.703133903133903,
96516
+ "grad_norm": 0.18391923606395721,
96517
+ "learning_rate": 5.933005477076151e-06,
96518
+ "loss": 0.7215,
96519
+ "step": 13787
96520
+ },
96521
+ {
96522
+ "epoch": 15.704273504273504,
96523
+ "grad_norm": 0.16934546828269958,
96524
+ "learning_rate": 5.929992360394396e-06,
96525
+ "loss": 0.6671,
96526
+ "step": 13788
96527
+ },
96528
+ {
96529
+ "epoch": 15.705413105413106,
96530
+ "grad_norm": 0.2290726751089096,
96531
+ "learning_rate": 5.926979906066446e-06,
96532
+ "loss": 0.7625,
96533
+ "step": 13789
96534
+ },
96535
+ {
96536
+ "epoch": 15.706552706552706,
96537
+ "grad_norm": 0.18426409363746643,
96538
+ "learning_rate": 5.923968114196937e-06,
96539
+ "loss": 0.6394,
96540
+ "step": 13790
96541
+ },
96542
+ {
96543
+ "epoch": 15.707692307692307,
96544
+ "grad_norm": 0.20047087967395782,
96545
+ "learning_rate": 5.920956984890474e-06,
96546
+ "loss": 0.5195,
96547
+ "step": 13791
96548
+ },
96549
+ {
96550
+ "epoch": 15.70883190883191,
96551
+ "grad_norm": 0.1657576560974121,
96552
+ "learning_rate": 5.917946518251649e-06,
96553
+ "loss": 0.6565,
96554
+ "step": 13792
96555
+ },
96556
+ {
96557
+ "epoch": 15.70997150997151,
96558
+ "grad_norm": 0.21902921795845032,
96559
+ "learning_rate": 5.914936714385011e-06,
96560
+ "loss": 0.7981,
96561
+ "step": 13793
96562
+ },
96563
+ {
96564
+ "epoch": 15.71111111111111,
96565
+ "grad_norm": 0.19958922266960144,
96566
+ "learning_rate": 5.911927573395104e-06,
96567
+ "loss": 0.6652,
96568
+ "step": 13794
96569
+ },
96570
+ {
96571
+ "epoch": 15.712250712250713,
96572
+ "grad_norm": 0.23519207537174225,
96573
+ "learning_rate": 5.908919095386445e-06,
96574
+ "loss": 0.7342,
96575
+ "step": 13795
96576
+ },
96577
+ {
96578
+ "epoch": 15.713390313390313,
96579
+ "grad_norm": 0.16713076829910278,
96580
+ "learning_rate": 5.905911280463536e-06,
96581
+ "loss": 0.7188,
96582
+ "step": 13796
96583
+ },
96584
+ {
96585
+ "epoch": 15.714529914529914,
96586
+ "grad_norm": 0.18714037537574768,
96587
+ "learning_rate": 5.902904128730826e-06,
96588
+ "loss": 0.7061,
96589
+ "step": 13797
96590
+ },
96591
+ {
96592
+ "epoch": 15.715669515669516,
96593
+ "grad_norm": 0.18389609456062317,
96594
+ "learning_rate": 5.899897640292776e-06,
96595
+ "loss": 0.6432,
96596
+ "step": 13798
96597
+ },
96598
+ {
96599
+ "epoch": 15.716809116809117,
96600
+ "grad_norm": 0.18872186541557312,
96601
+ "learning_rate": 5.896891815253805e-06,
96602
+ "loss": 0.6875,
96603
+ "step": 13799
96604
+ },
96605
+ {
96606
+ "epoch": 15.717948717948717,
96607
+ "grad_norm": 0.2201945185661316,
96608
+ "learning_rate": 5.893886653718317e-06,
96609
+ "loss": 0.7302,
96610
+ "step": 13800
96611
  }
96612
  ],
96613
  "logging_steps": 1,
 
96627
  "attributes": {}
96628
  }
96629
  },
96630
+ "total_flos": 7.715994433344258e+19,
96631
  "train_batch_size": 8,
96632
  "trial_name": null,
96633
  "trial_params": null