shareit commited on
Commit
869174f
·
verified ·
1 Parent(s): 2bc6759

Training in progress, step 11100, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:8bb0c45b5ab871f50887ba6bbbfe5e7121af2f552a471f417acb35e961bbc729
3
  size 340808816
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c10fb4ee97b92a9019ccccbd10a1d8a49b0e3bbc387c352bd420b9f4d1fff057
3
  size 340808816
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d31463acc048c9c9f841071200b15dc702817b1daae105c4d867f3c71fc3fcf5
3
  size 173247691
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:eb50355aa39f8467d11aa9e7f2b0dba1d9b2b1414f4beae5f33025e2590d855a
3
  size 173247691
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:672fe16c74c00144bd0d3f082dee75d596ac539ec9c693a3c5951b94b52798b5
3
  size 1465
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b6cba449e4654bd5daf58a23e9e4face033094966520841bfbcab0ff728af0ff
3
  size 1465
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
- "epoch": 12.300854700854702,
6
  "eval_steps": 500,
7
- "global_step": 10800,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -75608,6 +75608,2106 @@
75608
  "learning_rate": 1.7355266257257438e-05,
75609
  "loss": 0.5878,
75610
  "step": 10800
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
75611
  }
75612
  ],
75613
  "logging_steps": 1,
@@ -75627,7 +77727,7 @@
75627
  "attributes": {}
75628
  }
75629
  },
75630
- "total_flos": 6.0385087639077765e+19,
75631
  "train_batch_size": 8,
75632
  "trial_name": null,
75633
  "trial_params": null
 
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
+ "epoch": 12.642735042735042,
6
  "eval_steps": 500,
7
+ "global_step": 11100,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
75608
  "learning_rate": 1.7355266257257438e-05,
75609
  "loss": 0.5878,
75610
  "step": 10800
75611
+ },
75612
+ {
75613
+ "epoch": 12.301994301994302,
75614
+ "grad_norm": 0.25265562534332275,
75615
+ "learning_rate": 1.735083038744803e-05,
75616
+ "loss": 0.5441,
75617
+ "step": 10801
75618
+ },
75619
+ {
75620
+ "epoch": 12.303133903133903,
75621
+ "grad_norm": 0.20412509143352509,
75622
+ "learning_rate": 1.734639478331532e-05,
75623
+ "loss": 0.7165,
75624
+ "step": 10802
75625
+ },
75626
+ {
75627
+ "epoch": 12.304273504273505,
75628
+ "grad_norm": 0.2196875661611557,
75629
+ "learning_rate": 1.7341959445013362e-05,
75630
+ "loss": 0.8689,
75631
+ "step": 10803
75632
+ },
75633
+ {
75634
+ "epoch": 12.305413105413106,
75635
+ "grad_norm": 0.206462100148201,
75636
+ "learning_rate": 1.7337524372696218e-05,
75637
+ "loss": 0.6361,
75638
+ "step": 10804
75639
+ },
75640
+ {
75641
+ "epoch": 12.306552706552706,
75642
+ "grad_norm": 0.1997363120317459,
75643
+ "learning_rate": 1.7333089566517917e-05,
75644
+ "loss": 0.7908,
75645
+ "step": 10805
75646
+ },
75647
+ {
75648
+ "epoch": 12.307692307692308,
75649
+ "grad_norm": 0.20651085674762726,
75650
+ "learning_rate": 1.732865502663251e-05,
75651
+ "loss": 0.641,
75652
+ "step": 10806
75653
+ },
75654
+ {
75655
+ "epoch": 12.308831908831909,
75656
+ "grad_norm": 0.23688238859176636,
75657
+ "learning_rate": 1.7324220753194e-05,
75658
+ "loss": 0.5492,
75659
+ "step": 10807
75660
+ },
75661
+ {
75662
+ "epoch": 12.30997150997151,
75663
+ "grad_norm": 0.23155272006988525,
75664
+ "learning_rate": 1.731978674635641e-05,
75665
+ "loss": 0.6126,
75666
+ "step": 10808
75667
+ },
75668
+ {
75669
+ "epoch": 12.311111111111112,
75670
+ "grad_norm": 0.188265860080719,
75671
+ "learning_rate": 1.7315353006273755e-05,
75672
+ "loss": 0.7488,
75673
+ "step": 10809
75674
+ },
75675
+ {
75676
+ "epoch": 12.312250712250712,
75677
+ "grad_norm": 0.2498866468667984,
75678
+ "learning_rate": 1.731091953310002e-05,
75679
+ "loss": 0.6749,
75680
+ "step": 10810
75681
+ },
75682
+ {
75683
+ "epoch": 12.313390313390313,
75684
+ "grad_norm": 0.20068980753421783,
75685
+ "learning_rate": 1.7306486326989195e-05,
75686
+ "loss": 0.7336,
75687
+ "step": 10811
75688
+ },
75689
+ {
75690
+ "epoch": 12.314529914529915,
75691
+ "grad_norm": 0.2250603288412094,
75692
+ "learning_rate": 1.7302053388095256e-05,
75693
+ "loss": 0.6995,
75694
+ "step": 10812
75695
+ },
75696
+ {
75697
+ "epoch": 12.315669515669516,
75698
+ "grad_norm": 0.21724343299865723,
75699
+ "learning_rate": 1.7297620716572177e-05,
75700
+ "loss": 0.7542,
75701
+ "step": 10813
75702
+ },
75703
+ {
75704
+ "epoch": 12.316809116809116,
75705
+ "grad_norm": 0.3206590414047241,
75706
+ "learning_rate": 1.729318831257391e-05,
75707
+ "loss": 0.4611,
75708
+ "step": 10814
75709
+ },
75710
+ {
75711
+ "epoch": 12.317948717948719,
75712
+ "grad_norm": 0.20177413523197174,
75713
+ "learning_rate": 1.7288756176254406e-05,
75714
+ "loss": 0.6522,
75715
+ "step": 10815
75716
+ },
75717
+ {
75718
+ "epoch": 12.31908831908832,
75719
+ "grad_norm": 0.2285015881061554,
75720
+ "learning_rate": 1.7284324307767604e-05,
75721
+ "loss": 0.5431,
75722
+ "step": 10816
75723
+ },
75724
+ {
75725
+ "epoch": 12.32022792022792,
75726
+ "grad_norm": 0.17258432507514954,
75727
+ "learning_rate": 1.727989270726744e-05,
75728
+ "loss": 0.7312,
75729
+ "step": 10817
75730
+ },
75731
+ {
75732
+ "epoch": 12.321367521367522,
75733
+ "grad_norm": 0.21014466881752014,
75734
+ "learning_rate": 1.7275461374907825e-05,
75735
+ "loss": 0.7903,
75736
+ "step": 10818
75737
+ },
75738
+ {
75739
+ "epoch": 12.322507122507123,
75740
+ "grad_norm": 0.1585046947002411,
75741
+ "learning_rate": 1.7271030310842684e-05,
75742
+ "loss": 0.7555,
75743
+ "step": 10819
75744
+ },
75745
+ {
75746
+ "epoch": 12.323646723646723,
75747
+ "grad_norm": 0.19881057739257812,
75748
+ "learning_rate": 1.726659951522592e-05,
75749
+ "loss": 0.8694,
75750
+ "step": 10820
75751
+ },
75752
+ {
75753
+ "epoch": 12.324786324786325,
75754
+ "grad_norm": 0.2570485472679138,
75755
+ "learning_rate": 1.7262168988211413e-05,
75756
+ "loss": 0.5388,
75757
+ "step": 10821
75758
+ },
75759
+ {
75760
+ "epoch": 12.325925925925926,
75761
+ "grad_norm": 0.20987975597381592,
75762
+ "learning_rate": 1.7257738729953065e-05,
75763
+ "loss": 0.5459,
75764
+ "step": 10822
75765
+ },
75766
+ {
75767
+ "epoch": 12.327065527065526,
75768
+ "grad_norm": 0.24118657410144806,
75769
+ "learning_rate": 1.7253308740604736e-05,
75770
+ "loss": 0.4905,
75771
+ "step": 10823
75772
+ },
75773
+ {
75774
+ "epoch": 12.328205128205129,
75775
+ "grad_norm": 0.20755544304847717,
75776
+ "learning_rate": 1.7248879020320306e-05,
75777
+ "loss": 0.6382,
75778
+ "step": 10824
75779
+ },
75780
+ {
75781
+ "epoch": 12.32934472934473,
75782
+ "grad_norm": 0.19893032312393188,
75783
+ "learning_rate": 1.7244449569253616e-05,
75784
+ "loss": 0.8554,
75785
+ "step": 10825
75786
+ },
75787
+ {
75788
+ "epoch": 12.33048433048433,
75789
+ "grad_norm": 0.2536832094192505,
75790
+ "learning_rate": 1.7240020387558525e-05,
75791
+ "loss": 0.3889,
75792
+ "step": 10826
75793
+ },
75794
+ {
75795
+ "epoch": 12.331623931623932,
75796
+ "grad_norm": 0.20230743288993835,
75797
+ "learning_rate": 1.723559147538886e-05,
75798
+ "loss": 0.6262,
75799
+ "step": 10827
75800
+ },
75801
+ {
75802
+ "epoch": 12.332763532763533,
75803
+ "grad_norm": 0.19835615158081055,
75804
+ "learning_rate": 1.7231162832898462e-05,
75805
+ "loss": 0.7368,
75806
+ "step": 10828
75807
+ },
75808
+ {
75809
+ "epoch": 12.333903133903133,
75810
+ "grad_norm": 0.19229477643966675,
75811
+ "learning_rate": 1.7226734460241127e-05,
75812
+ "loss": 0.6124,
75813
+ "step": 10829
75814
+ },
75815
+ {
75816
+ "epoch": 12.335042735042736,
75817
+ "grad_norm": 0.20986317098140717,
75818
+ "learning_rate": 1.7222306357570696e-05,
75819
+ "loss": 0.8819,
75820
+ "step": 10830
75821
+ },
75822
+ {
75823
+ "epoch": 12.336182336182336,
75824
+ "grad_norm": 0.2248592972755432,
75825
+ "learning_rate": 1.7217878525040955e-05,
75826
+ "loss": 0.6465,
75827
+ "step": 10831
75828
+ },
75829
+ {
75830
+ "epoch": 12.337321937321937,
75831
+ "grad_norm": 0.21292966604232788,
75832
+ "learning_rate": 1.7213450962805685e-05,
75833
+ "loss": 0.7351,
75834
+ "step": 10832
75835
+ },
75836
+ {
75837
+ "epoch": 12.338461538461539,
75838
+ "grad_norm": 0.17942236363887787,
75839
+ "learning_rate": 1.7209023671018685e-05,
75840
+ "loss": 0.8832,
75841
+ "step": 10833
75842
+ },
75843
+ {
75844
+ "epoch": 12.33960113960114,
75845
+ "grad_norm": 0.1823773980140686,
75846
+ "learning_rate": 1.720459664983371e-05,
75847
+ "loss": 0.5213,
75848
+ "step": 10834
75849
+ },
75850
+ {
75851
+ "epoch": 12.34074074074074,
75852
+ "grad_norm": 0.2529001533985138,
75853
+ "learning_rate": 1.7200169899404534e-05,
75854
+ "loss": 0.6295,
75855
+ "step": 10835
75856
+ },
75857
+ {
75858
+ "epoch": 12.341880341880342,
75859
+ "grad_norm": 0.17539896070957184,
75860
+ "learning_rate": 1.719574341988491e-05,
75861
+ "loss": 0.7827,
75862
+ "step": 10836
75863
+ },
75864
+ {
75865
+ "epoch": 12.343019943019943,
75866
+ "grad_norm": 0.1981101632118225,
75867
+ "learning_rate": 1.7191317211428577e-05,
75868
+ "loss": 0.669,
75869
+ "step": 10837
75870
+ },
75871
+ {
75872
+ "epoch": 12.344159544159544,
75873
+ "grad_norm": 0.22740918397903442,
75874
+ "learning_rate": 1.718689127418927e-05,
75875
+ "loss": 0.6029,
75876
+ "step": 10838
75877
+ },
75878
+ {
75879
+ "epoch": 12.345299145299146,
75880
+ "grad_norm": 0.18608032166957855,
75881
+ "learning_rate": 1.7182465608320717e-05,
75882
+ "loss": 0.8558,
75883
+ "step": 10839
75884
+ },
75885
+ {
75886
+ "epoch": 12.346438746438746,
75887
+ "grad_norm": 0.22309254109859467,
75888
+ "learning_rate": 1.7178040213976623e-05,
75889
+ "loss": 0.6231,
75890
+ "step": 10840
75891
+ },
75892
+ {
75893
+ "epoch": 12.347578347578347,
75894
+ "grad_norm": 0.21621108055114746,
75895
+ "learning_rate": 1.7173615091310713e-05,
75896
+ "loss": 0.7582,
75897
+ "step": 10841
75898
+ },
75899
+ {
75900
+ "epoch": 12.34871794871795,
75901
+ "grad_norm": 0.18133021891117096,
75902
+ "learning_rate": 1.716919024047667e-05,
75903
+ "loss": 0.7135,
75904
+ "step": 10842
75905
+ },
75906
+ {
75907
+ "epoch": 12.34985754985755,
75908
+ "grad_norm": 0.22286663949489594,
75909
+ "learning_rate": 1.7164765661628192e-05,
75910
+ "loss": 0.6465,
75911
+ "step": 10843
75912
+ },
75913
+ {
75914
+ "epoch": 12.35099715099715,
75915
+ "grad_norm": 0.20079916715621948,
75916
+ "learning_rate": 1.716034135491894e-05,
75917
+ "loss": 0.6421,
75918
+ "step": 10844
75919
+ },
75920
+ {
75921
+ "epoch": 12.352136752136753,
75922
+ "grad_norm": 0.21749894320964813,
75923
+ "learning_rate": 1.7155917320502596e-05,
75924
+ "loss": 0.7368,
75925
+ "step": 10845
75926
+ },
75927
+ {
75928
+ "epoch": 12.353276353276353,
75929
+ "grad_norm": 0.21311548352241516,
75930
+ "learning_rate": 1.715149355853281e-05,
75931
+ "loss": 0.6545,
75932
+ "step": 10846
75933
+ },
75934
+ {
75935
+ "epoch": 12.354415954415954,
75936
+ "grad_norm": 0.1735820770263672,
75937
+ "learning_rate": 1.7147070069163247e-05,
75938
+ "loss": 0.9553,
75939
+ "step": 10847
75940
+ },
75941
+ {
75942
+ "epoch": 12.355555555555556,
75943
+ "grad_norm": 0.18377651274204254,
75944
+ "learning_rate": 1.7142646852547528e-05,
75945
+ "loss": 0.7713,
75946
+ "step": 10848
75947
+ },
75948
+ {
75949
+ "epoch": 12.356695156695157,
75950
+ "grad_norm": 0.2323378026485443,
75951
+ "learning_rate": 1.7138223908839296e-05,
75952
+ "loss": 0.851,
75953
+ "step": 10849
75954
+ },
75955
+ {
75956
+ "epoch": 12.357834757834757,
75957
+ "grad_norm": 0.21971707046031952,
75958
+ "learning_rate": 1.713380123819216e-05,
75959
+ "loss": 0.6503,
75960
+ "step": 10850
75961
+ },
75962
+ {
75963
+ "epoch": 12.35897435897436,
75964
+ "grad_norm": 0.22638419270515442,
75965
+ "learning_rate": 1.7129378840759735e-05,
75966
+ "loss": 0.6714,
75967
+ "step": 10851
75968
+ },
75969
+ {
75970
+ "epoch": 12.36011396011396,
75971
+ "grad_norm": 0.202363520860672,
75972
+ "learning_rate": 1.7124956716695643e-05,
75973
+ "loss": 0.7194,
75974
+ "step": 10852
75975
+ },
75976
+ {
75977
+ "epoch": 12.36125356125356,
75978
+ "grad_norm": 0.19767224788665771,
75979
+ "learning_rate": 1.712053486615345e-05,
75980
+ "loss": 0.6844,
75981
+ "step": 10853
75982
+ },
75983
+ {
75984
+ "epoch": 12.362393162393163,
75985
+ "grad_norm": 0.19901210069656372,
75986
+ "learning_rate": 1.7116113289286755e-05,
75987
+ "loss": 0.7594,
75988
+ "step": 10854
75989
+ },
75990
+ {
75991
+ "epoch": 12.363532763532763,
75992
+ "grad_norm": 0.22945459187030792,
75993
+ "learning_rate": 1.7111691986249124e-05,
75994
+ "loss": 0.7578,
75995
+ "step": 10855
75996
+ },
75997
+ {
75998
+ "epoch": 12.364672364672364,
75999
+ "grad_norm": 0.20821332931518555,
76000
+ "learning_rate": 1.7107270957194128e-05,
76001
+ "loss": 0.6723,
76002
+ "step": 10856
76003
+ },
76004
+ {
76005
+ "epoch": 12.365811965811966,
76006
+ "grad_norm": 0.18176351487636566,
76007
+ "learning_rate": 1.7102850202275312e-05,
76008
+ "loss": 0.7668,
76009
+ "step": 10857
76010
+ },
76011
+ {
76012
+ "epoch": 12.366951566951567,
76013
+ "grad_norm": 0.1840147227048874,
76014
+ "learning_rate": 1.7098429721646224e-05,
76015
+ "loss": 0.9512,
76016
+ "step": 10858
76017
+ },
76018
+ {
76019
+ "epoch": 12.368091168091167,
76020
+ "grad_norm": 0.20341096818447113,
76021
+ "learning_rate": 1.7094009515460403e-05,
76022
+ "loss": 0.7151,
76023
+ "step": 10859
76024
+ },
76025
+ {
76026
+ "epoch": 12.36923076923077,
76027
+ "grad_norm": 0.21524856984615326,
76028
+ "learning_rate": 1.708958958387138e-05,
76029
+ "loss": 0.6924,
76030
+ "step": 10860
76031
+ },
76032
+ {
76033
+ "epoch": 12.37037037037037,
76034
+ "grad_norm": 0.26379674673080444,
76035
+ "learning_rate": 1.7085169927032653e-05,
76036
+ "loss": 0.6872,
76037
+ "step": 10861
76038
+ },
76039
+ {
76040
+ "epoch": 12.37150997150997,
76041
+ "grad_norm": 0.1969965249300003,
76042
+ "learning_rate": 1.708075054509774e-05,
76043
+ "loss": 0.6073,
76044
+ "step": 10862
76045
+ },
76046
+ {
76047
+ "epoch": 12.372649572649573,
76048
+ "grad_norm": 0.18986299633979797,
76049
+ "learning_rate": 1.7076331438220145e-05,
76050
+ "loss": 0.6506,
76051
+ "step": 10863
76052
+ },
76053
+ {
76054
+ "epoch": 12.373789173789174,
76055
+ "grad_norm": 0.2116694152355194,
76056
+ "learning_rate": 1.707191260655335e-05,
76057
+ "loss": 0.5803,
76058
+ "step": 10864
76059
+ },
76060
+ {
76061
+ "epoch": 12.374928774928774,
76062
+ "grad_norm": 0.1978309452533722,
76063
+ "learning_rate": 1.7067494050250832e-05,
76064
+ "loss": 0.5744,
76065
+ "step": 10865
76066
+ },
76067
+ {
76068
+ "epoch": 12.376068376068377,
76069
+ "grad_norm": 0.22155092656612396,
76070
+ "learning_rate": 1.7063075769466055e-05,
76071
+ "loss": 0.568,
76072
+ "step": 10866
76073
+ },
76074
+ {
76075
+ "epoch": 12.377207977207977,
76076
+ "grad_norm": 0.21958346664905548,
76077
+ "learning_rate": 1.705865776435249e-05,
76078
+ "loss": 0.6179,
76079
+ "step": 10867
76080
+ },
76081
+ {
76082
+ "epoch": 12.378347578347578,
76083
+ "grad_norm": 0.24003711342811584,
76084
+ "learning_rate": 1.7054240035063572e-05,
76085
+ "loss": 0.6299,
76086
+ "step": 10868
76087
+ },
76088
+ {
76089
+ "epoch": 12.37948717948718,
76090
+ "grad_norm": 0.23949706554412842,
76091
+ "learning_rate": 1.7049822581752763e-05,
76092
+ "loss": 0.6282,
76093
+ "step": 10869
76094
+ },
76095
+ {
76096
+ "epoch": 12.38062678062678,
76097
+ "grad_norm": 0.20721937716007233,
76098
+ "learning_rate": 1.7045405404573464e-05,
76099
+ "loss": 0.7627,
76100
+ "step": 10870
76101
+ },
76102
+ {
76103
+ "epoch": 12.381766381766381,
76104
+ "grad_norm": 0.2312813550233841,
76105
+ "learning_rate": 1.7040988503679118e-05,
76106
+ "loss": 0.7129,
76107
+ "step": 10871
76108
+ },
76109
+ {
76110
+ "epoch": 12.382905982905983,
76111
+ "grad_norm": 0.22972968220710754,
76112
+ "learning_rate": 1.7036571879223123e-05,
76113
+ "loss": 0.5168,
76114
+ "step": 10872
76115
+ },
76116
+ {
76117
+ "epoch": 12.384045584045584,
76118
+ "grad_norm": 0.2056453377008438,
76119
+ "learning_rate": 1.7032155531358885e-05,
76120
+ "loss": 0.5596,
76121
+ "step": 10873
76122
+ },
76123
+ {
76124
+ "epoch": 12.385185185185184,
76125
+ "grad_norm": 0.23936963081359863,
76126
+ "learning_rate": 1.7027739460239797e-05,
76127
+ "loss": 0.6441,
76128
+ "step": 10874
76129
+ },
76130
+ {
76131
+ "epoch": 12.386324786324787,
76132
+ "grad_norm": 0.22788862884044647,
76133
+ "learning_rate": 1.7023323666019248e-05,
76134
+ "loss": 0.6808,
76135
+ "step": 10875
76136
+ },
76137
+ {
76138
+ "epoch": 12.387464387464387,
76139
+ "grad_norm": 0.17753151059150696,
76140
+ "learning_rate": 1.70189081488506e-05,
76141
+ "loss": 0.8624,
76142
+ "step": 10876
76143
+ },
76144
+ {
76145
+ "epoch": 12.388603988603988,
76146
+ "grad_norm": 0.2086041420698166,
76147
+ "learning_rate": 1.7014492908887226e-05,
76148
+ "loss": 0.496,
76149
+ "step": 10877
76150
+ },
76151
+ {
76152
+ "epoch": 12.38974358974359,
76153
+ "grad_norm": 0.29431894421577454,
76154
+ "learning_rate": 1.7010077946282466e-05,
76155
+ "loss": 0.4777,
76156
+ "step": 10878
76157
+ },
76158
+ {
76159
+ "epoch": 12.39088319088319,
76160
+ "grad_norm": 0.22070807218551636,
76161
+ "learning_rate": 1.7005663261189678e-05,
76162
+ "loss": 0.8056,
76163
+ "step": 10879
76164
+ },
76165
+ {
76166
+ "epoch": 12.392022792022791,
76167
+ "grad_norm": 0.1758912056684494,
76168
+ "learning_rate": 1.7001248853762184e-05,
76169
+ "loss": 0.7873,
76170
+ "step": 10880
76171
+ },
76172
+ {
76173
+ "epoch": 12.393162393162394,
76174
+ "grad_norm": 0.18746311962604523,
76175
+ "learning_rate": 1.6996834724153318e-05,
76176
+ "loss": 0.5918,
76177
+ "step": 10881
76178
+ },
76179
+ {
76180
+ "epoch": 12.394301994301994,
76181
+ "grad_norm": 0.2081279754638672,
76182
+ "learning_rate": 1.699242087251639e-05,
76183
+ "loss": 0.6617,
76184
+ "step": 10882
76185
+ },
76186
+ {
76187
+ "epoch": 12.395441595441595,
76188
+ "grad_norm": 0.17694391310214996,
76189
+ "learning_rate": 1.6988007299004704e-05,
76190
+ "loss": 0.8219,
76191
+ "step": 10883
76192
+ },
76193
+ {
76194
+ "epoch": 12.396581196581197,
76195
+ "grad_norm": 0.21463613212108612,
76196
+ "learning_rate": 1.698359400377155e-05,
76197
+ "loss": 0.6713,
76198
+ "step": 10884
76199
+ },
76200
+ {
76201
+ "epoch": 12.397720797720797,
76202
+ "grad_norm": 0.2681838274002075,
76203
+ "learning_rate": 1.697918098697023e-05,
76204
+ "loss": 0.4294,
76205
+ "step": 10885
76206
+ },
76207
+ {
76208
+ "epoch": 12.398860398860398,
76209
+ "grad_norm": 0.24642108380794525,
76210
+ "learning_rate": 1.6974768248754015e-05,
76211
+ "loss": 0.801,
76212
+ "step": 10886
76213
+ },
76214
+ {
76215
+ "epoch": 12.4,
76216
+ "grad_norm": 0.23168188333511353,
76217
+ "learning_rate": 1.6970355789276162e-05,
76218
+ "loss": 0.6824,
76219
+ "step": 10887
76220
+ },
76221
+ {
76222
+ "epoch": 12.401139601139601,
76223
+ "grad_norm": 0.19611448049545288,
76224
+ "learning_rate": 1.6965943608689938e-05,
76225
+ "loss": 0.7616,
76226
+ "step": 10888
76227
+ },
76228
+ {
76229
+ "epoch": 12.402279202279201,
76230
+ "grad_norm": 0.2129056453704834,
76231
+ "learning_rate": 1.6961531707148588e-05,
76232
+ "loss": 0.5648,
76233
+ "step": 10889
76234
+ },
76235
+ {
76236
+ "epoch": 12.403418803418804,
76237
+ "grad_norm": 0.2036651223897934,
76238
+ "learning_rate": 1.6957120084805344e-05,
76239
+ "loss": 0.6716,
76240
+ "step": 10890
76241
+ },
76242
+ {
76243
+ "epoch": 12.404558404558404,
76244
+ "grad_norm": 0.22893372178077698,
76245
+ "learning_rate": 1.6952708741813437e-05,
76246
+ "loss": 0.6018,
76247
+ "step": 10891
76248
+ },
76249
+ {
76250
+ "epoch": 12.405698005698005,
76251
+ "grad_norm": 0.1946319192647934,
76252
+ "learning_rate": 1.694829767832609e-05,
76253
+ "loss": 0.8137,
76254
+ "step": 10892
76255
+ },
76256
+ {
76257
+ "epoch": 12.406837606837607,
76258
+ "grad_norm": 0.2172234207391739,
76259
+ "learning_rate": 1.6943886894496503e-05,
76260
+ "loss": 0.7576,
76261
+ "step": 10893
76262
+ },
76263
+ {
76264
+ "epoch": 12.407977207977208,
76265
+ "grad_norm": 0.23911713063716888,
76266
+ "learning_rate": 1.6939476390477883e-05,
76267
+ "loss": 0.74,
76268
+ "step": 10894
76269
+ },
76270
+ {
76271
+ "epoch": 12.40911680911681,
76272
+ "grad_norm": 0.2226768434047699,
76273
+ "learning_rate": 1.69350661664234e-05,
76274
+ "loss": 0.6618,
76275
+ "step": 10895
76276
+ },
76277
+ {
76278
+ "epoch": 12.41025641025641,
76279
+ "grad_norm": 0.21871010959148407,
76280
+ "learning_rate": 1.6930656222486258e-05,
76281
+ "loss": 0.7467,
76282
+ "step": 10896
76283
+ },
76284
+ {
76285
+ "epoch": 12.411396011396011,
76286
+ "grad_norm": 0.16431699693202972,
76287
+ "learning_rate": 1.692624655881962e-05,
76288
+ "loss": 0.7324,
76289
+ "step": 10897
76290
+ },
76291
+ {
76292
+ "epoch": 12.412535612535613,
76293
+ "grad_norm": 0.20297163724899292,
76294
+ "learning_rate": 1.6921837175576634e-05,
76295
+ "loss": 0.6638,
76296
+ "step": 10898
76297
+ },
76298
+ {
76299
+ "epoch": 12.413675213675214,
76300
+ "grad_norm": 0.2928679287433624,
76301
+ "learning_rate": 1.6917428072910467e-05,
76302
+ "loss": 0.7598,
76303
+ "step": 10899
76304
+ },
76305
+ {
76306
+ "epoch": 12.414814814814815,
76307
+ "grad_norm": 0.18867497146129608,
76308
+ "learning_rate": 1.6913019250974244e-05,
76309
+ "loss": 0.7946,
76310
+ "step": 10900
76311
+ },
76312
+ {
76313
+ "epoch": 12.415954415954417,
76314
+ "grad_norm": 0.2605903446674347,
76315
+ "learning_rate": 1.6908610709921102e-05,
76316
+ "loss": 0.3366,
76317
+ "step": 10901
76318
+ },
76319
+ {
76320
+ "epoch": 12.417094017094017,
76321
+ "grad_norm": 0.18068283796310425,
76322
+ "learning_rate": 1.690420244990416e-05,
76323
+ "loss": 0.741,
76324
+ "step": 10902
76325
+ },
76326
+ {
76327
+ "epoch": 12.418233618233618,
76328
+ "grad_norm": 0.26920533180236816,
76329
+ "learning_rate": 1.6899794471076537e-05,
76330
+ "loss": 0.4441,
76331
+ "step": 10903
76332
+ },
76333
+ {
76334
+ "epoch": 12.41937321937322,
76335
+ "grad_norm": 0.26625603437423706,
76336
+ "learning_rate": 1.6895386773591324e-05,
76337
+ "loss": 0.7136,
76338
+ "step": 10904
76339
+ },
76340
+ {
76341
+ "epoch": 12.42051282051282,
76342
+ "grad_norm": 0.2134181559085846,
76343
+ "learning_rate": 1.6890979357601617e-05,
76344
+ "loss": 0.8128,
76345
+ "step": 10905
76346
+ },
76347
+ {
76348
+ "epoch": 12.421652421652421,
76349
+ "grad_norm": 0.18584464490413666,
76350
+ "learning_rate": 1.688657222326049e-05,
76351
+ "loss": 0.7526,
76352
+ "step": 10906
76353
+ },
76354
+ {
76355
+ "epoch": 12.422792022792024,
76356
+ "grad_norm": 0.19565482437610626,
76357
+ "learning_rate": 1.6882165370721025e-05,
76358
+ "loss": 0.8005,
76359
+ "step": 10907
76360
+ },
76361
+ {
76362
+ "epoch": 12.423931623931624,
76363
+ "grad_norm": 0.22352029383182526,
76364
+ "learning_rate": 1.6877758800136285e-05,
76365
+ "loss": 0.5997,
76366
+ "step": 10908
76367
+ },
76368
+ {
76369
+ "epoch": 12.425071225071225,
76370
+ "grad_norm": 0.18467660248279572,
76371
+ "learning_rate": 1.6873352511659317e-05,
76372
+ "loss": 0.7041,
76373
+ "step": 10909
76374
+ },
76375
+ {
76376
+ "epoch": 12.426210826210827,
76377
+ "grad_norm": 0.21925725042819977,
76378
+ "learning_rate": 1.6868946505443163e-05,
76379
+ "loss": 0.6993,
76380
+ "step": 10910
76381
+ },
76382
+ {
76383
+ "epoch": 12.427350427350428,
76384
+ "grad_norm": 0.18253867328166962,
76385
+ "learning_rate": 1.686454078164086e-05,
76386
+ "loss": 0.8133,
76387
+ "step": 10911
76388
+ },
76389
+ {
76390
+ "epoch": 12.428490028490028,
76391
+ "grad_norm": 0.2522498071193695,
76392
+ "learning_rate": 1.686013534040543e-05,
76393
+ "loss": 0.5022,
76394
+ "step": 10912
76395
+ },
76396
+ {
76397
+ "epoch": 12.42962962962963,
76398
+ "grad_norm": 0.20844027400016785,
76399
+ "learning_rate": 1.6855730181889877e-05,
76400
+ "loss": 0.7698,
76401
+ "step": 10913
76402
+ },
76403
+ {
76404
+ "epoch": 12.430769230769231,
76405
+ "grad_norm": 0.24319635331630707,
76406
+ "learning_rate": 1.6851325306247213e-05,
76407
+ "loss": 0.4736,
76408
+ "step": 10914
76409
+ },
76410
+ {
76411
+ "epoch": 12.431908831908832,
76412
+ "grad_norm": 0.20779003202915192,
76413
+ "learning_rate": 1.6846920713630436e-05,
76414
+ "loss": 0.608,
76415
+ "step": 10915
76416
+ },
76417
+ {
76418
+ "epoch": 12.433048433048434,
76419
+ "grad_norm": 0.273119181394577,
76420
+ "learning_rate": 1.6842516404192515e-05,
76421
+ "loss": 0.5014,
76422
+ "step": 10916
76423
+ },
76424
+ {
76425
+ "epoch": 12.434188034188034,
76426
+ "grad_norm": 0.20731210708618164,
76427
+ "learning_rate": 1.683811237808643e-05,
76428
+ "loss": 0.4557,
76429
+ "step": 10917
76430
+ },
76431
+ {
76432
+ "epoch": 12.435327635327635,
76433
+ "grad_norm": 0.1937895119190216,
76434
+ "learning_rate": 1.683370863546516e-05,
76435
+ "loss": 0.7014,
76436
+ "step": 10918
76437
+ },
76438
+ {
76439
+ "epoch": 12.436467236467237,
76440
+ "grad_norm": 0.2328297644853592,
76441
+ "learning_rate": 1.682930517648164e-05,
76442
+ "loss": 0.6301,
76443
+ "step": 10919
76444
+ },
76445
+ {
76446
+ "epoch": 12.437606837606838,
76447
+ "grad_norm": 0.21277906000614166,
76448
+ "learning_rate": 1.6824902001288826e-05,
76449
+ "loss": 0.585,
76450
+ "step": 10920
76451
+ },
76452
+ {
76453
+ "epoch": 12.438746438746438,
76454
+ "grad_norm": 0.22262638807296753,
76455
+ "learning_rate": 1.682049911003964e-05,
76456
+ "loss": 0.6298,
76457
+ "step": 10921
76458
+ },
76459
+ {
76460
+ "epoch": 12.43988603988604,
76461
+ "grad_norm": 0.21188397705554962,
76462
+ "learning_rate": 1.6816096502887017e-05,
76463
+ "loss": 0.6325,
76464
+ "step": 10922
76465
+ },
76466
+ {
76467
+ "epoch": 12.441025641025641,
76468
+ "grad_norm": 0.22162698209285736,
76469
+ "learning_rate": 1.681169417998387e-05,
76470
+ "loss": 0.6926,
76471
+ "step": 10923
76472
+ },
76473
+ {
76474
+ "epoch": 12.442165242165242,
76475
+ "grad_norm": 0.20816735923290253,
76476
+ "learning_rate": 1.6807292141483104e-05,
76477
+ "loss": 0.7027,
76478
+ "step": 10924
76479
+ },
76480
+ {
76481
+ "epoch": 12.443304843304844,
76482
+ "grad_norm": 0.24191802740097046,
76483
+ "learning_rate": 1.6802890387537608e-05,
76484
+ "loss": 0.6088,
76485
+ "step": 10925
76486
+ },
76487
+ {
76488
+ "epoch": 12.444444444444445,
76489
+ "grad_norm": 0.2472567856311798,
76490
+ "learning_rate": 1.679848891830027e-05,
76491
+ "loss": 0.5705,
76492
+ "step": 10926
76493
+ },
76494
+ {
76495
+ "epoch": 12.445584045584045,
76496
+ "grad_norm": 0.19793660938739777,
76497
+ "learning_rate": 1.6794087733923966e-05,
76498
+ "loss": 0.7335,
76499
+ "step": 10927
76500
+ },
76501
+ {
76502
+ "epoch": 12.446723646723648,
76503
+ "grad_norm": 0.2164766937494278,
76504
+ "learning_rate": 1.6789686834561557e-05,
76505
+ "loss": 0.8562,
76506
+ "step": 10928
76507
+ },
76508
+ {
76509
+ "epoch": 12.447863247863248,
76510
+ "grad_norm": 0.2467564195394516,
76511
+ "learning_rate": 1.678528622036591e-05,
76512
+ "loss": 0.5478,
76513
+ "step": 10929
76514
+ },
76515
+ {
76516
+ "epoch": 12.449002849002849,
76517
+ "grad_norm": 0.19778405129909515,
76518
+ "learning_rate": 1.678088589148986e-05,
76519
+ "loss": 0.7746,
76520
+ "step": 10930
76521
+ },
76522
+ {
76523
+ "epoch": 12.450142450142451,
76524
+ "grad_norm": 0.24205471575260162,
76525
+ "learning_rate": 1.677648584808625e-05,
76526
+ "loss": 0.4983,
76527
+ "step": 10931
76528
+ },
76529
+ {
76530
+ "epoch": 12.451282051282051,
76531
+ "grad_norm": 0.23273898661136627,
76532
+ "learning_rate": 1.6772086090307898e-05,
76533
+ "loss": 0.5497,
76534
+ "step": 10932
76535
+ },
76536
+ {
76537
+ "epoch": 12.452421652421652,
76538
+ "grad_norm": 0.24793747067451477,
76539
+ "learning_rate": 1.6767686618307628e-05,
76540
+ "loss": 0.5743,
76541
+ "step": 10933
76542
+ },
76543
+ {
76544
+ "epoch": 12.453561253561254,
76545
+ "grad_norm": 0.19684715569019318,
76546
+ "learning_rate": 1.676328743223823e-05,
76547
+ "loss": 0.8132,
76548
+ "step": 10934
76549
+ },
76550
+ {
76551
+ "epoch": 12.454700854700855,
76552
+ "grad_norm": 0.22554780542850494,
76553
+ "learning_rate": 1.675888853225252e-05,
76554
+ "loss": 0.623,
76555
+ "step": 10935
76556
+ },
76557
+ {
76558
+ "epoch": 12.455840455840455,
76559
+ "grad_norm": 0.2464742809534073,
76560
+ "learning_rate": 1.675448991850327e-05,
76561
+ "loss": 0.6751,
76562
+ "step": 10936
76563
+ },
76564
+ {
76565
+ "epoch": 12.456980056980058,
76566
+ "grad_norm": 0.19820618629455566,
76567
+ "learning_rate": 1.6750091591143263e-05,
76568
+ "loss": 0.6132,
76569
+ "step": 10937
76570
+ },
76571
+ {
76572
+ "epoch": 12.458119658119658,
76573
+ "grad_norm": 0.2199823409318924,
76574
+ "learning_rate": 1.674569355032526e-05,
76575
+ "loss": 0.7071,
76576
+ "step": 10938
76577
+ },
76578
+ {
76579
+ "epoch": 12.459259259259259,
76580
+ "grad_norm": 0.19806915521621704,
76581
+ "learning_rate": 1.674129579620201e-05,
76582
+ "loss": 0.6505,
76583
+ "step": 10939
76584
+ },
76585
+ {
76586
+ "epoch": 12.460398860398861,
76587
+ "grad_norm": 0.19808705151081085,
76588
+ "learning_rate": 1.6736898328926282e-05,
76589
+ "loss": 0.8088,
76590
+ "step": 10940
76591
+ },
76592
+ {
76593
+ "epoch": 12.461538461538462,
76594
+ "grad_norm": 0.21985428035259247,
76595
+ "learning_rate": 1.6732501148650795e-05,
76596
+ "loss": 0.6154,
76597
+ "step": 10941
76598
+ },
76599
+ {
76600
+ "epoch": 12.462678062678062,
76601
+ "grad_norm": 0.2526129484176636,
76602
+ "learning_rate": 1.6728104255528282e-05,
76603
+ "loss": 0.6772,
76604
+ "step": 10942
76605
+ },
76606
+ {
76607
+ "epoch": 12.463817663817665,
76608
+ "grad_norm": 0.28405681252479553,
76609
+ "learning_rate": 1.672370764971145e-05,
76610
+ "loss": 0.5673,
76611
+ "step": 10943
76612
+ },
76613
+ {
76614
+ "epoch": 12.464957264957265,
76615
+ "grad_norm": 0.1978614330291748,
76616
+ "learning_rate": 1.671931133135302e-05,
76617
+ "loss": 0.8093,
76618
+ "step": 10944
76619
+ },
76620
+ {
76621
+ "epoch": 12.466096866096866,
76622
+ "grad_norm": 0.20405744016170502,
76623
+ "learning_rate": 1.671491530060567e-05,
76624
+ "loss": 0.6331,
76625
+ "step": 10945
76626
+ },
76627
+ {
76628
+ "epoch": 12.467236467236468,
76629
+ "grad_norm": 0.17509637773036957,
76630
+ "learning_rate": 1.67105195576221e-05,
76631
+ "loss": 0.8965,
76632
+ "step": 10946
76633
+ },
76634
+ {
76635
+ "epoch": 12.468376068376068,
76636
+ "grad_norm": 0.2595173418521881,
76637
+ "learning_rate": 1.6706124102554983e-05,
76638
+ "loss": 0.5936,
76639
+ "step": 10947
76640
+ },
76641
+ {
76642
+ "epoch": 12.469515669515669,
76643
+ "grad_norm": 0.1783231645822525,
76644
+ "learning_rate": 1.6701728935556984e-05,
76645
+ "loss": 0.6488,
76646
+ "step": 10948
76647
+ },
76648
+ {
76649
+ "epoch": 12.470655270655271,
76650
+ "grad_norm": 0.18801869451999664,
76651
+ "learning_rate": 1.6697334056780755e-05,
76652
+ "loss": 0.6566,
76653
+ "step": 10949
76654
+ },
76655
+ {
76656
+ "epoch": 12.471794871794872,
76657
+ "grad_norm": 0.20684203505516052,
76658
+ "learning_rate": 1.6692939466378944e-05,
76659
+ "loss": 0.7693,
76660
+ "step": 10950
76661
+ },
76662
+ {
76663
+ "epoch": 12.472934472934472,
76664
+ "grad_norm": 0.2421393096446991,
76665
+ "learning_rate": 1.6688545164504194e-05,
76666
+ "loss": 0.5507,
76667
+ "step": 10951
76668
+ },
76669
+ {
76670
+ "epoch": 12.474074074074075,
76671
+ "grad_norm": 0.2938486337661743,
76672
+ "learning_rate": 1.668415115130913e-05,
76673
+ "loss": 0.4418,
76674
+ "step": 10952
76675
+ },
76676
+ {
76677
+ "epoch": 12.475213675213675,
76678
+ "grad_norm": 0.20215126872062683,
76679
+ "learning_rate": 1.6679757426946362e-05,
76680
+ "loss": 0.7922,
76681
+ "step": 10953
76682
+ },
76683
+ {
76684
+ "epoch": 12.476353276353276,
76685
+ "grad_norm": 0.19147877395153046,
76686
+ "learning_rate": 1.6675363991568503e-05,
76687
+ "loss": 0.5436,
76688
+ "step": 10954
76689
+ },
76690
+ {
76691
+ "epoch": 12.477492877492878,
76692
+ "grad_norm": 0.22713878750801086,
76693
+ "learning_rate": 1.6670970845328142e-05,
76694
+ "loss": 0.7034,
76695
+ "step": 10955
76696
+ },
76697
+ {
76698
+ "epoch": 12.478632478632479,
76699
+ "grad_norm": 0.2423946112394333,
76700
+ "learning_rate": 1.6666577988377875e-05,
76701
+ "loss": 0.525,
76702
+ "step": 10956
76703
+ },
76704
+ {
76705
+ "epoch": 12.47977207977208,
76706
+ "grad_norm": 0.2133038491010666,
76707
+ "learning_rate": 1.6662185420870265e-05,
76708
+ "loss": 0.5818,
76709
+ "step": 10957
76710
+ },
76711
+ {
76712
+ "epoch": 12.480911680911682,
76713
+ "grad_norm": 0.23854395747184753,
76714
+ "learning_rate": 1.6657793142957883e-05,
76715
+ "loss": 0.4953,
76716
+ "step": 10958
76717
+ },
76718
+ {
76719
+ "epoch": 12.482051282051282,
76720
+ "grad_norm": 0.24194027483463287,
76721
+ "learning_rate": 1.665340115479329e-05,
76722
+ "loss": 0.8131,
76723
+ "step": 10959
76724
+ },
76725
+ {
76726
+ "epoch": 12.483190883190883,
76727
+ "grad_norm": 0.190907284617424,
76728
+ "learning_rate": 1.664900945652903e-05,
76729
+ "loss": 0.9208,
76730
+ "step": 10960
76731
+ },
76732
+ {
76733
+ "epoch": 12.484330484330485,
76734
+ "grad_norm": 0.22213807702064514,
76735
+ "learning_rate": 1.6644618048317625e-05,
76736
+ "loss": 0.8089,
76737
+ "step": 10961
76738
+ },
76739
+ {
76740
+ "epoch": 12.485470085470086,
76741
+ "grad_norm": 0.20240817964076996,
76742
+ "learning_rate": 1.664022693031162e-05,
76743
+ "loss": 0.9218,
76744
+ "step": 10962
76745
+ },
76746
+ {
76747
+ "epoch": 12.486609686609686,
76748
+ "grad_norm": 0.22596926987171173,
76749
+ "learning_rate": 1.6635836102663527e-05,
76750
+ "loss": 0.6796,
76751
+ "step": 10963
76752
+ },
76753
+ {
76754
+ "epoch": 12.487749287749288,
76755
+ "grad_norm": 0.21198280155658722,
76756
+ "learning_rate": 1.6631445565525845e-05,
76757
+ "loss": 0.5697,
76758
+ "step": 10964
76759
+ },
76760
+ {
76761
+ "epoch": 12.488888888888889,
76762
+ "grad_norm": 0.19748011231422424,
76763
+ "learning_rate": 1.6627055319051076e-05,
76764
+ "loss": 0.5982,
76765
+ "step": 10965
76766
+ },
76767
+ {
76768
+ "epoch": 12.49002849002849,
76769
+ "grad_norm": 0.3053680956363678,
76770
+ "learning_rate": 1.6622665363391697e-05,
76771
+ "loss": 0.5573,
76772
+ "step": 10966
76773
+ },
76774
+ {
76775
+ "epoch": 12.491168091168092,
76776
+ "grad_norm": 0.22078709304332733,
76777
+ "learning_rate": 1.6618275698700193e-05,
76778
+ "loss": 0.9135,
76779
+ "step": 10967
76780
+ },
76781
+ {
76782
+ "epoch": 12.492307692307692,
76783
+ "grad_norm": 0.18783444166183472,
76784
+ "learning_rate": 1.6613886325129015e-05,
76785
+ "loss": 0.7731,
76786
+ "step": 10968
76787
+ },
76788
+ {
76789
+ "epoch": 12.493447293447293,
76790
+ "grad_norm": 0.2591036260128021,
76791
+ "learning_rate": 1.6609497242830633e-05,
76792
+ "loss": 0.5407,
76793
+ "step": 10969
76794
+ },
76795
+ {
76796
+ "epoch": 12.494586894586895,
76797
+ "grad_norm": 0.2199113816022873,
76798
+ "learning_rate": 1.6605108451957485e-05,
76799
+ "loss": 0.7096,
76800
+ "step": 10970
76801
+ },
76802
+ {
76803
+ "epoch": 12.495726495726496,
76804
+ "grad_norm": 0.2580206096172333,
76805
+ "learning_rate": 1.660071995266201e-05,
76806
+ "loss": 0.7711,
76807
+ "step": 10971
76808
+ },
76809
+ {
76810
+ "epoch": 12.496866096866096,
76811
+ "grad_norm": 0.2157939374446869,
76812
+ "learning_rate": 1.6596331745096615e-05,
76813
+ "loss": 0.7494,
76814
+ "step": 10972
76815
+ },
76816
+ {
76817
+ "epoch": 12.498005698005699,
76818
+ "grad_norm": 0.18810850381851196,
76819
+ "learning_rate": 1.6591943829413737e-05,
76820
+ "loss": 0.5819,
76821
+ "step": 10973
76822
+ },
76823
+ {
76824
+ "epoch": 12.4991452991453,
76825
+ "grad_norm": 0.23743487894535065,
76826
+ "learning_rate": 1.6587556205765777e-05,
76827
+ "loss": 0.5564,
76828
+ "step": 10974
76829
+ },
76830
+ {
76831
+ "epoch": 12.5002849002849,
76832
+ "grad_norm": 0.22389283776283264,
76833
+ "learning_rate": 1.6583168874305118e-05,
76834
+ "loss": 0.6437,
76835
+ "step": 10975
76836
+ },
76837
+ {
76838
+ "epoch": 12.501424501424502,
76839
+ "grad_norm": 0.19681458175182343,
76840
+ "learning_rate": 1.6578781835184155e-05,
76841
+ "loss": 0.7081,
76842
+ "step": 10976
76843
+ },
76844
+ {
76845
+ "epoch": 12.502564102564103,
76846
+ "grad_norm": 0.1927095651626587,
76847
+ "learning_rate": 1.6574395088555253e-05,
76848
+ "loss": 0.6656,
76849
+ "step": 10977
76850
+ },
76851
+ {
76852
+ "epoch": 12.503703703703703,
76853
+ "grad_norm": 0.17713747918605804,
76854
+ "learning_rate": 1.6570008634570786e-05,
76855
+ "loss": 0.7476,
76856
+ "step": 10978
76857
+ },
76858
+ {
76859
+ "epoch": 12.504843304843305,
76860
+ "grad_norm": 0.24266201257705688,
76861
+ "learning_rate": 1.6565622473383095e-05,
76862
+ "loss": 0.6614,
76863
+ "step": 10979
76864
+ },
76865
+ {
76866
+ "epoch": 12.505982905982906,
76867
+ "grad_norm": 0.1891140341758728,
76868
+ "learning_rate": 1.6561236605144537e-05,
76869
+ "loss": 0.8354,
76870
+ "step": 10980
76871
+ },
76872
+ {
76873
+ "epoch": 12.507122507122507,
76874
+ "grad_norm": 0.17886357009410858,
76875
+ "learning_rate": 1.655685103000743e-05,
76876
+ "loss": 0.5899,
76877
+ "step": 10981
76878
+ },
76879
+ {
76880
+ "epoch": 12.508262108262109,
76881
+ "grad_norm": 0.1950901299715042,
76882
+ "learning_rate": 1.6552465748124116e-05,
76883
+ "loss": 0.8008,
76884
+ "step": 10982
76885
+ },
76886
+ {
76887
+ "epoch": 12.50940170940171,
76888
+ "grad_norm": 0.22581149637699127,
76889
+ "learning_rate": 1.6548080759646883e-05,
76890
+ "loss": 0.5845,
76891
+ "step": 10983
76892
+ },
76893
+ {
76894
+ "epoch": 12.51054131054131,
76895
+ "grad_norm": 0.16622164845466614,
76896
+ "learning_rate": 1.6543696064728053e-05,
76897
+ "loss": 0.7195,
76898
+ "step": 10984
76899
+ },
76900
+ {
76901
+ "epoch": 12.511680911680912,
76902
+ "grad_norm": 0.1869547814130783,
76903
+ "learning_rate": 1.6539311663519925e-05,
76904
+ "loss": 0.8042,
76905
+ "step": 10985
76906
+ },
76907
+ {
76908
+ "epoch": 12.512820512820513,
76909
+ "grad_norm": 0.2045227736234665,
76910
+ "learning_rate": 1.6534927556174756e-05,
76911
+ "loss": 0.6094,
76912
+ "step": 10986
76913
+ },
76914
+ {
76915
+ "epoch": 12.513960113960113,
76916
+ "grad_norm": 0.2639092803001404,
76917
+ "learning_rate": 1.6530543742844843e-05,
76918
+ "loss": 0.4522,
76919
+ "step": 10987
76920
+ },
76921
+ {
76922
+ "epoch": 12.515099715099716,
76923
+ "grad_norm": 0.20233054459095,
76924
+ "learning_rate": 1.652616022368243e-05,
76925
+ "loss": 0.8569,
76926
+ "step": 10988
76927
+ },
76928
+ {
76929
+ "epoch": 12.516239316239316,
76930
+ "grad_norm": 0.19802075624465942,
76931
+ "learning_rate": 1.652177699883978e-05,
76932
+ "loss": 0.6387,
76933
+ "step": 10989
76934
+ },
76935
+ {
76936
+ "epoch": 12.517378917378917,
76937
+ "grad_norm": 0.20674096047878265,
76938
+ "learning_rate": 1.6517394068469128e-05,
76939
+ "loss": 0.8587,
76940
+ "step": 10990
76941
+ },
76942
+ {
76943
+ "epoch": 12.518518518518519,
76944
+ "grad_norm": 0.20811493694782257,
76945
+ "learning_rate": 1.6513011432722708e-05,
76946
+ "loss": 0.7051,
76947
+ "step": 10991
76948
+ },
76949
+ {
76950
+ "epoch": 12.51965811965812,
76951
+ "grad_norm": 0.18526801466941833,
76952
+ "learning_rate": 1.6508629091752736e-05,
76953
+ "loss": 0.6825,
76954
+ "step": 10992
76955
+ },
76956
+ {
76957
+ "epoch": 12.52079772079772,
76958
+ "grad_norm": 0.2324620634317398,
76959
+ "learning_rate": 1.650424704571143e-05,
76960
+ "loss": 0.6098,
76961
+ "step": 10993
76962
+ },
76963
+ {
76964
+ "epoch": 12.521937321937322,
76965
+ "grad_norm": 0.22030244767665863,
76966
+ "learning_rate": 1.649986529475098e-05,
76967
+ "loss": 0.5876,
76968
+ "step": 10994
76969
+ },
76970
+ {
76971
+ "epoch": 12.523076923076923,
76972
+ "grad_norm": 0.20725619792938232,
76973
+ "learning_rate": 1.6495483839023595e-05,
76974
+ "loss": 0.6561,
76975
+ "step": 10995
76976
+ },
76977
+ {
76978
+ "epoch": 12.524216524216524,
76979
+ "grad_norm": 0.19436527788639069,
76980
+ "learning_rate": 1.6491102678681436e-05,
76981
+ "loss": 0.6815,
76982
+ "step": 10996
76983
+ },
76984
+ {
76985
+ "epoch": 12.525356125356126,
76986
+ "grad_norm": 0.2555645704269409,
76987
+ "learning_rate": 1.6486721813876686e-05,
76988
+ "loss": 0.4067,
76989
+ "step": 10997
76990
+ },
76991
+ {
76992
+ "epoch": 12.526495726495726,
76993
+ "grad_norm": 0.2308678776025772,
76994
+ "learning_rate": 1.6482341244761502e-05,
76995
+ "loss": 0.7071,
76996
+ "step": 10998
76997
+ },
76998
+ {
76999
+ "epoch": 12.527635327635327,
77000
+ "grad_norm": 0.2093668431043625,
77001
+ "learning_rate": 1.6477960971488028e-05,
77002
+ "loss": 0.6203,
77003
+ "step": 10999
77004
+ },
77005
+ {
77006
+ "epoch": 12.52877492877493,
77007
+ "grad_norm": 0.26428475975990295,
77008
+ "learning_rate": 1.6473580994208398e-05,
77009
+ "loss": 0.3758,
77010
+ "step": 11000
77011
+ },
77012
+ {
77013
+ "epoch": 12.52991452991453,
77014
+ "grad_norm": 0.22192619740962982,
77015
+ "learning_rate": 1.6469201313074756e-05,
77016
+ "loss": 0.5943,
77017
+ "step": 11001
77018
+ },
77019
+ {
77020
+ "epoch": 12.53105413105413,
77021
+ "grad_norm": 0.2347877025604248,
77022
+ "learning_rate": 1.646482192823921e-05,
77023
+ "loss": 0.7203,
77024
+ "step": 11002
77025
+ },
77026
+ {
77027
+ "epoch": 12.532193732193733,
77028
+ "grad_norm": 0.20047219097614288,
77029
+ "learning_rate": 1.646044283985387e-05,
77030
+ "loss": 0.6711,
77031
+ "step": 11003
77032
+ },
77033
+ {
77034
+ "epoch": 12.533333333333333,
77035
+ "grad_norm": 0.2244284749031067,
77036
+ "learning_rate": 1.6456064048070832e-05,
77037
+ "loss": 0.4248,
77038
+ "step": 11004
77039
+ },
77040
+ {
77041
+ "epoch": 12.534472934472934,
77042
+ "grad_norm": 0.1928756833076477,
77043
+ "learning_rate": 1.645168555304218e-05,
77044
+ "loss": 0.8309,
77045
+ "step": 11005
77046
+ },
77047
+ {
77048
+ "epoch": 12.535612535612536,
77049
+ "grad_norm": 0.24166139960289001,
77050
+ "learning_rate": 1.6447307354920005e-05,
77051
+ "loss": 0.49,
77052
+ "step": 11006
77053
+ },
77054
+ {
77055
+ "epoch": 12.536752136752137,
77056
+ "grad_norm": 0.19183756411075592,
77057
+ "learning_rate": 1.6442929453856364e-05,
77058
+ "loss": 0.7716,
77059
+ "step": 11007
77060
+ },
77061
+ {
77062
+ "epoch": 12.537891737891737,
77063
+ "grad_norm": 0.21705985069274902,
77064
+ "learning_rate": 1.643855185000332e-05,
77065
+ "loss": 0.7428,
77066
+ "step": 11008
77067
+ },
77068
+ {
77069
+ "epoch": 12.53903133903134,
77070
+ "grad_norm": 0.1837446242570877,
77071
+ "learning_rate": 1.6434174543512905e-05,
77072
+ "loss": 0.6945,
77073
+ "step": 11009
77074
+ },
77075
+ {
77076
+ "epoch": 12.54017094017094,
77077
+ "grad_norm": 0.17365996539592743,
77078
+ "learning_rate": 1.6429797534537172e-05,
77079
+ "loss": 0.8055,
77080
+ "step": 11010
77081
+ },
77082
+ {
77083
+ "epoch": 12.54131054131054,
77084
+ "grad_norm": 0.24148063361644745,
77085
+ "learning_rate": 1.642542082322813e-05,
77086
+ "loss": 0.83,
77087
+ "step": 11011
77088
+ },
77089
+ {
77090
+ "epoch": 12.542450142450143,
77091
+ "grad_norm": 0.24556422233581543,
77092
+ "learning_rate": 1.6421044409737817e-05,
77093
+ "loss": 0.5919,
77094
+ "step": 11012
77095
+ },
77096
+ {
77097
+ "epoch": 12.543589743589743,
77098
+ "grad_norm": 0.2238049954175949,
77099
+ "learning_rate": 1.6416668294218213e-05,
77100
+ "loss": 0.6238,
77101
+ "step": 11013
77102
+ },
77103
+ {
77104
+ "epoch": 12.544729344729344,
77105
+ "grad_norm": 0.2636539340019226,
77106
+ "learning_rate": 1.6412292476821328e-05,
77107
+ "loss": 0.4099,
77108
+ "step": 11014
77109
+ },
77110
+ {
77111
+ "epoch": 12.545868945868946,
77112
+ "grad_norm": 0.17827825248241425,
77113
+ "learning_rate": 1.6407916957699136e-05,
77114
+ "loss": 0.8987,
77115
+ "step": 11015
77116
+ },
77117
+ {
77118
+ "epoch": 12.547008547008547,
77119
+ "grad_norm": 0.2063855081796646,
77120
+ "learning_rate": 1.6403541737003613e-05,
77121
+ "loss": 0.6717,
77122
+ "step": 11016
77123
+ },
77124
+ {
77125
+ "epoch": 12.548148148148147,
77126
+ "grad_norm": 0.2015405148267746,
77127
+ "learning_rate": 1.6399166814886736e-05,
77128
+ "loss": 0.6795,
77129
+ "step": 11017
77130
+ },
77131
+ {
77132
+ "epoch": 12.54928774928775,
77133
+ "grad_norm": 0.1882464587688446,
77134
+ "learning_rate": 1.6394792191500443e-05,
77135
+ "loss": 0.6898,
77136
+ "step": 11018
77137
+ },
77138
+ {
77139
+ "epoch": 12.55042735042735,
77140
+ "grad_norm": 0.2405157834291458,
77141
+ "learning_rate": 1.639041786699669e-05,
77142
+ "loss": 0.738,
77143
+ "step": 11019
77144
+ },
77145
+ {
77146
+ "epoch": 12.55156695156695,
77147
+ "grad_norm": 0.2269430160522461,
77148
+ "learning_rate": 1.638604384152739e-05,
77149
+ "loss": 0.66,
77150
+ "step": 11020
77151
+ },
77152
+ {
77153
+ "epoch": 12.552706552706553,
77154
+ "grad_norm": 0.24743977189064026,
77155
+ "learning_rate": 1.638167011524448e-05,
77156
+ "loss": 0.3647,
77157
+ "step": 11021
77158
+ },
77159
+ {
77160
+ "epoch": 12.553846153846154,
77161
+ "grad_norm": 0.2229391634464264,
77162
+ "learning_rate": 1.6377296688299866e-05,
77163
+ "loss": 0.8568,
77164
+ "step": 11022
77165
+ },
77166
+ {
77167
+ "epoch": 12.554985754985754,
77168
+ "grad_norm": 0.2505655884742737,
77169
+ "learning_rate": 1.6372923560845454e-05,
77170
+ "loss": 0.5591,
77171
+ "step": 11023
77172
+ },
77173
+ {
77174
+ "epoch": 12.556125356125357,
77175
+ "grad_norm": 0.23933634161949158,
77176
+ "learning_rate": 1.636855073303313e-05,
77177
+ "loss": 0.7009,
77178
+ "step": 11024
77179
+ },
77180
+ {
77181
+ "epoch": 12.557264957264957,
77182
+ "grad_norm": 0.2654150128364563,
77183
+ "learning_rate": 1.636417820501478e-05,
77184
+ "loss": 0.5882,
77185
+ "step": 11025
77186
+ },
77187
+ {
77188
+ "epoch": 12.558404558404558,
77189
+ "grad_norm": 0.1851956993341446,
77190
+ "learning_rate": 1.635980597694226e-05,
77191
+ "loss": 0.8961,
77192
+ "step": 11026
77193
+ },
77194
+ {
77195
+ "epoch": 12.55954415954416,
77196
+ "grad_norm": 0.2490128129720688,
77197
+ "learning_rate": 1.6355434048967434e-05,
77198
+ "loss": 0.6622,
77199
+ "step": 11027
77200
+ },
77201
+ {
77202
+ "epoch": 12.56068376068376,
77203
+ "grad_norm": 0.19830764830112457,
77204
+ "learning_rate": 1.6351062421242162e-05,
77205
+ "loss": 0.631,
77206
+ "step": 11028
77207
+ },
77208
+ {
77209
+ "epoch": 12.561823361823361,
77210
+ "grad_norm": 0.17523930966854095,
77211
+ "learning_rate": 1.6346691093918287e-05,
77212
+ "loss": 0.8467,
77213
+ "step": 11029
77214
+ },
77215
+ {
77216
+ "epoch": 12.562962962962963,
77217
+ "grad_norm": 0.19710446894168854,
77218
+ "learning_rate": 1.6342320067147618e-05,
77219
+ "loss": 0.7908,
77220
+ "step": 11030
77221
+ },
77222
+ {
77223
+ "epoch": 12.564102564102564,
77224
+ "grad_norm": 0.17316338419914246,
77225
+ "learning_rate": 1.6337949341081986e-05,
77226
+ "loss": 0.7468,
77227
+ "step": 11031
77228
+ },
77229
+ {
77230
+ "epoch": 12.565242165242164,
77231
+ "grad_norm": 0.21457502245903015,
77232
+ "learning_rate": 1.633357891587319e-05,
77233
+ "loss": 0.9224,
77234
+ "step": 11032
77235
+ },
77236
+ {
77237
+ "epoch": 12.566381766381767,
77238
+ "grad_norm": 0.24812400341033936,
77239
+ "learning_rate": 1.6329208791673037e-05,
77240
+ "loss": 0.519,
77241
+ "step": 11033
77242
+ },
77243
+ {
77244
+ "epoch": 12.567521367521367,
77245
+ "grad_norm": 0.22866606712341309,
77246
+ "learning_rate": 1.6324838968633303e-05,
77247
+ "loss": 0.5053,
77248
+ "step": 11034
77249
+ },
77250
+ {
77251
+ "epoch": 12.568660968660968,
77252
+ "grad_norm": 0.18968430161476135,
77253
+ "learning_rate": 1.6320469446905773e-05,
77254
+ "loss": 0.9831,
77255
+ "step": 11035
77256
+ },
77257
+ {
77258
+ "epoch": 12.56980056980057,
77259
+ "grad_norm": 0.20741485059261322,
77260
+ "learning_rate": 1.63161002266422e-05,
77261
+ "loss": 0.8396,
77262
+ "step": 11036
77263
+ },
77264
+ {
77265
+ "epoch": 12.57094017094017,
77266
+ "grad_norm": 0.16728100180625916,
77267
+ "learning_rate": 1.6311731307994356e-05,
77268
+ "loss": 0.8375,
77269
+ "step": 11037
77270
+ },
77271
+ {
77272
+ "epoch": 12.572079772079771,
77273
+ "grad_norm": 0.21869726479053497,
77274
+ "learning_rate": 1.6307362691113967e-05,
77275
+ "loss": 0.7689,
77276
+ "step": 11038
77277
+ },
77278
+ {
77279
+ "epoch": 12.573219373219374,
77280
+ "grad_norm": 0.2434314489364624,
77281
+ "learning_rate": 1.6302994376152776e-05,
77282
+ "loss": 0.7189,
77283
+ "step": 11039
77284
+ },
77285
+ {
77286
+ "epoch": 12.574358974358974,
77287
+ "grad_norm": 0.18562611937522888,
77288
+ "learning_rate": 1.6298626363262515e-05,
77289
+ "loss": 0.6075,
77290
+ "step": 11040
77291
+ },
77292
+ {
77293
+ "epoch": 12.575498575498575,
77294
+ "grad_norm": 0.2555478811264038,
77295
+ "learning_rate": 1.6294258652594883e-05,
77296
+ "loss": 0.5631,
77297
+ "step": 11041
77298
+ },
77299
+ {
77300
+ "epoch": 12.576638176638177,
77301
+ "grad_norm": 0.2179694026708603,
77302
+ "learning_rate": 1.6289891244301595e-05,
77303
+ "loss": 0.7161,
77304
+ "step": 11042
77305
+ },
77306
+ {
77307
+ "epoch": 12.577777777777778,
77308
+ "grad_norm": 0.250118613243103,
77309
+ "learning_rate": 1.628552413853433e-05,
77310
+ "loss": 0.7754,
77311
+ "step": 11043
77312
+ },
77313
+ {
77314
+ "epoch": 12.578917378917378,
77315
+ "grad_norm": 0.20918738842010498,
77316
+ "learning_rate": 1.6281157335444785e-05,
77317
+ "loss": 0.6769,
77318
+ "step": 11044
77319
+ },
77320
+ {
77321
+ "epoch": 12.58005698005698,
77322
+ "grad_norm": 0.2173689305782318,
77323
+ "learning_rate": 1.627679083518462e-05,
77324
+ "loss": 0.8834,
77325
+ "step": 11045
77326
+ },
77327
+ {
77328
+ "epoch": 12.581196581196581,
77329
+ "grad_norm": 0.252636581659317,
77330
+ "learning_rate": 1.62724246379055e-05,
77331
+ "loss": 0.6731,
77332
+ "step": 11046
77333
+ },
77334
+ {
77335
+ "epoch": 12.582336182336181,
77336
+ "grad_norm": 0.2242475003004074,
77337
+ "learning_rate": 1.6268058743759064e-05,
77338
+ "loss": 0.6637,
77339
+ "step": 11047
77340
+ },
77341
+ {
77342
+ "epoch": 12.583475783475784,
77343
+ "grad_norm": 0.21343784034252167,
77344
+ "learning_rate": 1.626369315289697e-05,
77345
+ "loss": 0.6821,
77346
+ "step": 11048
77347
+ },
77348
+ {
77349
+ "epoch": 12.584615384615384,
77350
+ "grad_norm": 0.20597362518310547,
77351
+ "learning_rate": 1.6259327865470834e-05,
77352
+ "loss": 0.7599,
77353
+ "step": 11049
77354
+ },
77355
+ {
77356
+ "epoch": 12.585754985754985,
77357
+ "grad_norm": 0.19783805310726166,
77358
+ "learning_rate": 1.625496288163227e-05,
77359
+ "loss": 0.8005,
77360
+ "step": 11050
77361
+ },
77362
+ {
77363
+ "epoch": 12.586894586894587,
77364
+ "grad_norm": 0.20493733882904053,
77365
+ "learning_rate": 1.6250598201532907e-05,
77366
+ "loss": 0.8026,
77367
+ "step": 11051
77368
+ },
77369
+ {
77370
+ "epoch": 12.588034188034188,
77371
+ "grad_norm": 0.20619259774684906,
77372
+ "learning_rate": 1.6246233825324324e-05,
77373
+ "loss": 0.6866,
77374
+ "step": 11052
77375
+ },
77376
+ {
77377
+ "epoch": 12.589173789173788,
77378
+ "grad_norm": 0.16386501491069794,
77379
+ "learning_rate": 1.624186975315812e-05,
77380
+ "loss": 0.6641,
77381
+ "step": 11053
77382
+ },
77383
+ {
77384
+ "epoch": 12.59031339031339,
77385
+ "grad_norm": 0.1730891913175583,
77386
+ "learning_rate": 1.6237505985185853e-05,
77387
+ "loss": 0.7881,
77388
+ "step": 11054
77389
+ },
77390
+ {
77391
+ "epoch": 12.591452991452991,
77392
+ "grad_norm": 0.19879373908042908,
77393
+ "learning_rate": 1.6233142521559108e-05,
77394
+ "loss": 0.7469,
77395
+ "step": 11055
77396
+ },
77397
+ {
77398
+ "epoch": 12.592592592592592,
77399
+ "grad_norm": 0.27814745903015137,
77400
+ "learning_rate": 1.622877936242943e-05,
77401
+ "loss": 0.6045,
77402
+ "step": 11056
77403
+ },
77404
+ {
77405
+ "epoch": 12.593732193732194,
77406
+ "grad_norm": 0.16927435994148254,
77407
+ "learning_rate": 1.6224416507948366e-05,
77408
+ "loss": 0.8278,
77409
+ "step": 11057
77410
+ },
77411
+ {
77412
+ "epoch": 12.594871794871795,
77413
+ "grad_norm": 0.16074690222740173,
77414
+ "learning_rate": 1.6220053958267447e-05,
77415
+ "loss": 0.8925,
77416
+ "step": 11058
77417
+ },
77418
+ {
77419
+ "epoch": 12.596011396011395,
77420
+ "grad_norm": 0.23557724058628082,
77421
+ "learning_rate": 1.6215691713538207e-05,
77422
+ "loss": 0.5533,
77423
+ "step": 11059
77424
+ },
77425
+ {
77426
+ "epoch": 12.597150997150997,
77427
+ "grad_norm": 0.18923786282539368,
77428
+ "learning_rate": 1.621132977391214e-05,
77429
+ "loss": 0.7038,
77430
+ "step": 11060
77431
+ },
77432
+ {
77433
+ "epoch": 12.598290598290598,
77434
+ "grad_norm": 0.2361970990896225,
77435
+ "learning_rate": 1.6206968139540758e-05,
77436
+ "loss": 0.6842,
77437
+ "step": 11061
77438
+ },
77439
+ {
77440
+ "epoch": 12.5994301994302,
77441
+ "grad_norm": 0.23810768127441406,
77442
+ "learning_rate": 1.6202606810575564e-05,
77443
+ "loss": 0.5675,
77444
+ "step": 11062
77445
+ },
77446
+ {
77447
+ "epoch": 12.6005698005698,
77448
+ "grad_norm": 0.1956935077905655,
77449
+ "learning_rate": 1.619824578716802e-05,
77450
+ "loss": 0.885,
77451
+ "step": 11063
77452
+ },
77453
+ {
77454
+ "epoch": 12.601709401709401,
77455
+ "grad_norm": 0.2303309291601181,
77456
+ "learning_rate": 1.619388506946961e-05,
77457
+ "loss": 0.6753,
77458
+ "step": 11064
77459
+ },
77460
+ {
77461
+ "epoch": 12.602849002849004,
77462
+ "grad_norm": 0.2104651927947998,
77463
+ "learning_rate": 1.618952465763179e-05,
77464
+ "loss": 0.622,
77465
+ "step": 11065
77466
+ },
77467
+ {
77468
+ "epoch": 12.603988603988604,
77469
+ "grad_norm": 0.20536163449287415,
77470
+ "learning_rate": 1.6185164551806004e-05,
77471
+ "loss": 0.6924,
77472
+ "step": 11066
77473
+ },
77474
+ {
77475
+ "epoch": 12.605128205128205,
77476
+ "grad_norm": 0.2689109146595001,
77477
+ "learning_rate": 1.6180804752143692e-05,
77478
+ "loss": 0.4751,
77479
+ "step": 11067
77480
+ },
77481
+ {
77482
+ "epoch": 12.606267806267807,
77483
+ "grad_norm": 0.17425256967544556,
77484
+ "learning_rate": 1.617644525879629e-05,
77485
+ "loss": 0.7078,
77486
+ "step": 11068
77487
+ },
77488
+ {
77489
+ "epoch": 12.607407407407408,
77490
+ "grad_norm": 0.22629356384277344,
77491
+ "learning_rate": 1.6172086071915204e-05,
77492
+ "loss": 0.7829,
77493
+ "step": 11069
77494
+ },
77495
+ {
77496
+ "epoch": 12.608547008547008,
77497
+ "grad_norm": 0.2518870234489441,
77498
+ "learning_rate": 1.6167727191651848e-05,
77499
+ "loss": 0.577,
77500
+ "step": 11070
77501
+ },
77502
+ {
77503
+ "epoch": 12.60968660968661,
77504
+ "grad_norm": 0.17481626570224762,
77505
+ "learning_rate": 1.6163368618157615e-05,
77506
+ "loss": 0.6537,
77507
+ "step": 11071
77508
+ },
77509
+ {
77510
+ "epoch": 12.610826210826211,
77511
+ "grad_norm": 0.2701930105686188,
77512
+ "learning_rate": 1.615901035158388e-05,
77513
+ "loss": 0.5066,
77514
+ "step": 11072
77515
+ },
77516
+ {
77517
+ "epoch": 12.611965811965812,
77518
+ "grad_norm": 0.17483319342136383,
77519
+ "learning_rate": 1.6154652392082036e-05,
77520
+ "loss": 0.7244,
77521
+ "step": 11073
77522
+ },
77523
+ {
77524
+ "epoch": 12.613105413105414,
77525
+ "grad_norm": 0.21778984367847443,
77526
+ "learning_rate": 1.6150294739803445e-05,
77527
+ "loss": 0.6299,
77528
+ "step": 11074
77529
+ },
77530
+ {
77531
+ "epoch": 12.614245014245014,
77532
+ "grad_norm": 0.22433669865131378,
77533
+ "learning_rate": 1.614593739489945e-05,
77534
+ "loss": 0.7286,
77535
+ "step": 11075
77536
+ },
77537
+ {
77538
+ "epoch": 12.615384615384615,
77539
+ "grad_norm": 0.22760696709156036,
77540
+ "learning_rate": 1.6141580357521403e-05,
77541
+ "loss": 0.7473,
77542
+ "step": 11076
77543
+ },
77544
+ {
77545
+ "epoch": 12.616524216524217,
77546
+ "grad_norm": 0.1692415028810501,
77547
+ "learning_rate": 1.6137223627820626e-05,
77548
+ "loss": 0.8738,
77549
+ "step": 11077
77550
+ },
77551
+ {
77552
+ "epoch": 12.617663817663818,
77553
+ "grad_norm": 0.48261013627052307,
77554
+ "learning_rate": 1.6132867205948447e-05,
77555
+ "loss": 0.5273,
77556
+ "step": 11078
77557
+ },
77558
+ {
77559
+ "epoch": 12.618803418803418,
77560
+ "grad_norm": 0.21189595758914948,
77561
+ "learning_rate": 1.6128511092056174e-05,
77562
+ "loss": 0.779,
77563
+ "step": 11079
77564
+ },
77565
+ {
77566
+ "epoch": 12.61994301994302,
77567
+ "grad_norm": 0.24352779984474182,
77568
+ "learning_rate": 1.6124155286295107e-05,
77569
+ "loss": 0.6357,
77570
+ "step": 11080
77571
+ },
77572
+ {
77573
+ "epoch": 12.621082621082621,
77574
+ "grad_norm": 0.1993314027786255,
77575
+ "learning_rate": 1.6119799788816537e-05,
77576
+ "loss": 0.6663,
77577
+ "step": 11081
77578
+ },
77579
+ {
77580
+ "epoch": 12.622222222222222,
77581
+ "grad_norm": 0.23018746078014374,
77582
+ "learning_rate": 1.6115444599771743e-05,
77583
+ "loss": 0.5983,
77584
+ "step": 11082
77585
+ },
77586
+ {
77587
+ "epoch": 12.623361823361824,
77588
+ "grad_norm": 0.17441576719284058,
77589
+ "learning_rate": 1.611108971931198e-05,
77590
+ "loss": 0.7592,
77591
+ "step": 11083
77592
+ },
77593
+ {
77594
+ "epoch": 12.624501424501425,
77595
+ "grad_norm": 0.23152019083499908,
77596
+ "learning_rate": 1.610673514758852e-05,
77597
+ "loss": 0.8389,
77598
+ "step": 11084
77599
+ },
77600
+ {
77601
+ "epoch": 12.625641025641025,
77602
+ "grad_norm": 0.28077030181884766,
77603
+ "learning_rate": 1.610238088475261e-05,
77604
+ "loss": 0.5543,
77605
+ "step": 11085
77606
+ },
77607
+ {
77608
+ "epoch": 12.626780626780628,
77609
+ "grad_norm": 0.22574378550052643,
77610
+ "learning_rate": 1.609802693095548e-05,
77611
+ "loss": 0.7816,
77612
+ "step": 11086
77613
+ },
77614
+ {
77615
+ "epoch": 12.627920227920228,
77616
+ "grad_norm": 0.23004484176635742,
77617
+ "learning_rate": 1.6093673286348355e-05,
77618
+ "loss": 0.5654,
77619
+ "step": 11087
77620
+ },
77621
+ {
77622
+ "epoch": 12.629059829059829,
77623
+ "grad_norm": 0.2010558694601059,
77624
+ "learning_rate": 1.6089319951082445e-05,
77625
+ "loss": 0.6681,
77626
+ "step": 11088
77627
+ },
77628
+ {
77629
+ "epoch": 12.630199430199431,
77630
+ "grad_norm": 0.15654054284095764,
77631
+ "learning_rate": 1.6084966925308966e-05,
77632
+ "loss": 0.9109,
77633
+ "step": 11089
77634
+ },
77635
+ {
77636
+ "epoch": 12.631339031339031,
77637
+ "grad_norm": 0.2031426727771759,
77638
+ "learning_rate": 1.6080614209179094e-05,
77639
+ "loss": 0.8188,
77640
+ "step": 11090
77641
+ },
77642
+ {
77643
+ "epoch": 12.632478632478632,
77644
+ "grad_norm": 0.17334313690662384,
77645
+ "learning_rate": 1.607626180284402e-05,
77646
+ "loss": 0.8053,
77647
+ "step": 11091
77648
+ },
77649
+ {
77650
+ "epoch": 12.633618233618234,
77651
+ "grad_norm": 0.18525288999080658,
77652
+ "learning_rate": 1.607190970645492e-05,
77653
+ "loss": 0.784,
77654
+ "step": 11092
77655
+ },
77656
+ {
77657
+ "epoch": 12.634757834757835,
77658
+ "grad_norm": 0.21956297755241394,
77659
+ "learning_rate": 1.6067557920162947e-05,
77660
+ "loss": 0.6042,
77661
+ "step": 11093
77662
+ },
77663
+ {
77664
+ "epoch": 12.635897435897435,
77665
+ "grad_norm": 0.26183709502220154,
77666
+ "learning_rate": 1.6063206444119238e-05,
77667
+ "loss": 0.535,
77668
+ "step": 11094
77669
+ },
77670
+ {
77671
+ "epoch": 12.637037037037038,
77672
+ "grad_norm": 0.23704814910888672,
77673
+ "learning_rate": 1.6058855278474956e-05,
77674
+ "loss": 0.655,
77675
+ "step": 11095
77676
+ },
77677
+ {
77678
+ "epoch": 12.638176638176638,
77679
+ "grad_norm": 0.27600836753845215,
77680
+ "learning_rate": 1.605450442338122e-05,
77681
+ "loss": 0.5203,
77682
+ "step": 11096
77683
+ },
77684
+ {
77685
+ "epoch": 12.639316239316239,
77686
+ "grad_norm": 0.22738400101661682,
77687
+ "learning_rate": 1.605015387898914e-05,
77688
+ "loss": 0.5225,
77689
+ "step": 11097
77690
+ },
77691
+ {
77692
+ "epoch": 12.640455840455841,
77693
+ "grad_norm": 0.2282770872116089,
77694
+ "learning_rate": 1.6045803645449836e-05,
77695
+ "loss": 0.5768,
77696
+ "step": 11098
77697
+ },
77698
+ {
77699
+ "epoch": 12.641595441595442,
77700
+ "grad_norm": 0.23350057005882263,
77701
+ "learning_rate": 1.604145372291439e-05,
77702
+ "loss": 0.6944,
77703
+ "step": 11099
77704
+ },
77705
+ {
77706
+ "epoch": 12.642735042735042,
77707
+ "grad_norm": 0.22004786133766174,
77708
+ "learning_rate": 1.6037104111533897e-05,
77709
+ "loss": 0.7505,
77710
+ "step": 11100
77711
  }
77712
  ],
77713
  "logging_steps": 1,
 
77727
  "attributes": {}
77728
  }
77729
  },
77730
+ "total_flos": 6.206379008476889e+19,
77731
  "train_batch_size": 8,
77732
  "trial_name": null,
77733
  "trial_params": null