{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.8,
  "eval_steps": 500,
  "global_step": 7000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.004,
      "grad_norm": 0.8473833203315735,
      "learning_rate": 1.9976000000000003e-05,
      "loss": 0.3554,
      "step": 10
    },
    {
      "epoch": 0.008,
      "grad_norm": 0.7512041330337524,
      "learning_rate": 1.9949333333333332e-05,
      "loss": 0.3244,
      "step": 20
    },
    {
      "epoch": 0.012,
      "grad_norm": 0.5380983948707581,
      "learning_rate": 1.9922666666666668e-05,
      "loss": 0.3499,
      "step": 30
    },
    {
      "epoch": 0.016,
      "grad_norm": 0.844835638999939,
      "learning_rate": 1.9896e-05,
      "loss": 0.3691,
      "step": 40
    },
    {
      "epoch": 0.02,
      "grad_norm": 0.5741446614265442,
      "learning_rate": 1.9869333333333336e-05,
      "loss": 0.3393,
      "step": 50
    },
    {
      "epoch": 0.024,
      "grad_norm": 0.5424033403396606,
      "learning_rate": 1.984266666666667e-05,
      "loss": 0.301,
      "step": 60
    },
    {
      "epoch": 0.028,
      "grad_norm": 0.5613783597946167,
      "learning_rate": 1.9816e-05,
      "loss": 0.3385,
      "step": 70
    },
    {
      "epoch": 0.032,
      "grad_norm": 0.6068338751792908,
      "learning_rate": 1.9789333333333337e-05,
      "loss": 0.2925,
      "step": 80
    },
    {
      "epoch": 0.036,
      "grad_norm": 0.5099148750305176,
      "learning_rate": 1.9762666666666666e-05,
      "loss": 0.3729,
      "step": 90
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.7521042823791504,
      "learning_rate": 1.9736000000000002e-05,
      "loss": 0.3292,
      "step": 100
    },
    {
      "epoch": 0.044,
      "grad_norm": 2.8476057052612305,
      "learning_rate": 1.9709333333333335e-05,
      "loss": 0.2903,
      "step": 110
    },
    {
      "epoch": 0.048,
      "grad_norm": 0.6086683869361877,
      "learning_rate": 1.9682666666666667e-05,
      "loss": 0.3025,
      "step": 120
    },
    {
      "epoch": 0.052,
      "grad_norm": 0.4599870443344116,
      "learning_rate": 1.9656000000000003e-05,
      "loss": 0.3247,
      "step": 130
    },
    {
      "epoch": 0.056,
      "grad_norm": 0.543210506439209,
      "learning_rate": 1.9629333333333335e-05,
      "loss": 0.3389,
      "step": 140
    },
    {
      "epoch": 0.06,
      "grad_norm": 0.5246361494064331,
      "learning_rate": 1.9602666666666668e-05,
      "loss": 0.3312,
      "step": 150
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.5620948076248169,
      "learning_rate": 1.9576e-05,
      "loss": 0.3549,
      "step": 160
    },
    {
      "epoch": 0.068,
      "grad_norm": 0.5205038189888,
      "learning_rate": 1.9549333333333336e-05,
      "loss": 0.3115,
      "step": 170
    },
    {
      "epoch": 0.072,
      "grad_norm": 0.48861584067344666,
      "learning_rate": 1.952266666666667e-05,
      "loss": 0.3049,
      "step": 180
    },
    {
      "epoch": 0.076,
      "grad_norm": 0.6099581718444824,
      "learning_rate": 1.9496e-05,
      "loss": 0.2789,
      "step": 190
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.42091602087020874,
      "learning_rate": 1.9469333333333337e-05,
      "loss": 0.3071,
      "step": 200
    },
    {
      "epoch": 0.084,
      "grad_norm": 0.5491640567779541,
      "learning_rate": 1.9442666666666666e-05,
      "loss": 0.2626,
      "step": 210
    },
    {
      "epoch": 0.088,
      "grad_norm": 0.5918490886688232,
      "learning_rate": 1.9416000000000002e-05,
      "loss": 0.2717,
      "step": 220
    },
    {
      "epoch": 0.092,
      "grad_norm": 0.657937228679657,
      "learning_rate": 1.9389333333333334e-05,
      "loss": 0.2793,
      "step": 230
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.521407425403595,
      "learning_rate": 1.9362666666666667e-05,
      "loss": 0.315,
      "step": 240
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.39812424778938293,
      "learning_rate": 1.9336000000000003e-05,
      "loss": 0.2634,
      "step": 250
    },
    {
      "epoch": 0.104,
      "grad_norm": 0.4045741558074951,
      "learning_rate": 1.9309333333333335e-05,
      "loss": 0.3122,
      "step": 260
    },
    {
      "epoch": 0.108,
      "grad_norm": 0.46365252137184143,
      "learning_rate": 1.9282666666666667e-05,
      "loss": 0.2629,
      "step": 270
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.5988256931304932,
      "learning_rate": 1.9256e-05,
      "loss": 0.2931,
      "step": 280
    },
    {
      "epoch": 0.116,
      "grad_norm": 0.4610181152820587,
      "learning_rate": 1.9229333333333336e-05,
      "loss": 0.3301,
      "step": 290
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.573409378528595,
      "learning_rate": 1.9202666666666668e-05,
      "loss": 0.3175,
      "step": 300
    },
    {
      "epoch": 0.124,
      "grad_norm": 0.45221200585365295,
      "learning_rate": 1.9176e-05,
      "loss": 0.2764,
      "step": 310
    },
    {
      "epoch": 0.128,
      "grad_norm": 0.5272834897041321,
      "learning_rate": 1.9149333333333337e-05,
      "loss": 0.2865,
      "step": 320
    },
    {
      "epoch": 0.132,
      "grad_norm": 0.6001108288764954,
      "learning_rate": 1.9122666666666666e-05,
      "loss": 0.3033,
      "step": 330
    },
    {
      "epoch": 0.136,
      "grad_norm": 0.399921178817749,
      "learning_rate": 1.9096e-05,
      "loss": 0.3229,
      "step": 340
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.40731269121170044,
      "learning_rate": 1.9069333333333334e-05,
      "loss": 0.2664,
      "step": 350
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.6090437173843384,
      "learning_rate": 1.904266666666667e-05,
      "loss": 0.2714,
      "step": 360
    },
    {
      "epoch": 0.148,
      "grad_norm": 0.685806155204773,
      "learning_rate": 1.9016000000000002e-05,
      "loss": 0.2782,
      "step": 370
    },
    {
      "epoch": 0.152,
      "grad_norm": 0.5020912289619446,
      "learning_rate": 1.8989333333333335e-05,
      "loss": 0.314,
      "step": 380
    },
    {
      "epoch": 0.156,
      "grad_norm": 0.6335378885269165,
      "learning_rate": 1.896266666666667e-05,
      "loss": 0.2955,
      "step": 390
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.5144450664520264,
      "learning_rate": 1.8936e-05,
      "loss": 0.2768,
      "step": 400
    },
    {
      "epoch": 0.164,
      "grad_norm": 0.49727848172187805,
      "learning_rate": 1.8909333333333335e-05,
      "loss": 0.313,
      "step": 410
    },
    {
      "epoch": 0.168,
      "grad_norm": 0.5295145511627197,
      "learning_rate": 1.8882666666666668e-05,
      "loss": 0.3049,
      "step": 420
    },
    {
      "epoch": 0.172,
      "grad_norm": 0.6311231851577759,
      "learning_rate": 1.8856e-05,
      "loss": 0.29,
      "step": 430
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.45227429270744324,
      "learning_rate": 1.8829333333333336e-05,
      "loss": 0.269,
      "step": 440
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.5193242430686951,
      "learning_rate": 1.880266666666667e-05,
      "loss": 0.3072,
      "step": 450
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.47954046726226807,
      "learning_rate": 1.8776e-05,
      "loss": 0.2861,
      "step": 460
    },
    {
      "epoch": 0.188,
      "grad_norm": 0.6135125160217285,
      "learning_rate": 1.8749333333333334e-05,
      "loss": 0.3284,
      "step": 470
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.536312997341156,
      "learning_rate": 1.872266666666667e-05,
      "loss": 0.2969,
      "step": 480
    },
    {
      "epoch": 0.196,
      "grad_norm": 0.4945087134838104,
      "learning_rate": 1.8696000000000002e-05,
      "loss": 0.3069,
      "step": 490
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.6842024922370911,
      "learning_rate": 1.8669333333333334e-05,
      "loss": 0.3028,
      "step": 500
    },
    {
      "epoch": 0.204,
      "grad_norm": 0.7187235951423645,
      "learning_rate": 1.864266666666667e-05,
      "loss": 0.3122,
      "step": 510
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.5195918679237366,
      "learning_rate": 1.8616e-05,
      "loss": 0.2993,
      "step": 520
    },
    {
      "epoch": 0.212,
      "grad_norm": 0.5979396104812622,
      "learning_rate": 1.8589333333333335e-05,
      "loss": 0.2888,
      "step": 530
    },
    {
      "epoch": 0.216,
      "grad_norm": 0.5541350245475769,
      "learning_rate": 1.8562666666666668e-05,
      "loss": 0.2859,
      "step": 540
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.5115520358085632,
      "learning_rate": 1.8536e-05,
      "loss": 0.3048,
      "step": 550
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.5147453546524048,
      "learning_rate": 1.8509333333333336e-05,
      "loss": 0.2963,
      "step": 560
    },
    {
      "epoch": 0.228,
      "grad_norm": 0.5118573307991028,
      "learning_rate": 1.848266666666667e-05,
      "loss": 0.2796,
      "step": 570
    },
    {
      "epoch": 0.232,
      "grad_norm": 0.6429368853569031,
      "learning_rate": 1.8456e-05,
      "loss": 0.2688,
      "step": 580
    },
    {
      "epoch": 0.236,
      "grad_norm": 0.5160877704620361,
      "learning_rate": 1.8429333333333333e-05,
      "loss": 0.2859,
      "step": 590
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.5840730667114258,
      "learning_rate": 1.840266666666667e-05,
      "loss": 0.2849,
      "step": 600
    },
    {
      "epoch": 0.244,
      "grad_norm": 0.46956923604011536,
      "learning_rate": 1.8376e-05,
      "loss": 0.3116,
      "step": 610
    },
    {
      "epoch": 0.248,
      "grad_norm": 0.6283913850784302,
      "learning_rate": 1.8349333333333334e-05,
      "loss": 0.2785,
      "step": 620
    },
    {
      "epoch": 0.252,
      "grad_norm": 0.4232288897037506,
      "learning_rate": 1.832266666666667e-05,
      "loss": 0.2743,
      "step": 630
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.43742942810058594,
      "learning_rate": 1.8296e-05,
      "loss": 0.2973,
      "step": 640
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.7058847546577454,
      "learning_rate": 1.8269333333333335e-05,
      "loss": 0.2837,
      "step": 650
    },
    {
      "epoch": 0.264,
      "grad_norm": 0.4320523738861084,
      "learning_rate": 1.8242666666666667e-05,
      "loss": 0.3077,
      "step": 660
    },
    {
      "epoch": 0.268,
      "grad_norm": 0.6206269860267639,
      "learning_rate": 1.8216000000000003e-05,
      "loss": 0.3008,
      "step": 670
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.46970808506011963,
      "learning_rate": 1.8189333333333336e-05,
      "loss": 0.3144,
      "step": 680
    },
    {
      "epoch": 0.276,
      "grad_norm": 0.6160300374031067,
      "learning_rate": 1.8162666666666668e-05,
      "loss": 0.2613,
      "step": 690
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.5398305654525757,
      "learning_rate": 1.8136000000000004e-05,
      "loss": 0.2869,
      "step": 700
    },
    {
      "epoch": 0.284,
      "grad_norm": 0.5407466888427734,
      "learning_rate": 1.8109333333333333e-05,
      "loss": 0.2886,
      "step": 710
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.6329662203788757,
      "learning_rate": 1.808266666666667e-05,
      "loss": 0.2872,
      "step": 720
    },
    {
      "epoch": 0.292,
      "grad_norm": 0.3745378255844116,
      "learning_rate": 1.8056e-05,
      "loss": 0.2544,
      "step": 730
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.5615914463996887,
      "learning_rate": 1.8029333333333334e-05,
      "loss": 0.2925,
      "step": 740
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.4892834424972534,
      "learning_rate": 1.800266666666667e-05,
      "loss": 0.318,
      "step": 750
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.5953959822654724,
      "learning_rate": 1.7976000000000002e-05,
      "loss": 0.2697,
      "step": 760
    },
    {
      "epoch": 0.308,
      "grad_norm": 0.6115617752075195,
      "learning_rate": 1.7949333333333335e-05,
      "loss": 0.2881,
      "step": 770
    },
    {
      "epoch": 0.312,
      "grad_norm": 0.6317617893218994,
      "learning_rate": 1.7922666666666667e-05,
      "loss": 0.2877,
      "step": 780
    },
    {
      "epoch": 0.316,
      "grad_norm": 0.48265883326530457,
      "learning_rate": 1.7896000000000003e-05,
      "loss": 0.2831,
      "step": 790
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.4877345561981201,
      "learning_rate": 1.7869333333333335e-05,
      "loss": 0.2666,
      "step": 800
    },
    {
      "epoch": 0.324,
      "grad_norm": 0.49793872237205505,
      "learning_rate": 1.7842666666666668e-05,
      "loss": 0.3024,
      "step": 810
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.36371779441833496,
      "learning_rate": 1.7816000000000004e-05,
      "loss": 0.2864,
      "step": 820
    },
    {
      "epoch": 0.332,
      "grad_norm": 0.49649468064308167,
      "learning_rate": 1.7789333333333333e-05,
      "loss": 0.2919,
      "step": 830
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.6420473456382751,
      "learning_rate": 1.776266666666667e-05,
      "loss": 0.2717,
      "step": 840
    },
    {
      "epoch": 0.34,
      "grad_norm": 0.4898557960987091,
      "learning_rate": 1.7736e-05,
      "loss": 0.2683,
      "step": 850
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.5515689849853516,
      "learning_rate": 1.7709333333333333e-05,
      "loss": 0.2805,
      "step": 860
    },
    {
      "epoch": 0.348,
      "grad_norm": 0.6740190982818604,
      "learning_rate": 1.768266666666667e-05,
      "loss": 0.291,
      "step": 870
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.6003084778785706,
      "learning_rate": 1.7656000000000002e-05,
      "loss": 0.3087,
      "step": 880
    },
    {
      "epoch": 0.356,
      "grad_norm": 0.4445655047893524,
      "learning_rate": 1.7629333333333334e-05,
      "loss": 0.2989,
      "step": 890
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.5432217717170715,
      "learning_rate": 1.7602666666666667e-05,
      "loss": 0.3014,
      "step": 900
    },
    {
      "epoch": 0.364,
      "grad_norm": 0.5030611157417297,
      "learning_rate": 1.7576000000000002e-05,
      "loss": 0.2718,
      "step": 910
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.5643089413642883,
      "learning_rate": 1.7549333333333335e-05,
      "loss": 0.264,
      "step": 920
    },
    {
      "epoch": 0.372,
      "grad_norm": 0.489113450050354,
      "learning_rate": 1.7522666666666667e-05,
      "loss": 0.2626,
      "step": 930
    },
    {
      "epoch": 0.376,
      "grad_norm": 0.5584943294525146,
      "learning_rate": 1.7496000000000003e-05,
      "loss": 0.2759,
      "step": 940
    },
    {
      "epoch": 0.38,
      "grad_norm": 0.623701810836792,
      "learning_rate": 1.7469333333333332e-05,
      "loss": 0.289,
      "step": 950
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.523327112197876,
      "learning_rate": 1.7442666666666668e-05,
      "loss": 0.2649,
      "step": 960
    },
    {
      "epoch": 0.388,
      "grad_norm": 0.5976533889770508,
      "learning_rate": 1.7416e-05,
      "loss": 0.2846,
      "step": 970
    },
    {
      "epoch": 0.392,
      "grad_norm": 0.47169724106788635,
      "learning_rate": 1.7389333333333336e-05,
      "loss": 0.2344,
      "step": 980
    },
    {
      "epoch": 0.396,
      "grad_norm": 0.7074177265167236,
      "learning_rate": 1.736266666666667e-05,
      "loss": 0.3157,
      "step": 990
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.5581418871879578,
      "learning_rate": 1.7336e-05,
      "loss": 0.279,
      "step": 1000
    },
    {
      "epoch": 0.404,
      "grad_norm": 0.3938142955303192,
      "learning_rate": 1.7309333333333337e-05,
      "loss": 0.2774,
      "step": 1010
    },
    {
      "epoch": 0.408,
      "grad_norm": 0.5060317516326904,
      "learning_rate": 1.7282666666666666e-05,
      "loss": 0.2568,
      "step": 1020
    },
    {
      "epoch": 0.412,
      "grad_norm": 0.6323426961898804,
      "learning_rate": 1.7256000000000002e-05,
      "loss": 0.246,
      "step": 1030
    },
    {
      "epoch": 0.416,
      "grad_norm": 0.5746142268180847,
      "learning_rate": 1.7229333333333335e-05,
      "loss": 0.2852,
      "step": 1040
    },
    {
      "epoch": 0.42,
      "grad_norm": 0.5410155653953552,
      "learning_rate": 1.7202666666666667e-05,
      "loss": 0.2988,
      "step": 1050
    },
    {
      "epoch": 0.424,
      "grad_norm": 0.5489639639854431,
      "learning_rate": 1.7176000000000003e-05,
      "loss": 0.2753,
      "step": 1060
    },
    {
      "epoch": 0.428,
      "grad_norm": 0.5158263444900513,
      "learning_rate": 1.7149333333333335e-05,
      "loss": 0.2823,
      "step": 1070
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.6039857864379883,
      "learning_rate": 1.7122666666666668e-05,
      "loss": 0.2677,
      "step": 1080
    },
    {
      "epoch": 0.436,
      "grad_norm": 0.6908004283905029,
      "learning_rate": 1.7096e-05,
      "loss": 0.2995,
      "step": 1090
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.5616562366485596,
      "learning_rate": 1.7069333333333336e-05,
      "loss": 0.271,
      "step": 1100
    },
    {
      "epoch": 0.444,
      "grad_norm": 0.3506322503089905,
      "learning_rate": 1.704266666666667e-05,
      "loss": 0.2922,
      "step": 1110
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.6114059686660767,
      "learning_rate": 1.7016e-05,
      "loss": 0.2914,
      "step": 1120
    },
    {
      "epoch": 0.452,
      "grad_norm": 0.523310661315918,
      "learning_rate": 1.6989333333333337e-05,
      "loss": 0.278,
      "step": 1130
    },
    {
      "epoch": 0.456,
      "grad_norm": 0.5851305723190308,
      "learning_rate": 1.6962666666666666e-05,
      "loss": 0.2626,
      "step": 1140
    },
    {
      "epoch": 0.46,
      "grad_norm": 0.41113048791885376,
      "learning_rate": 1.6936000000000002e-05,
      "loss": 0.2512,
      "step": 1150
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.5494383573532104,
      "learning_rate": 1.6909333333333334e-05,
      "loss": 0.2602,
      "step": 1160
    },
    {
      "epoch": 0.468,
      "grad_norm": 0.5504459738731384,
      "learning_rate": 1.6882666666666667e-05,
      "loss": 0.274,
      "step": 1170
    },
    {
      "epoch": 0.472,
      "grad_norm": 0.7087628245353699,
      "learning_rate": 1.6856000000000003e-05,
      "loss": 0.3032,
      "step": 1180
    },
    {
      "epoch": 0.476,
      "grad_norm": 0.7926768064498901,
      "learning_rate": 1.6829333333333335e-05,
      "loss": 0.2831,
      "step": 1190
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.5241713523864746,
      "learning_rate": 1.6802666666666668e-05,
      "loss": 0.2963,
      "step": 1200
    },
    {
      "epoch": 0.484,
      "grad_norm": 0.7130752801895142,
      "learning_rate": 1.6776e-05,
      "loss": 0.325,
      "step": 1210
    },
    {
      "epoch": 0.488,
      "grad_norm": 0.4624483287334442,
      "learning_rate": 1.6749333333333336e-05,
      "loss": 0.2612,
      "step": 1220
    },
    {
      "epoch": 0.492,
      "grad_norm": 0.4353604018688202,
      "learning_rate": 1.6722666666666668e-05,
      "loss": 0.2982,
      "step": 1230
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.4569162130355835,
      "learning_rate": 1.6696e-05,
      "loss": 0.2922,
      "step": 1240
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.3759833872318268,
      "learning_rate": 1.6669333333333337e-05,
      "loss": 0.2944,
      "step": 1250
    },
    {
      "epoch": 0.504,
      "grad_norm": 0.5347470641136169,
      "learning_rate": 1.6642666666666666e-05,
      "loss": 0.2628,
      "step": 1260
    },
    {
      "epoch": 0.508,
      "grad_norm": 0.8877920508384705,
      "learning_rate": 1.6616e-05,
      "loss": 0.2819,
      "step": 1270
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.5930324196815491,
      "learning_rate": 1.6589333333333334e-05,
      "loss": 0.2625,
      "step": 1280
    },
    {
      "epoch": 0.516,
      "grad_norm": 0.6475802659988403,
      "learning_rate": 1.656266666666667e-05,
      "loss": 0.2569,
      "step": 1290
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.4573434889316559,
      "learning_rate": 1.6536000000000002e-05,
      "loss": 0.2595,
      "step": 1300
    },
    {
      "epoch": 0.524,
      "grad_norm": 0.5713324546813965,
      "learning_rate": 1.6509333333333335e-05,
      "loss": 0.3008,
      "step": 1310
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.44202759861946106,
      "learning_rate": 1.648266666666667e-05,
      "loss": 0.2803,
      "step": 1320
    },
    {
      "epoch": 0.532,
      "grad_norm": 0.667516827583313,
      "learning_rate": 1.6456e-05,
      "loss": 0.2459,
      "step": 1330
    },
    {
      "epoch": 0.536,
      "grad_norm": 0.5680468082427979,
      "learning_rate": 1.6429333333333336e-05,
      "loss": 0.2647,
      "step": 1340
    },
    {
      "epoch": 0.54,
      "grad_norm": 0.7717429399490356,
      "learning_rate": 1.6402666666666668e-05,
      "loss": 0.3178,
      "step": 1350
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.5189536213874817,
      "learning_rate": 1.6376e-05,
      "loss": 0.2351,
      "step": 1360
    },
    {
      "epoch": 0.548,
      "grad_norm": 0.5681992769241333,
      "learning_rate": 1.6349333333333336e-05,
      "loss": 0.2848,
      "step": 1370
    },
    {
      "epoch": 0.552,
      "grad_norm": 1.381010890007019,
      "learning_rate": 1.632266666666667e-05,
      "loss": 0.2658,
      "step": 1380
    },
    {
      "epoch": 0.556,
      "grad_norm": 0.6194233298301697,
      "learning_rate": 1.6296e-05,
      "loss": 0.2564,
      "step": 1390
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.5062676668167114,
      "learning_rate": 1.6269333333333334e-05,
      "loss": 0.2422,
      "step": 1400
    },
    {
      "epoch": 0.564,
      "grad_norm": 0.44975098967552185,
      "learning_rate": 1.624266666666667e-05,
      "loss": 0.2941,
      "step": 1410
    },
    {
      "epoch": 0.568,
      "grad_norm": 0.5614117383956909,
      "learning_rate": 1.6216000000000002e-05,
      "loss": 0.2642,
      "step": 1420
    },
    {
      "epoch": 0.572,
      "grad_norm": 0.5972306728363037,
      "learning_rate": 1.6189333333333334e-05,
      "loss": 0.2739,
      "step": 1430
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.5405119061470032,
      "learning_rate": 1.616266666666667e-05,
      "loss": 0.2685,
      "step": 1440
    },
    {
      "epoch": 0.58,
      "grad_norm": 0.5660503506660461,
      "learning_rate": 1.6136e-05,
      "loss": 0.2442,
      "step": 1450
    },
    {
      "epoch": 0.584,
      "grad_norm": 0.6975134015083313,
      "learning_rate": 1.6109333333333335e-05,
      "loss": 0.2522,
      "step": 1460
    },
    {
      "epoch": 0.588,
      "grad_norm": 0.42499786615371704,
      "learning_rate": 1.6082666666666668e-05,
      "loss": 0.2831,
      "step": 1470
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.5292617082595825,
      "learning_rate": 1.6056e-05,
      "loss": 0.2512,
      "step": 1480
    },
    {
      "epoch": 0.596,
      "grad_norm": 0.420676589012146,
      "learning_rate": 1.6029333333333336e-05,
      "loss": 0.2935,
      "step": 1490
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.6596647500991821,
      "learning_rate": 1.600266666666667e-05,
      "loss": 0.234,
      "step": 1500
    },
    {
      "epoch": 0.604,
      "grad_norm": 0.618060827255249,
      "learning_rate": 1.5976e-05,
      "loss": 0.2425,
      "step": 1510
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.5462709069252014,
      "learning_rate": 1.5949333333333333e-05,
      "loss": 0.2557,
      "step": 1520
    },
    {
      "epoch": 0.612,
      "grad_norm": 0.5389092564582825,
      "learning_rate": 1.592266666666667e-05,
      "loss": 0.2618,
      "step": 1530
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.5169006586074829,
      "learning_rate": 1.5896e-05,
      "loss": 0.2742,
      "step": 1540
    },
    {
      "epoch": 0.62,
      "grad_norm": 0.42635688185691833,
      "learning_rate": 1.5869333333333334e-05,
      "loss": 0.2562,
      "step": 1550
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.6297948956489563,
      "learning_rate": 1.584266666666667e-05,
      "loss": 0.2703,
      "step": 1560
    },
    {
      "epoch": 0.628,
      "grad_norm": 0.5986749529838562,
      "learning_rate": 1.5816e-05,
      "loss": 0.2147,
      "step": 1570
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.5798759460449219,
      "learning_rate": 1.5789333333333335e-05,
      "loss": 0.2995,
      "step": 1580
    },
    {
      "epoch": 0.636,
      "grad_norm": 0.8032208681106567,
      "learning_rate": 1.5762666666666667e-05,
      "loss": 0.2875,
      "step": 1590
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.47312766313552856,
      "learning_rate": 1.5736000000000003e-05,
      "loss": 0.2565,
      "step": 1600
    },
    {
      "epoch": 0.644,
      "grad_norm": 0.546535849571228,
      "learning_rate": 1.5709333333333336e-05,
      "loss": 0.2729,
      "step": 1610
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.5217946171760559,
      "learning_rate": 1.5682666666666668e-05,
      "loss": 0.2741,
      "step": 1620
    },
    {
      "epoch": 0.652,
      "grad_norm": 0.7835327982902527,
      "learning_rate": 1.5656000000000004e-05,
      "loss": 0.2646,
      "step": 1630
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.5184281468391418,
      "learning_rate": 1.5629333333333333e-05,
      "loss": 0.2494,
      "step": 1640
    },
    {
      "epoch": 0.66,
      "grad_norm": 0.6676139831542969,
      "learning_rate": 1.560266666666667e-05,
      "loss": 0.2951,
      "step": 1650
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.5541509985923767,
      "learning_rate": 1.5576e-05,
      "loss": 0.2637,
      "step": 1660
    },
    {
      "epoch": 0.668,
      "grad_norm": 0.6553218960762024,
      "learning_rate": 1.5549333333333334e-05,
      "loss": 0.2399,
      "step": 1670
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.531726062297821,
      "learning_rate": 1.552266666666667e-05,
      "loss": 0.2785,
      "step": 1680
    },
    {
      "epoch": 0.676,
      "grad_norm": 0.4863644242286682,
      "learning_rate": 1.5496000000000002e-05,
      "loss": 0.2613,
      "step": 1690
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.5352335572242737,
      "learning_rate": 1.5469333333333335e-05,
      "loss": 0.269,
      "step": 1700
    },
    {
      "epoch": 0.684,
      "grad_norm": 0.4803614914417267,
      "learning_rate": 1.5442666666666667e-05,
      "loss": 0.2465,
      "step": 1710
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.4625021815299988,
      "learning_rate": 1.5416000000000003e-05,
      "loss": 0.2759,
      "step": 1720
    },
    {
      "epoch": 0.692,
      "grad_norm": 0.6792253255844116,
      "learning_rate": 1.5389333333333335e-05,
      "loss": 0.2512,
      "step": 1730
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.4432201385498047,
      "learning_rate": 1.5362666666666668e-05,
      "loss": 0.2532,
      "step": 1740
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.47341418266296387,
      "learning_rate": 1.5336000000000004e-05,
      "loss": 0.2748,
      "step": 1750
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.41642722487449646,
      "learning_rate": 1.5309333333333333e-05,
      "loss": 0.2371,
      "step": 1760
    },
    {
      "epoch": 0.708,
      "grad_norm": 0.6202064752578735,
      "learning_rate": 1.528266666666667e-05,
      "loss": 0.2754,
      "step": 1770
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.7768007516860962,
      "learning_rate": 1.5256000000000003e-05,
      "loss": 0.2882,
      "step": 1780
    },
    {
      "epoch": 0.716,
      "grad_norm": 0.5949944853782654,
      "learning_rate": 1.5229333333333333e-05,
      "loss": 0.2653,
      "step": 1790
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.5162950158119202,
      "learning_rate": 1.5202666666666668e-05,
      "loss": 0.2735,
      "step": 1800
    },
    {
      "epoch": 0.724,
      "grad_norm": 0.5857785940170288,
      "learning_rate": 1.5176000000000002e-05,
      "loss": 0.2709,
      "step": 1810
    },
    {
      "epoch": 0.728,
      "grad_norm": 0.599884033203125,
      "learning_rate": 1.5149333333333334e-05,
      "loss": 0.232,
      "step": 1820
    },
    {
      "epoch": 0.732,
      "grad_norm": 0.4153684973716736,
      "learning_rate": 1.5122666666666668e-05,
      "loss": 0.2293,
      "step": 1830
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.5028241872787476,
      "learning_rate": 1.5096000000000003e-05,
      "loss": 0.2729,
      "step": 1840
    },
    {
      "epoch": 0.74,
      "grad_norm": 0.46475455164909363,
      "learning_rate": 1.5069333333333333e-05,
      "loss": 0.2395,
      "step": 1850
    },
    {
      "epoch": 0.744,
      "grad_norm": 0.5993717908859253,
      "learning_rate": 1.5042666666666667e-05,
      "loss": 0.2466,
      "step": 1860
    },
    {
      "epoch": 0.748,
      "grad_norm": 0.587100088596344,
      "learning_rate": 1.5016000000000002e-05,
      "loss": 0.2706,
      "step": 1870
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.47256389260292053,
      "learning_rate": 1.4989333333333334e-05,
      "loss": 0.281,
      "step": 1880
    },
    {
      "epoch": 0.756,
      "grad_norm": 0.552420973777771,
      "learning_rate": 1.4962666666666668e-05,
      "loss": 0.2627,
      "step": 1890
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.3735855221748352,
      "learning_rate": 1.4936000000000002e-05,
      "loss": 0.269,
      "step": 1900
    },
    {
      "epoch": 0.764,
      "grad_norm": 0.5500410199165344,
      "learning_rate": 1.4909333333333337e-05,
      "loss": 0.2499,
      "step": 1910
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.7947753667831421,
      "learning_rate": 1.4882666666666667e-05,
      "loss": 0.273,
      "step": 1920
    },
    {
      "epoch": 0.772,
      "grad_norm": 0.5935826301574707,
      "learning_rate": 1.4856000000000001e-05,
      "loss": 0.2357,
      "step": 1930
    },
    {
      "epoch": 0.776,
      "grad_norm": 0.6703799962997437,
      "learning_rate": 1.4829333333333336e-05,
      "loss": 0.2735,
      "step": 1940
    },
    {
      "epoch": 0.78,
      "grad_norm": 0.5224609971046448,
      "learning_rate": 1.4802666666666668e-05,
      "loss": 0.2603,
      "step": 1950
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.5011535882949829,
      "learning_rate": 1.4776000000000002e-05,
      "loss": 0.2821,
      "step": 1960
    },
    {
      "epoch": 0.788,
      "grad_norm": 0.6582901477813721,
      "learning_rate": 1.4749333333333336e-05,
      "loss": 0.2819,
      "step": 1970
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.5402234792709351,
      "learning_rate": 1.4722666666666667e-05,
      "loss": 0.2693,
      "step": 1980
    },
    {
      "epoch": 0.796,
      "grad_norm": 0.4789445400238037,
      "learning_rate": 1.4696000000000001e-05,
      "loss": 0.2967,
      "step": 1990
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.5468807220458984,
      "learning_rate": 1.4669333333333335e-05,
      "loss": 0.2687,
      "step": 2000
    },
    {
      "epoch": 0.804,
      "grad_norm": 0.5717412233352661,
      "learning_rate": 1.4642666666666668e-05,
      "loss": 0.2988,
      "step": 2010
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.44991669058799744,
      "learning_rate": 1.4616000000000002e-05,
      "loss": 0.265,
      "step": 2020
    },
    {
      "epoch": 0.812,
      "grad_norm": 0.5266374349594116,
      "learning_rate": 1.4589333333333336e-05,
      "loss": 0.267,
      "step": 2030
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.5778567790985107,
      "learning_rate": 1.4562666666666667e-05,
      "loss": 0.2545,
      "step": 2040
    },
    {
      "epoch": 0.82,
      "grad_norm": 0.5154116153717041,
      "learning_rate": 1.4536000000000001e-05,
      "loss": 0.2829,
      "step": 2050
    },
    {
      "epoch": 0.824,
      "grad_norm": 0.5062645077705383,
      "learning_rate": 1.4509333333333335e-05,
      "loss": 0.2577,
      "step": 2060
    },
    {
      "epoch": 0.828,
      "grad_norm": 0.46385982632637024,
      "learning_rate": 1.4482666666666668e-05,
      "loss": 0.2747,
      "step": 2070
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.521915853023529,
      "learning_rate": 1.4456000000000002e-05,
      "loss": 0.3023,
      "step": 2080
    },
    {
      "epoch": 0.836,
      "grad_norm": 0.5672949552536011,
      "learning_rate": 1.4429333333333336e-05,
      "loss": 0.2295,
      "step": 2090
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.5135796666145325,
      "learning_rate": 1.4402666666666667e-05,
      "loss": 0.2421,
      "step": 2100
    },
    {
      "epoch": 0.844,
      "grad_norm": 0.6728639602661133,
      "learning_rate": 1.4376000000000001e-05,
      "loss": 0.2732,
      "step": 2110
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.612729012966156,
      "learning_rate": 1.4349333333333335e-05,
      "loss": 0.2656,
      "step": 2120
    },
    {
      "epoch": 0.852,
      "grad_norm": 0.6089796423912048,
      "learning_rate": 1.4322666666666668e-05,
      "loss": 0.2624,
      "step": 2130
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.46623918414115906,
      "learning_rate": 1.4296000000000002e-05,
      "loss": 0.2488,
      "step": 2140
    },
    {
      "epoch": 0.86,
      "grad_norm": 0.5238510370254517,
      "learning_rate": 1.4269333333333336e-05,
      "loss": 0.2646,
      "step": 2150
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.5426185727119446,
      "learning_rate": 1.4242666666666667e-05,
      "loss": 0.2715,
      "step": 2160
    },
    {
      "epoch": 0.868,
      "grad_norm": 0.5073487162590027,
      "learning_rate": 1.4216e-05,
      "loss": 0.2996,
      "step": 2170
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.4633030295372009,
      "learning_rate": 1.4189333333333335e-05,
      "loss": 0.2775,
      "step": 2180
    },
    {
      "epoch": 0.876,
      "grad_norm": 0.5035530924797058,
      "learning_rate": 1.4162666666666667e-05,
      "loss": 0.2726,
      "step": 2190
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.5053151845932007,
      "learning_rate": 1.4136000000000002e-05,
      "loss": 0.2445,
      "step": 2200
    },
    {
      "epoch": 0.884,
      "grad_norm": 0.5091527104377747,
      "learning_rate": 1.4109333333333336e-05,
      "loss": 0.2995,
      "step": 2210
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.4989984929561615,
      "learning_rate": 1.4082666666666668e-05,
      "loss": 0.2638,
      "step": 2220
    },
    {
      "epoch": 0.892,
      "grad_norm": 0.6716981530189514,
      "learning_rate": 1.4056e-05,
      "loss": 0.2681,
      "step": 2230
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.5532763004302979,
      "learning_rate": 1.4029333333333335e-05,
      "loss": 0.2427,
      "step": 2240
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.5461203455924988,
      "learning_rate": 1.4002666666666669e-05,
      "loss": 0.2705,
      "step": 2250
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.5246407985687256,
      "learning_rate": 1.3976000000000001e-05,
      "loss": 0.2695,
      "step": 2260
    },
    {
      "epoch": 0.908,
      "grad_norm": 0.5500401854515076,
      "learning_rate": 1.3949333333333336e-05,
      "loss": 0.2646,
      "step": 2270
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.4590257704257965,
      "learning_rate": 1.3922666666666668e-05,
      "loss": 0.2639,
      "step": 2280
    },
    {
      "epoch": 0.916,
      "grad_norm": 0.5423840880393982,
      "learning_rate": 1.3896e-05,
      "loss": 0.2708,
      "step": 2290
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.6925740838050842,
      "learning_rate": 1.3869333333333335e-05,
      "loss": 0.2635,
      "step": 2300
    },
    {
      "epoch": 0.924,
      "grad_norm": 0.6464081406593323,
      "learning_rate": 1.3842666666666669e-05,
      "loss": 0.296,
      "step": 2310
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.562350332736969,
      "learning_rate": 1.3816000000000001e-05,
      "loss": 0.2832,
      "step": 2320
    },
    {
      "epoch": 0.932,
      "grad_norm": 0.4514358639717102,
      "learning_rate": 1.3789333333333335e-05,
      "loss": 0.2968,
      "step": 2330
    },
    {
      "epoch": 0.936,
      "grad_norm": 0.4843865633010864,
      "learning_rate": 1.3762666666666668e-05,
      "loss": 0.2442,
      "step": 2340
    },
    {
      "epoch": 0.94,
      "grad_norm": 0.4798470735549927,
      "learning_rate": 1.3736e-05,
      "loss": 0.2688,
      "step": 2350
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.6145500540733337,
      "learning_rate": 1.3709333333333334e-05,
      "loss": 0.2813,
      "step": 2360
    },
    {
      "epoch": 0.948,
      "grad_norm": 0.49830809235572815,
      "learning_rate": 1.3682666666666669e-05,
      "loss": 0.2441,
      "step": 2370
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.4692573845386505,
      "learning_rate": 1.3656000000000001e-05,
      "loss": 0.2456,
      "step": 2380
    },
    {
      "epoch": 0.956,
      "grad_norm": 0.45862796902656555,
      "learning_rate": 1.3629333333333335e-05,
      "loss": 0.2123,
      "step": 2390
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.5366600155830383,
      "learning_rate": 1.3602666666666668e-05,
      "loss": 0.2554,
      "step": 2400
    },
    {
      "epoch": 0.964,
      "grad_norm": 0.4478113055229187,
      "learning_rate": 1.3576e-05,
      "loss": 0.2674,
      "step": 2410
    },
    {
      "epoch": 0.968,
      "grad_norm": 0.5738199353218079,
      "learning_rate": 1.3549333333333334e-05,
      "loss": 0.2765,
      "step": 2420
    },
    {
      "epoch": 0.972,
      "grad_norm": 0.48701366782188416,
      "learning_rate": 1.3522666666666668e-05,
      "loss": 0.2641,
      "step": 2430
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.5024267435073853,
      "learning_rate": 1.3496000000000001e-05,
      "loss": 0.2785,
      "step": 2440
    },
    {
      "epoch": 0.98,
      "grad_norm": 0.6500915884971619,
      "learning_rate": 1.3469333333333335e-05,
      "loss": 0.279,
      "step": 2450
    },
    {
      "epoch": 0.984,
      "grad_norm": 0.5706177949905396,
      "learning_rate": 1.3442666666666668e-05,
      "loss": 0.2396,
      "step": 2460
    },
    {
      "epoch": 0.988,
      "grad_norm": 0.4520220160484314,
      "learning_rate": 1.3416e-05,
      "loss": 0.2788,
      "step": 2470
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.4557345509529114,
      "learning_rate": 1.3389333333333334e-05,
      "loss": 0.2653,
      "step": 2480
    },
    {
      "epoch": 0.996,
      "grad_norm": 0.4460965692996979,
      "learning_rate": 1.3362666666666668e-05,
      "loss": 0.2495,
      "step": 2490
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.6260488033294678,
      "learning_rate": 1.3336e-05,
      "loss": 0.2974,
      "step": 2500
    },
    {
      "epoch": 1.0,
      "eval_loss": 0.23673544824123383,
      "eval_runtime": 65.6396,
      "eval_samples_per_second": 38.087,
      "eval_steps_per_second": 4.768,
      "step": 2500
    },
    {
      "epoch": 1.004,
      "grad_norm": 0.5440991520881653,
      "learning_rate": 1.3309333333333335e-05,
      "loss": 0.2546,
      "step": 2510
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.4972204566001892,
      "learning_rate": 1.3282666666666667e-05,
      "loss": 0.2739,
      "step": 2520
    },
    {
      "epoch": 1.012,
      "grad_norm": 0.4154798686504364,
      "learning_rate": 1.3256e-05,
      "loss": 0.2714,
      "step": 2530
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.47667840123176575,
      "learning_rate": 1.3229333333333334e-05,
      "loss": 0.2494,
      "step": 2540
    },
    {
      "epoch": 1.02,
      "grad_norm": 0.6118319034576416,
      "learning_rate": 1.3202666666666668e-05,
      "loss": 0.2648,
      "step": 2550
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.5006189942359924,
      "learning_rate": 1.3176000000000002e-05,
      "loss": 0.2462,
      "step": 2560
    },
    {
      "epoch": 1.028,
      "grad_norm": 0.552798330783844,
      "learning_rate": 1.3149333333333335e-05,
      "loss": 0.2349,
      "step": 2570
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.5331425070762634,
      "learning_rate": 1.3122666666666667e-05,
      "loss": 0.2438,
      "step": 2580
    },
    {
      "epoch": 1.036,
      "grad_norm": 0.47227418422698975,
      "learning_rate": 1.3096000000000001e-05,
      "loss": 0.2591,
      "step": 2590
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.626652717590332,
      "learning_rate": 1.3069333333333334e-05,
      "loss": 0.2355,
      "step": 2600
    },
    {
      "epoch": 1.044,
      "grad_norm": 0.39577364921569824,
      "learning_rate": 1.3042666666666668e-05,
      "loss": 0.2554,
      "step": 2610
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.4653715491294861,
      "learning_rate": 1.3016000000000002e-05,
      "loss": 0.233,
      "step": 2620
    },
    {
      "epoch": 1.052,
      "grad_norm": 0.4667207896709442,
      "learning_rate": 1.2989333333333335e-05,
      "loss": 0.2395,
      "step": 2630
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.4924478232860565,
      "learning_rate": 1.2962666666666667e-05,
      "loss": 0.258,
      "step": 2640
    },
    {
      "epoch": 1.06,
      "grad_norm": 0.5513306260108948,
      "learning_rate": 1.2936000000000001e-05,
      "loss": 0.2404,
      "step": 2650
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.46071794629096985,
      "learning_rate": 1.2909333333333334e-05,
      "loss": 0.2613,
      "step": 2660
    },
    {
      "epoch": 1.068,
      "grad_norm": 0.4515053629875183,
      "learning_rate": 1.2882666666666668e-05,
      "loss": 0.2554,
      "step": 2670
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.5845895409584045,
      "learning_rate": 1.2856000000000002e-05,
      "loss": 0.2234,
      "step": 2680
    },
    {
      "epoch": 1.076,
      "grad_norm": 0.6109786033630371,
      "learning_rate": 1.2829333333333334e-05,
      "loss": 0.2574,
      "step": 2690
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.416643887758255,
      "learning_rate": 1.2802666666666667e-05,
      "loss": 0.2434,
      "step": 2700
    },
    {
      "epoch": 1.084,
      "grad_norm": 0.8896753787994385,
      "learning_rate": 1.2776000000000001e-05,
      "loss": 0.2273,
      "step": 2710
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.6689579486846924,
      "learning_rate": 1.2749333333333333e-05,
      "loss": 0.2431,
      "step": 2720
    },
    {
      "epoch": 1.092,
      "grad_norm": 0.5625743269920349,
      "learning_rate": 1.2722666666666668e-05,
      "loss": 0.2277,
      "step": 2730
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.523047924041748,
      "learning_rate": 1.2696000000000002e-05,
      "loss": 0.2504,
      "step": 2740
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.5277451276779175,
      "learning_rate": 1.2669333333333334e-05,
      "loss": 0.2518,
      "step": 2750
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.515948474407196,
      "learning_rate": 1.2642666666666667e-05,
      "loss": 0.2805,
      "step": 2760
    },
    {
      "epoch": 1.108,
      "grad_norm": 0.5372030138969421,
      "learning_rate": 1.2616e-05,
      "loss": 0.252,
      "step": 2770
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.43156781792640686,
      "learning_rate": 1.2589333333333333e-05,
      "loss": 0.249,
      "step": 2780
    },
    {
      "epoch": 1.116,
      "grad_norm": 0.5149580240249634,
      "learning_rate": 1.2562666666666667e-05,
      "loss": 0.2305,
      "step": 2790
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.5531086325645447,
      "learning_rate": 1.2536000000000002e-05,
      "loss": 0.2534,
      "step": 2800
    },
    {
      "epoch": 1.124,
      "grad_norm": 0.4568405747413635,
      "learning_rate": 1.2509333333333334e-05,
      "loss": 0.2763,
      "step": 2810
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 0.47550639510154724,
      "learning_rate": 1.2482666666666668e-05,
      "loss": 0.2443,
      "step": 2820
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 0.5201884508132935,
      "learning_rate": 1.2456e-05,
      "loss": 0.2768,
      "step": 2830
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.652765691280365,
      "learning_rate": 1.2429333333333333e-05,
      "loss": 0.2497,
      "step": 2840
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 0.5712699294090271,
      "learning_rate": 1.2402666666666667e-05,
      "loss": 0.2902,
      "step": 2850
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.5406668186187744,
      "learning_rate": 1.2376000000000001e-05,
      "loss": 0.2738,
      "step": 2860
    },
    {
      "epoch": 1.148,
      "grad_norm": 0.6524983644485474,
      "learning_rate": 1.2349333333333336e-05,
      "loss": 0.2611,
      "step": 2870
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.5555579662322998,
      "learning_rate": 1.2322666666666668e-05,
      "loss": 0.2515,
      "step": 2880
    },
    {
      "epoch": 1.156,
      "grad_norm": 0.5171626210212708,
      "learning_rate": 1.2296e-05,
      "loss": 0.2307,
      "step": 2890
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.6006278991699219,
      "learning_rate": 1.2269333333333335e-05,
      "loss": 0.222,
      "step": 2900
    },
    {
      "epoch": 1.164,
      "grad_norm": 0.4333373010158539,
      "learning_rate": 1.2242666666666667e-05,
      "loss": 0.2391,
      "step": 2910
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.4602346122264862,
      "learning_rate": 1.2216000000000001e-05,
      "loss": 0.2341,
      "step": 2920
    },
    {
      "epoch": 1.172,
      "grad_norm": 0.510161817073822,
      "learning_rate": 1.2189333333333335e-05,
      "loss": 0.2465,
      "step": 2930
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.47351083159446716,
      "learning_rate": 1.2162666666666668e-05,
      "loss": 0.2684,
      "step": 2940
    },
    {
      "epoch": 1.18,
      "grad_norm": 0.640324056148529,
      "learning_rate": 1.2136e-05,
      "loss": 0.2674,
      "step": 2950
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.557917594909668,
      "learning_rate": 1.2109333333333335e-05,
      "loss": 0.2307,
      "step": 2960
    },
    {
      "epoch": 1.188,
      "grad_norm": 0.5333521366119385,
      "learning_rate": 1.2082666666666667e-05,
      "loss": 0.264,
      "step": 2970
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.5270512700080872,
      "learning_rate": 1.2056000000000001e-05,
      "loss": 0.2622,
      "step": 2980
    },
    {
      "epoch": 1.196,
      "grad_norm": 0.6571713089942932,
      "learning_rate": 1.2029333333333335e-05,
      "loss": 0.2508,
      "step": 2990
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.4805188775062561,
      "learning_rate": 1.2002666666666668e-05,
      "loss": 0.2374,
      "step": 3000
    },
    {
      "epoch": 1.204,
      "grad_norm": 0.390994131565094,
      "learning_rate": 1.1976e-05,
      "loss": 0.2474,
      "step": 3010
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.5322064757347107,
      "learning_rate": 1.1949333333333334e-05,
      "loss": 0.2494,
      "step": 3020
    },
    {
      "epoch": 1.212,
      "grad_norm": 0.45446017384529114,
      "learning_rate": 1.1922666666666667e-05,
      "loss": 0.21,
      "step": 3030
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.47018682956695557,
      "learning_rate": 1.1896000000000001e-05,
      "loss": 0.234,
      "step": 3040
    },
    {
      "epoch": 1.22,
      "grad_norm": 0.5002714395523071,
      "learning_rate": 1.1869333333333335e-05,
      "loss": 0.2558,
      "step": 3050
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.5081589221954346,
      "learning_rate": 1.1842666666666668e-05,
      "loss": 0.2573,
      "step": 3060
    },
    {
      "epoch": 1.228,
      "grad_norm": 0.2851148843765259,
      "learning_rate": 1.1816e-05,
      "loss": 0.2689,
      "step": 3070
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.4786511957645416,
      "learning_rate": 1.1789333333333334e-05,
      "loss": 0.2395,
      "step": 3080
    },
    {
      "epoch": 1.236,
      "grad_norm": 0.4615110754966736,
      "learning_rate": 1.1762666666666667e-05,
      "loss": 0.2268,
      "step": 3090
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.4482421278953552,
      "learning_rate": 1.1736e-05,
      "loss": 0.241,
      "step": 3100
    },
    {
      "epoch": 1.244,
      "grad_norm": 0.6766530871391296,
      "learning_rate": 1.1709333333333335e-05,
      "loss": 0.2286,
      "step": 3110
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.44992247223854065,
      "learning_rate": 1.1682666666666667e-05,
      "loss": 0.2614,
      "step": 3120
    },
    {
      "epoch": 1.252,
      "grad_norm": 0.5725236535072327,
      "learning_rate": 1.1656e-05,
      "loss": 0.2614,
      "step": 3130
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.4952967166900635,
      "learning_rate": 1.1629333333333334e-05,
      "loss": 0.2802,
      "step": 3140
    },
    {
      "epoch": 1.26,
      "grad_norm": NaN,
      "learning_rate": 1.1602666666666666e-05,
      "loss": 0.2726,
      "step": 3150
    },
    {
      "epoch": 1.264,
      "grad_norm": 2.127305030822754,
      "learning_rate": 1.1576e-05,
      "loss": 0.2705,
      "step": 3160
    },
    {
      "epoch": 1.268,
      "grad_norm": 0.6616774201393127,
      "learning_rate": 1.1549333333333335e-05,
      "loss": 0.3065,
      "step": 3170
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.6205490827560425,
      "learning_rate": 1.1522666666666669e-05,
      "loss": 0.2473,
      "step": 3180
    },
    {
      "epoch": 1.276,
      "grad_norm": 0.556382417678833,
      "learning_rate": 1.1496e-05,
      "loss": 0.2687,
      "step": 3190
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.5469709038734436,
      "learning_rate": 1.1469333333333334e-05,
      "loss": 0.2665,
      "step": 3200
    },
    {
      "epoch": 1.284,
      "grad_norm": 0.6290965676307678,
      "learning_rate": 1.1442666666666668e-05,
      "loss": 0.2392,
      "step": 3210
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.5531810522079468,
      "learning_rate": 1.1416e-05,
      "loss": 0.2568,
      "step": 3220
    },
    {
      "epoch": 1.292,
      "grad_norm": 0.5033235549926758,
      "learning_rate": 1.1389333333333335e-05,
      "loss": 0.2552,
      "step": 3230
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.6121941804885864,
      "learning_rate": 1.1362666666666669e-05,
      "loss": 0.2449,
      "step": 3240
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.5877725481987,
      "learning_rate": 1.1336e-05,
      "loss": 0.2452,
      "step": 3250
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.4163094162940979,
      "learning_rate": 1.1309333333333334e-05,
      "loss": 0.2535,
      "step": 3260
    },
    {
      "epoch": 1.308,
      "grad_norm": 0.5468899607658386,
      "learning_rate": 1.1282666666666668e-05,
      "loss": 0.2587,
      "step": 3270
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.6804016828536987,
      "learning_rate": 1.1256e-05,
      "loss": 0.2714,
      "step": 3280
    },
    {
      "epoch": 1.316,
      "grad_norm": 0.5056036710739136,
      "learning_rate": 1.1229333333333334e-05,
      "loss": 0.2432,
      "step": 3290
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.4640405476093292,
      "learning_rate": 1.1202666666666669e-05,
      "loss": 0.2486,
      "step": 3300
    },
    {
      "epoch": 1.324,
      "grad_norm": 0.5249980092048645,
      "learning_rate": 1.1176e-05,
      "loss": 0.2305,
      "step": 3310
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.5795167684555054,
      "learning_rate": 1.1149333333333334e-05,
      "loss": 0.2426,
      "step": 3320
    },
    {
      "epoch": 1.332,
      "grad_norm": 0.49364906549453735,
      "learning_rate": 1.1122666666666668e-05,
      "loss": 0.2198,
      "step": 3330
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.45856717228889465,
      "learning_rate": 1.1096e-05,
      "loss": 0.2541,
      "step": 3340
    },
    {
      "epoch": 1.34,
      "grad_norm": 0.5339840054512024,
      "learning_rate": 1.1069333333333334e-05,
      "loss": 0.268,
      "step": 3350
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.5169997811317444,
      "learning_rate": 1.1042666666666668e-05,
      "loss": 0.2667,
      "step": 3360
    },
    {
      "epoch": 1.3479999999999999,
      "grad_norm": 0.48912790417671204,
      "learning_rate": 1.1016e-05,
      "loss": 0.2153,
      "step": 3370
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.5832170844078064,
      "learning_rate": 1.0989333333333333e-05,
      "loss": 0.2598,
      "step": 3380
    },
    {
      "epoch": 1.3559999999999999,
      "grad_norm": 0.6225261688232422,
      "learning_rate": 1.0962666666666668e-05,
      "loss": 0.2723,
      "step": 3390
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.47685354948043823,
      "learning_rate": 1.0936e-05,
      "loss": 0.2429,
      "step": 3400
    },
    {
      "epoch": 1.3639999999999999,
      "grad_norm": 0.4994128942489624,
      "learning_rate": 1.0909333333333334e-05,
      "loss": 0.2309,
      "step": 3410
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 0.6265987753868103,
      "learning_rate": 1.0882666666666668e-05,
      "loss": 0.2678,
      "step": 3420
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 0.47481802105903625,
      "learning_rate": 1.0855999999999999e-05,
      "loss": 0.2402,
      "step": 3430
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.6272761821746826,
      "learning_rate": 1.0829333333333333e-05,
      "loss": 0.287,
      "step": 3440
    },
    {
      "epoch": 1.38,
      "grad_norm": 0.6699458360671997,
      "learning_rate": 1.0802666666666667e-05,
      "loss": 0.2632,
      "step": 3450
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.5304442644119263,
      "learning_rate": 1.0776e-05,
      "loss": 0.2642,
      "step": 3460
    },
    {
      "epoch": 1.388,
      "grad_norm": 0.5047972798347473,
      "learning_rate": 1.0749333333333334e-05,
      "loss": 0.2793,
      "step": 3470
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.5379613041877747,
      "learning_rate": 1.0722666666666668e-05,
      "loss": 0.2346,
      "step": 3480
    },
    {
      "epoch": 1.396,
      "grad_norm": 0.41858911514282227,
      "learning_rate": 1.0696000000000002e-05,
      "loss": 0.2145,
      "step": 3490
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.6453313827514648,
      "learning_rate": 1.0669333333333333e-05,
      "loss": 0.2543,
      "step": 3500
    },
    {
      "epoch": 1.404,
      "grad_norm": 0.5400089025497437,
      "learning_rate": 1.0642666666666667e-05,
      "loss": 0.2509,
      "step": 3510
    },
    {
      "epoch": 1.408,
      "grad_norm": 1.208162546157837,
      "learning_rate": 1.0616000000000001e-05,
      "loss": 0.2492,
      "step": 3520
    },
    {
      "epoch": 1.412,
      "grad_norm": 0.6718884706497192,
      "learning_rate": 1.0589333333333334e-05,
      "loss": 0.2673,
      "step": 3530
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.643903911113739,
      "learning_rate": 1.0562666666666668e-05,
      "loss": 0.2752,
      "step": 3540
    },
    {
      "epoch": 1.42,
      "grad_norm": 0.532416045665741,
      "learning_rate": 1.0536000000000002e-05,
      "loss": 0.2865,
      "step": 3550
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.43716755509376526,
      "learning_rate": 1.0509333333333333e-05,
      "loss": 0.2443,
      "step": 3560
    },
    {
      "epoch": 1.428,
      "grad_norm": 0.5723093748092651,
      "learning_rate": 1.0482666666666667e-05,
      "loss": 0.2502,
      "step": 3570
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.5914117693901062,
      "learning_rate": 1.0456000000000001e-05,
      "loss": 0.2529,
      "step": 3580
    },
    {
      "epoch": 1.436,
      "grad_norm": 23.44118881225586,
      "learning_rate": 1.0429333333333334e-05,
      "loss": 0.2359,
      "step": 3590
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.5822557210922241,
      "learning_rate": 1.0402666666666668e-05,
      "loss": 0.2524,
      "step": 3600
    },
    {
      "epoch": 1.444,
      "grad_norm": 0.39575064182281494,
      "learning_rate": 1.0376000000000002e-05,
      "loss": 0.2265,
      "step": 3610
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.4728231430053711,
      "learning_rate": 1.0349333333333333e-05,
      "loss": 0.2475,
      "step": 3620
    },
    {
      "epoch": 1.452,
      "grad_norm": 0.6290364265441895,
      "learning_rate": 1.0322666666666667e-05,
      "loss": 0.2442,
      "step": 3630
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.7481719851493835,
      "learning_rate": 1.0296000000000001e-05,
      "loss": 0.2588,
      "step": 3640
    },
    {
      "epoch": 1.46,
      "grad_norm": 5.937191963195801,
      "learning_rate": 1.0269333333333333e-05,
      "loss": 0.269,
      "step": 3650
    },
    {
      "epoch": 1.464,
      "grad_norm": 0.5029851794242859,
      "learning_rate": 1.0242666666666668e-05,
      "loss": 0.2333,
      "step": 3660
    },
    {
      "epoch": 1.468,
      "grad_norm": 0.5323166847229004,
      "learning_rate": 1.0216000000000002e-05,
      "loss": 0.2306,
      "step": 3670
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.5790389180183411,
      "learning_rate": 1.0189333333333333e-05,
      "loss": 0.2846,
      "step": 3680
    },
    {
      "epoch": 1.476,
      "grad_norm": 0.42738649249076843,
      "learning_rate": 1.0162666666666667e-05,
      "loss": 0.2425,
      "step": 3690
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.44407227635383606,
      "learning_rate": 1.0136000000000001e-05,
      "loss": 0.2366,
      "step": 3700
    },
    {
      "epoch": 1.484,
      "grad_norm": 0.5864424705505371,
      "learning_rate": 1.0109333333333333e-05,
      "loss": 0.2859,
      "step": 3710
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.5136529803276062,
      "learning_rate": 1.0082666666666667e-05,
      "loss": 0.2373,
      "step": 3720
    },
    {
      "epoch": 1.492,
      "grad_norm": 0.53251051902771,
      "learning_rate": 1.0056000000000002e-05,
      "loss": 0.2436,
      "step": 3730
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.45315873622894287,
      "learning_rate": 1.0029333333333332e-05,
      "loss": 0.2085,
      "step": 3740
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.6431245803833008,
      "learning_rate": 1.0002666666666667e-05,
      "loss": 0.2582,
      "step": 3750
    },
    {
      "epoch": 1.504,
      "grad_norm": 0.5814210176467896,
      "learning_rate": 9.976e-06,
      "loss": 0.2347,
      "step": 3760
    },
    {
      "epoch": 1.508,
      "grad_norm": 0.4896796941757202,
      "learning_rate": 9.949333333333335e-06,
      "loss": 0.238,
      "step": 3770
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.44410496950149536,
      "learning_rate": 9.922666666666667e-06,
      "loss": 0.2569,
      "step": 3780
    },
    {
      "epoch": 1.516,
      "grad_norm": 0.5051149725914001,
      "learning_rate": 9.896000000000001e-06,
      "loss": 0.2457,
      "step": 3790
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.5698389410972595,
      "learning_rate": 9.869333333333334e-06,
      "loss": 0.2428,
      "step": 3800
    },
    {
      "epoch": 1.524,
      "grad_norm": 0.4035334587097168,
      "learning_rate": 9.842666666666666e-06,
      "loss": 0.26,
      "step": 3810
    },
    {
      "epoch": 1.528,
      "grad_norm": 0.506327748298645,
      "learning_rate": 9.816e-06,
      "loss": 0.2655,
      "step": 3820
    },
    {
      "epoch": 1.532,
      "grad_norm": 0.48491552472114563,
      "learning_rate": 9.789333333333335e-06,
      "loss": 0.2368,
      "step": 3830
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.38744503259658813,
      "learning_rate": 9.762666666666667e-06,
      "loss": 0.2567,
      "step": 3840
    },
    {
      "epoch": 1.54,
      "grad_norm": 0.5672836303710938,
      "learning_rate": 9.736000000000001e-06,
      "loss": 0.2559,
      "step": 3850
    },
    {
      "epoch": 1.544,
      "grad_norm": 0.42085444927215576,
      "learning_rate": 9.709333333333334e-06,
      "loss": 0.2449,
      "step": 3860
    },
    {
      "epoch": 1.548,
      "grad_norm": 0.3606667220592499,
      "learning_rate": 9.682666666666668e-06,
      "loss": 0.2252,
      "step": 3870
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.36842432618141174,
      "learning_rate": 9.656e-06,
      "loss": 0.2244,
      "step": 3880
    },
    {
      "epoch": 1.556,
      "grad_norm": 0.3918519914150238,
      "learning_rate": 9.629333333333335e-06,
      "loss": 0.2538,
      "step": 3890
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.6120832562446594,
      "learning_rate": 9.602666666666669e-06,
      "loss": 0.2642,
      "step": 3900
    },
    {
      "epoch": 1.564,
      "grad_norm": 0.3940815031528473,
      "learning_rate": 9.576000000000001e-06,
      "loss": 0.2366,
      "step": 3910
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.4944745898246765,
      "learning_rate": 9.549333333333334e-06,
      "loss": 0.2552,
      "step": 3920
    },
    {
      "epoch": 1.572,
      "grad_norm": 0.5122197270393372,
      "learning_rate": 9.522666666666668e-06,
      "loss": 0.2139,
      "step": 3930
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.3861853778362274,
      "learning_rate": 9.496e-06,
      "loss": 0.2409,
      "step": 3940
    },
    {
      "epoch": 1.58,
      "grad_norm": 0.41660165786743164,
      "learning_rate": 9.469333333333334e-06,
      "loss": 0.2738,
      "step": 3950
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.3429621756076813,
      "learning_rate": 9.442666666666669e-06,
      "loss": 0.2428,
      "step": 3960
    },
    {
      "epoch": 1.588,
      "grad_norm": 0.4336087703704834,
      "learning_rate": 9.416000000000001e-06,
      "loss": 0.2737,
      "step": 3970
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.5038446187973022,
      "learning_rate": 9.389333333333333e-06,
      "loss": 0.2523,
      "step": 3980
    },
    {
      "epoch": 1.596,
      "grad_norm": 0.41091305017471313,
      "learning_rate": 9.362666666666668e-06,
      "loss": 0.2701,
      "step": 3990
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.3381136655807495,
      "learning_rate": 9.336e-06,
      "loss": 0.2394,
      "step": 4000
    },
    {
      "epoch": 1.604,
      "grad_norm": 0.40173450112342834,
      "learning_rate": 9.309333333333334e-06,
      "loss": 0.2515,
      "step": 4010
    },
    {
      "epoch": 1.608,
      "grad_norm": 0.4156287908554077,
      "learning_rate": 9.282666666666668e-06,
      "loss": 0.2117,
      "step": 4020
    },
    {
      "epoch": 1.612,
      "grad_norm": 0.4534705877304077,
      "learning_rate": 9.256e-06,
      "loss": 0.2549,
      "step": 4030
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.5014417767524719,
      "learning_rate": 9.229333333333335e-06,
      "loss": 0.2578,
      "step": 4040
    },
    {
      "epoch": 1.62,
      "grad_norm": 0.4683777391910553,
      "learning_rate": 9.202666666666667e-06,
      "loss": 0.2744,
      "step": 4050
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.48263463377952576,
      "learning_rate": 9.176e-06,
      "loss": 0.2673,
      "step": 4060
    },
    {
      "epoch": 1.6280000000000001,
      "grad_norm": 0.334062397480011,
      "learning_rate": 9.149333333333334e-06,
      "loss": 0.2586,
      "step": 4070
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.4674277901649475,
      "learning_rate": 9.122666666666668e-06,
      "loss": 0.2515,
      "step": 4080
    },
    {
      "epoch": 1.6360000000000001,
      "grad_norm": 0.4756511449813843,
      "learning_rate": 9.096e-06,
      "loss": 0.2545,
      "step": 4090
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.32446733117103577,
      "learning_rate": 9.069333333333335e-06,
      "loss": 0.2405,
      "step": 4100
    },
    {
      "epoch": 1.6440000000000001,
      "grad_norm": 0.48470672965049744,
      "learning_rate": 9.042666666666667e-06,
      "loss": 0.2495,
      "step": 4110
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.4887638986110687,
      "learning_rate": 9.016e-06,
      "loss": 0.2562,
      "step": 4120
    },
    {
      "epoch": 1.6520000000000001,
      "grad_norm": 0.45506277680397034,
      "learning_rate": 8.989333333333334e-06,
      "loss": 0.2559,
      "step": 4130
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.40097734332084656,
      "learning_rate": 8.962666666666668e-06,
      "loss": 0.2784,
      "step": 4140
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 0.44180023670196533,
      "learning_rate": 8.936e-06,
      "loss": 0.2542,
      "step": 4150
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.4007416069507599,
      "learning_rate": 8.909333333333335e-06,
      "loss": 0.2397,
      "step": 4160
    },
    {
      "epoch": 1.6680000000000001,
      "grad_norm": 0.503251314163208,
      "learning_rate": 8.882666666666667e-06,
      "loss": 0.2749,
      "step": 4170
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.43198898434638977,
      "learning_rate": 8.856000000000001e-06,
      "loss": 0.2636,
      "step": 4180
    },
    {
      "epoch": 1.6760000000000002,
      "grad_norm": 0.32004514336586,
      "learning_rate": 8.829333333333334e-06,
      "loss": 0.2297,
      "step": 4190
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.32270774245262146,
      "learning_rate": 8.802666666666668e-06,
      "loss": 0.2369,
      "step": 4200
    },
    {
      "epoch": 1.6840000000000002,
      "grad_norm": 0.40397176146507263,
      "learning_rate": 8.776e-06,
      "loss": 0.2433,
      "step": 4210
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.3751389980316162,
      "learning_rate": 8.749333333333334e-06,
      "loss": 0.2443,
      "step": 4220
    },
    {
      "epoch": 1.692,
      "grad_norm": 0.46310901641845703,
      "learning_rate": 8.722666666666667e-06,
      "loss": 0.2645,
      "step": 4230
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.4188234508037567,
      "learning_rate": 8.696000000000001e-06,
      "loss": 0.2488,
      "step": 4240
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.3317827582359314,
      "learning_rate": 8.669333333333334e-06,
      "loss": 0.2519,
      "step": 4250
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.36928510665893555,
      "learning_rate": 8.642666666666668e-06,
      "loss": 0.2457,
      "step": 4260
    },
    {
      "epoch": 1.708,
      "grad_norm": 0.3782973289489746,
      "learning_rate": 8.616000000000002e-06,
      "loss": 0.2753,
      "step": 4270
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.29384884238243103,
      "learning_rate": 8.589333333333334e-06,
      "loss": 0.2498,
      "step": 4280
    },
    {
      "epoch": 1.716,
      "grad_norm": 0.42660385370254517,
      "learning_rate": 8.562666666666667e-06,
      "loss": 0.2364,
      "step": 4290
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.3873524069786072,
      "learning_rate": 8.536000000000001e-06,
      "loss": 0.2485,
      "step": 4300
    },
    {
      "epoch": 1.724,
      "grad_norm": 0.3234214186668396,
      "learning_rate": 8.509333333333333e-06,
      "loss": 0.257,
      "step": 4310
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.3366452753543854,
      "learning_rate": 8.482666666666668e-06,
      "loss": 0.2233,
      "step": 4320
    },
    {
      "epoch": 1.732,
      "grad_norm": 0.35467636585235596,
      "learning_rate": 8.456000000000002e-06,
      "loss": 0.2442,
      "step": 4330
    },
    {
      "epoch": 1.736,
      "grad_norm": 0.26119524240493774,
      "learning_rate": 8.429333333333334e-06,
      "loss": 0.2498,
      "step": 4340
    },
    {
      "epoch": 1.74,
      "grad_norm": 0.3373224437236786,
      "learning_rate": 8.402666666666668e-06,
      "loss": 0.2059,
      "step": 4350
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.292337566614151,
      "learning_rate": 8.376e-06,
      "loss": 0.2363,
      "step": 4360
    },
    {
      "epoch": 1.748,
      "grad_norm": 0.2813045084476471,
      "learning_rate": 8.349333333333333e-06,
      "loss": 0.2372,
      "step": 4370
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.2749570906162262,
      "learning_rate": 8.322666666666667e-06,
      "loss": 0.2747,
      "step": 4380
    },
    {
      "epoch": 1.756,
      "grad_norm": 0.2731185257434845,
      "learning_rate": 8.296000000000002e-06,
      "loss": 0.259,
      "step": 4390
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.30308401584625244,
      "learning_rate": 8.269333333333334e-06,
      "loss": 0.2719,
      "step": 4400
    },
    {
      "epoch": 1.764,
      "grad_norm": 0.4045141935348511,
      "learning_rate": 8.242666666666668e-06,
      "loss": 0.277,
      "step": 4410
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.2454979419708252,
      "learning_rate": 8.216e-06,
      "loss": 0.2486,
      "step": 4420
    },
    {
      "epoch": 1.772,
      "grad_norm": 0.36703935265541077,
      "learning_rate": 8.189333333333333e-06,
      "loss": 0.2776,
      "step": 4430
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.22125069797039032,
      "learning_rate": 8.162666666666667e-06,
      "loss": 0.2363,
      "step": 4440
    },
    {
      "epoch": 1.78,
      "grad_norm": 0.3106949031352997,
      "learning_rate": 8.136000000000001e-06,
      "loss": 0.2417,
      "step": 4450
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.2498166561126709,
      "learning_rate": 8.109333333333334e-06,
      "loss": 0.2532,
      "step": 4460
    },
    {
      "epoch": 1.788,
      "grad_norm": 0.2341402769088745,
      "learning_rate": 8.082666666666668e-06,
      "loss": 0.252,
      "step": 4470
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.3064709007740021,
      "learning_rate": 8.056e-06,
      "loss": 0.2538,
      "step": 4480
    },
    {
      "epoch": 1.796,
      "grad_norm": 0.45715293288230896,
      "learning_rate": 8.029333333333335e-06,
      "loss": 0.2748,
      "step": 4490
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.27951565384864807,
      "learning_rate": 8.002666666666667e-06,
      "loss": 0.2688,
      "step": 4500
    },
    {
      "epoch": 1.804,
      "grad_norm": 0.3826848268508911,
      "learning_rate": 7.976000000000001e-06,
      "loss": 0.277,
      "step": 4510
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.44055384397506714,
      "learning_rate": 7.949333333333334e-06,
      "loss": 0.266,
      "step": 4520
    },
    {
      "epoch": 1.812,
      "grad_norm": 0.27713876962661743,
      "learning_rate": 7.922666666666668e-06,
      "loss": 0.2169,
      "step": 4530
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.35574108362197876,
      "learning_rate": 7.896e-06,
      "loss": 0.2806,
      "step": 4540
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 0.3369232416152954,
      "learning_rate": 7.869333333333334e-06,
      "loss": 0.2649,
      "step": 4550
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.42911919951438904,
      "learning_rate": 7.842666666666667e-06,
      "loss": 0.2468,
      "step": 4560
    },
    {
      "epoch": 1.8279999999999998,
      "grad_norm": 0.3616214990615845,
      "learning_rate": 7.816000000000001e-06,
      "loss": 0.2403,
      "step": 4570
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.3658316731452942,
      "learning_rate": 7.789333333333334e-06,
      "loss": 0.2751,
      "step": 4580
    },
    {
      "epoch": 1.8359999999999999,
      "grad_norm": 0.23591068387031555,
      "learning_rate": 7.762666666666668e-06,
      "loss": 0.2529,
      "step": 4590
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.29503270983695984,
      "learning_rate": 7.736e-06,
      "loss": 0.2843,
      "step": 4600
    },
    {
      "epoch": 1.8439999999999999,
      "grad_norm": 0.3724270164966583,
      "learning_rate": 7.709333333333334e-06,
      "loss": 0.2776,
      "step": 4610
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.3584628403186798,
      "learning_rate": 7.682666666666667e-06,
      "loss": 0.2896,
      "step": 4620
    },
    {
      "epoch": 1.8519999999999999,
      "grad_norm": 0.3826291859149933,
      "learning_rate": 7.656000000000001e-06,
      "loss": 0.273,
      "step": 4630
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.30887797474861145,
      "learning_rate": 7.629333333333334e-06,
      "loss": 0.2397,
      "step": 4640
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 0.24024438858032227,
      "learning_rate": 7.602666666666667e-06,
      "loss": 0.2219,
      "step": 4650
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 0.3022843897342682,
      "learning_rate": 7.576000000000001e-06,
      "loss": 0.2658,
      "step": 4660
    },
    {
      "epoch": 1.8679999999999999,
      "grad_norm": 0.32519158720970154,
      "learning_rate": 7.549333333333334e-06,
      "loss": 0.2681,
      "step": 4670
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.35749658942222595,
      "learning_rate": 7.522666666666667e-06,
      "loss": 0.2656,
      "step": 4680
    },
    {
      "epoch": 1.876,
      "grad_norm": 0.2936573624610901,
      "learning_rate": 7.496000000000001e-06,
      "loss": 0.2884,
      "step": 4690
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.28760528564453125,
      "learning_rate": 7.469333333333334e-06,
      "loss": 0.261,
      "step": 4700
    },
    {
      "epoch": 1.884,
      "grad_norm": 0.3032340705394745,
      "learning_rate": 7.442666666666667e-06,
      "loss": 0.2496,
      "step": 4710
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.3310381770133972,
      "learning_rate": 7.416000000000001e-06,
      "loss": 0.2681,
      "step": 4720
    },
    {
      "epoch": 1.892,
      "grad_norm": 0.260921448469162,
      "learning_rate": 7.389333333333334e-06,
      "loss": 0.2606,
      "step": 4730
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.3983185291290283,
      "learning_rate": 7.362666666666667e-06,
      "loss": 0.2529,
      "step": 4740
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.2649815082550049,
      "learning_rate": 7.3360000000000006e-06,
      "loss": 0.2672,
      "step": 4750
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.17475271224975586,
      "learning_rate": 7.309333333333334e-06,
      "loss": 0.2487,
      "step": 4760
    },
    {
      "epoch": 1.908,
      "grad_norm": 0.1849173754453659,
      "learning_rate": 7.282666666666667e-06,
      "loss": 0.2589,
      "step": 4770
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.10120582580566406,
      "learning_rate": 7.2560000000000005e-06,
      "loss": 0.2323,
      "step": 4780
    },
    {
      "epoch": 1.916,
      "grad_norm": 0.11119116097688675,
      "learning_rate": 7.229333333333334e-06,
      "loss": 0.2792,
      "step": 4790
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.17446480691432953,
      "learning_rate": 7.202666666666668e-06,
      "loss": 0.276,
      "step": 4800
    },
    {
      "epoch": 1.924,
      "grad_norm": 0.14958135783672333,
      "learning_rate": 7.176e-06,
      "loss": 0.2797,
      "step": 4810
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.16634155809879303,
      "learning_rate": 7.149333333333334e-06,
      "loss": 0.2883,
      "step": 4820
    },
    {
      "epoch": 1.932,
      "grad_norm": 0.12265870720148087,
      "learning_rate": 7.122666666666668e-06,
      "loss": 0.2679,
      "step": 4830
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.1468086540699005,
      "learning_rate": 7.096e-06,
      "loss": 0.2629,
      "step": 4840
    },
    {
      "epoch": 1.94,
      "grad_norm": 0.13143840432167053,
      "learning_rate": 7.069333333333334e-06,
      "loss": 0.2582,
      "step": 4850
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.0972132757306099,
      "learning_rate": 7.042666666666668e-06,
      "loss": 0.2775,
      "step": 4860
    },
    {
      "epoch": 1.948,
      "grad_norm": 0.10757272690534592,
      "learning_rate": 7.016e-06,
      "loss": 0.2762,
      "step": 4870
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.0815700814127922,
      "learning_rate": 6.9893333333333336e-06,
      "loss": 0.2342,
      "step": 4880
    },
    {
      "epoch": 1.956,
      "grad_norm": 0.0996004045009613,
      "learning_rate": 6.962666666666668e-06,
      "loss": 0.2591,
      "step": 4890
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.0900239422917366,
      "learning_rate": 6.936e-06,
      "loss": 0.2564,
      "step": 4900
    },
    {
      "epoch": 1.964,
      "grad_norm": 0.1269359141588211,
      "learning_rate": 6.9093333333333335e-06,
      "loss": 0.2895,
      "step": 4910
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.10901577025651932,
      "learning_rate": 6.882666666666668e-06,
      "loss": 0.2536,
      "step": 4920
    },
    {
      "epoch": 1.972,
      "grad_norm": 0.09355379641056061,
      "learning_rate": 6.856e-06,
      "loss": 0.2712,
      "step": 4930
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.07490667700767517,
      "learning_rate": 6.829333333333333e-06,
      "loss": 0.261,
      "step": 4940
    },
    {
      "epoch": 1.98,
      "grad_norm": 0.07861382514238358,
      "learning_rate": 6.8026666666666675e-06,
      "loss": 0.2491,
      "step": 4950
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.07900423556566238,
      "learning_rate": 6.776e-06,
      "loss": 0.3126,
      "step": 4960
    },
    {
      "epoch": 1.988,
      "grad_norm": 0.098032645881176,
      "learning_rate": 6.749333333333334e-06,
      "loss": 0.2186,
      "step": 4970
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.09369993209838867,
      "learning_rate": 6.7226666666666675e-06,
      "loss": 0.2478,
      "step": 4980
    },
    {
      "epoch": 1.996,
      "grad_norm": 0.09760956466197968,
      "learning_rate": 6.696e-06,
      "loss": 0.2556,
      "step": 4990
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.1648833155632019,
      "learning_rate": 6.669333333333334e-06,
      "loss": 0.2727,
      "step": 5000
    },
    {
      "epoch": 2.0,
      "eval_loss": 0.24119731783866882,
      "eval_runtime": 65.6092,
      "eval_samples_per_second": 38.104,
      "eval_steps_per_second": 4.771,
      "step": 5000
    },
    {
      "epoch": 2.004,
      "grad_norm": 0.0808454379439354,
      "learning_rate": 6.642666666666667e-06,
      "loss": 0.2608,
      "step": 5010
    },
    {
      "epoch": 2.008,
      "grad_norm": 0.0906185582280159,
      "learning_rate": 6.616e-06,
      "loss": 0.2731,
      "step": 5020
    },
    {
      "epoch": 2.012,
      "grad_norm": 0.08718050271272659,
      "learning_rate": 6.589333333333334e-06,
      "loss": 0.2627,
      "step": 5030
    },
    {
      "epoch": 2.016,
      "grad_norm": 0.11350775510072708,
      "learning_rate": 6.562666666666667e-06,
      "loss": 0.273,
      "step": 5040
    },
    {
      "epoch": 2.02,
      "grad_norm": 0.11799473315477371,
      "learning_rate": 6.536e-06,
      "loss": 0.2612,
      "step": 5050
    },
    {
      "epoch": 2.024,
      "grad_norm": 0.13507218658924103,
      "learning_rate": 6.509333333333334e-06,
      "loss": 0.2199,
      "step": 5060
    },
    {
      "epoch": 2.028,
      "grad_norm": 0.08445365726947784,
      "learning_rate": 6.482666666666667e-06,
      "loss": 0.2732,
      "step": 5070
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.09065169841051102,
      "learning_rate": 6.456e-06,
      "loss": 0.2512,
      "step": 5080
    },
    {
      "epoch": 2.036,
      "grad_norm": 0.10282640904188156,
      "learning_rate": 6.429333333333334e-06,
      "loss": 0.2917,
      "step": 5090
    },
    {
      "epoch": 2.04,
      "grad_norm": 0.07192720472812653,
      "learning_rate": 6.402666666666667e-06,
      "loss": 0.2706,
      "step": 5100
    },
    {
      "epoch": 2.044,
      "grad_norm": 0.11664930731058121,
      "learning_rate": 6.376e-06,
      "loss": 0.2478,
      "step": 5110
    },
    {
      "epoch": 2.048,
      "grad_norm": 0.11517810076475143,
      "learning_rate": 6.349333333333334e-06,
      "loss": 0.2692,
      "step": 5120
    },
    {
      "epoch": 2.052,
      "grad_norm": 0.13063500821590424,
      "learning_rate": 6.322666666666667e-06,
      "loss": 0.2578,
      "step": 5130
    },
    {
      "epoch": 2.056,
      "grad_norm": 0.11885740607976913,
      "learning_rate": 6.296000000000001e-06,
      "loss": 0.267,
      "step": 5140
    },
    {
      "epoch": 2.06,
      "grad_norm": 0.08815253525972366,
      "learning_rate": 6.269333333333334e-06,
      "loss": 0.2752,
      "step": 5150
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.14298759400844574,
      "learning_rate": 6.242666666666667e-06,
      "loss": 0.2663,
      "step": 5160
    },
    {
      "epoch": 2.068,
      "grad_norm": 0.10055135190486908,
      "learning_rate": 6.216000000000001e-06,
      "loss": 0.2505,
      "step": 5170
    },
    {
      "epoch": 2.072,
      "grad_norm": 0.13054154813289642,
      "learning_rate": 6.189333333333334e-06,
      "loss": 0.2817,
      "step": 5180
    },
    {
      "epoch": 2.076,
      "grad_norm": 0.12630607187747955,
      "learning_rate": 6.162666666666667e-06,
      "loss": 0.2701,
      "step": 5190
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.14159268140792847,
      "learning_rate": 6.136000000000001e-06,
      "loss": 0.2702,
      "step": 5200
    },
    {
      "epoch": 2.084,
      "grad_norm": 0.13409964740276337,
      "learning_rate": 6.1093333333333335e-06,
      "loss": 0.2544,
      "step": 5210
    },
    {
      "epoch": 2.088,
      "grad_norm": 0.12335699796676636,
      "learning_rate": 6.082666666666667e-06,
      "loss": 0.2504,
      "step": 5220
    },
    {
      "epoch": 2.092,
      "grad_norm": 0.10816927254199982,
      "learning_rate": 6.056000000000001e-06,
      "loss": 0.2488,
      "step": 5230
    },
    {
      "epoch": 2.096,
      "grad_norm": 0.1388978362083435,
      "learning_rate": 6.0293333333333334e-06,
      "loss": 0.2282,
      "step": 5240
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.10510966181755066,
      "learning_rate": 6.002666666666667e-06,
      "loss": 0.2485,
      "step": 5250
    },
    {
      "epoch": 2.104,
      "grad_norm": 0.2210332155227661,
      "learning_rate": 5.976000000000001e-06,
      "loss": 0.2409,
      "step": 5260
    },
    {
      "epoch": 2.108,
      "grad_norm": 0.11423420161008835,
      "learning_rate": 5.949333333333333e-06,
      "loss": 0.2822,
      "step": 5270
    },
    {
      "epoch": 2.112,
      "grad_norm": 0.08762288093566895,
      "learning_rate": 5.9226666666666675e-06,
      "loss": 0.2477,
      "step": 5280
    },
    {
      "epoch": 2.116,
      "grad_norm": 0.09192516654729843,
      "learning_rate": 5.896000000000001e-06,
      "loss": 0.2619,
      "step": 5290
    },
    {
      "epoch": 2.12,
      "grad_norm": 0.1299988478422165,
      "learning_rate": 5.869333333333333e-06,
      "loss": 0.2548,
      "step": 5300
    },
    {
      "epoch": 2.124,
      "grad_norm": 0.11268695443868637,
      "learning_rate": 5.842666666666667e-06,
      "loss": 0.2472,
      "step": 5310
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.10344608873128891,
      "learning_rate": 5.816000000000001e-06,
      "loss": 0.2498,
      "step": 5320
    },
    {
      "epoch": 2.132,
      "grad_norm": 0.09666316956281662,
      "learning_rate": 5.789333333333333e-06,
      "loss": 0.2547,
      "step": 5330
    },
    {
      "epoch": 2.136,
      "grad_norm": 0.10370825231075287,
      "learning_rate": 5.762666666666667e-06,
      "loss": 0.2634,
      "step": 5340
    },
    {
      "epoch": 2.14,
      "grad_norm": NaN,
      "learning_rate": 5.736000000000001e-06,
      "loss": 0.2519,
      "step": 5350
    },
    {
      "epoch": 2.144,
      "grad_norm": 0.14553070068359375,
      "learning_rate": 5.709333333333333e-06,
      "loss": 0.2566,
      "step": 5360
    },
    {
      "epoch": 2.148,
      "grad_norm": 0.11000310629606247,
      "learning_rate": 5.682666666666667e-06,
      "loss": 0.2979,
      "step": 5370
    },
    {
      "epoch": 2.152,
      "grad_norm": 0.1058771163225174,
      "learning_rate": 5.6560000000000006e-06,
      "loss": 0.282,
      "step": 5380
    },
    {
      "epoch": 2.156,
      "grad_norm": 0.12154778838157654,
      "learning_rate": 5.629333333333333e-06,
      "loss": 0.242,
      "step": 5390
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.1614154428243637,
      "learning_rate": 5.602666666666667e-06,
      "loss": 0.2521,
      "step": 5400
    },
    {
      "epoch": 2.164,
      "grad_norm": 0.15051324665546417,
      "learning_rate": 5.5760000000000005e-06,
      "loss": 0.2639,
      "step": 5410
    },
    {
      "epoch": 2.168,
      "grad_norm": 0.13113752007484436,
      "learning_rate": 5.549333333333333e-06,
      "loss": 0.2627,
      "step": 5420
    },
    {
      "epoch": 2.172,
      "grad_norm": 0.15376834571361542,
      "learning_rate": 5.522666666666667e-06,
      "loss": 0.2645,
      "step": 5430
    },
    {
      "epoch": 2.176,
      "grad_norm": NaN,
      "learning_rate": 5.496e-06,
      "loss": 0.251,
      "step": 5440
    },
    {
      "epoch": 2.18,
      "grad_norm": 0.23466192185878754,
      "learning_rate": 5.4693333333333346e-06,
      "loss": 0.2716,
      "step": 5450
    },
    {
      "epoch": 2.184,
      "grad_norm": 0.17084863781929016,
      "learning_rate": 5.442666666666667e-06,
      "loss": 0.2655,
      "step": 5460
    },
    {
      "epoch": 2.188,
      "grad_norm": 0.15090127289295197,
      "learning_rate": 5.416e-06,
      "loss": 0.2984,
      "step": 5470
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.1479702740907669,
      "learning_rate": 5.3893333333333345e-06,
      "loss": 0.2412,
      "step": 5480
    },
    {
      "epoch": 2.196,
      "grad_norm": 0.18114417791366577,
      "learning_rate": 5.362666666666667e-06,
      "loss": 0.283,
      "step": 5490
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.19299641251564026,
      "learning_rate": 5.336e-06,
      "loss": 0.2609,
      "step": 5500
    },
    {
      "epoch": 2.204,
      "grad_norm": 0.16892081499099731,
      "learning_rate": 5.309333333333334e-06,
      "loss": 0.2685,
      "step": 5510
    },
    {
      "epoch": 2.208,
      "grad_norm": 0.14242294430732727,
      "learning_rate": 5.282666666666667e-06,
      "loss": 0.2722,
      "step": 5520
    },
    {
      "epoch": 2.212,
      "grad_norm": 0.26127591729164124,
      "learning_rate": 5.256e-06,
      "loss": 0.2979,
      "step": 5530
    },
    {
      "epoch": 2.216,
      "grad_norm": 0.15883752703666687,
      "learning_rate": 5.229333333333334e-06,
      "loss": 0.2488,
      "step": 5540
    },
    {
      "epoch": 2.22,
      "grad_norm": 0.22178013622760773,
      "learning_rate": 5.202666666666667e-06,
      "loss": 0.2862,
      "step": 5550
    },
    {
      "epoch": 2.224,
      "grad_norm": 0.16950379312038422,
      "learning_rate": 5.176e-06,
      "loss": 0.2559,
      "step": 5560
    },
    {
      "epoch": 2.228,
      "grad_norm": 0.08508289605379105,
      "learning_rate": 5.149333333333334e-06,
      "loss": 0.2358,
      "step": 5570
    },
    {
      "epoch": 2.232,
      "grad_norm": 0.17523686587810516,
      "learning_rate": 5.122666666666667e-06,
      "loss": 0.2802,
      "step": 5580
    },
    {
      "epoch": 2.2359999999999998,
      "grad_norm": 0.14943397045135498,
      "learning_rate": 5.096000000000001e-06,
      "loss": 0.2547,
      "step": 5590
    },
    {
      "epoch": 2.24,
      "grad_norm": 0.20480185747146606,
      "learning_rate": 5.069333333333334e-06,
      "loss": 0.2484,
      "step": 5600
    },
    {
      "epoch": 2.2439999999999998,
      "grad_norm": 0.1461692899465561,
      "learning_rate": 5.042666666666667e-06,
      "loss": 0.2597,
      "step": 5610
    },
    {
      "epoch": 2.248,
      "grad_norm": 0.1326453983783722,
      "learning_rate": 5.016000000000001e-06,
      "loss": 0.2571,
      "step": 5620
    },
    {
      "epoch": 2.252,
      "grad_norm": 0.16321216523647308,
      "learning_rate": 4.989333333333334e-06,
      "loss": 0.2401,
      "step": 5630
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.1340763121843338,
      "learning_rate": 4.962666666666667e-06,
      "loss": 0.2669,
      "step": 5640
    },
    {
      "epoch": 2.26,
      "grad_norm": 0.22969891130924225,
      "learning_rate": 4.936e-06,
      "loss": 0.2374,
      "step": 5650
    },
    {
      "epoch": 2.2640000000000002,
      "grad_norm": 0.227335125207901,
      "learning_rate": 4.909333333333334e-06,
      "loss": 0.2625,
      "step": 5660
    },
    {
      "epoch": 2.268,
      "grad_norm": 0.23074021935462952,
      "learning_rate": 4.882666666666667e-06,
      "loss": 0.2602,
      "step": 5670
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.2321901023387909,
      "learning_rate": 4.856e-06,
      "loss": 0.2738,
      "step": 5680
    },
    {
      "epoch": 2.276,
      "grad_norm": 0.1699729710817337,
      "learning_rate": 4.829333333333334e-06,
      "loss": 0.2714,
      "step": 5690
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 0.25175052881240845,
      "learning_rate": 4.802666666666667e-06,
      "loss": 0.2708,
      "step": 5700
    },
    {
      "epoch": 2.284,
      "grad_norm": 0.24156895279884338,
      "learning_rate": 4.7760000000000005e-06,
      "loss": 0.2519,
      "step": 5710
    },
    {
      "epoch": 2.288,
      "grad_norm": 0.2111712396144867,
      "learning_rate": 4.749333333333334e-06,
      "loss": 0.245,
      "step": 5720
    },
    {
      "epoch": 2.292,
      "grad_norm": 0.16868716478347778,
      "learning_rate": 4.722666666666667e-06,
      "loss": 0.2524,
      "step": 5730
    },
    {
      "epoch": 2.296,
      "grad_norm": 0.16468843817710876,
      "learning_rate": 4.6960000000000004e-06,
      "loss": 0.252,
      "step": 5740
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.15060193836688995,
      "learning_rate": 4.669333333333334e-06,
      "loss": 0.2609,
      "step": 5750
    },
    {
      "epoch": 2.304,
      "grad_norm": 0.18585968017578125,
      "learning_rate": 4.642666666666667e-06,
      "loss": 0.2538,
      "step": 5760
    },
    {
      "epoch": 2.308,
      "grad_norm": 0.2244134396314621,
      "learning_rate": 4.616e-06,
      "loss": 0.2715,
      "step": 5770
    },
    {
      "epoch": 2.312,
      "grad_norm": 0.16831956803798676,
      "learning_rate": 4.589333333333334e-06,
      "loss": 0.2899,
      "step": 5780
    },
    {
      "epoch": 2.316,
      "grad_norm": 0.17418567836284637,
      "learning_rate": 4.562666666666667e-06,
      "loss": 0.2632,
      "step": 5790
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.23205284774303436,
      "learning_rate": 4.536e-06,
      "loss": 0.2637,
      "step": 5800
    },
    {
      "epoch": 2.324,
      "grad_norm": 0.17156484723091125,
      "learning_rate": 4.509333333333334e-06,
      "loss": 0.2592,
      "step": 5810
    },
    {
      "epoch": 2.328,
      "grad_norm": 0.18730148673057556,
      "learning_rate": 4.482666666666667e-06,
      "loss": 0.2501,
      "step": 5820
    },
    {
      "epoch": 2.332,
      "grad_norm": 0.18825125694274902,
      "learning_rate": 4.456e-06,
      "loss": 0.2208,
      "step": 5830
    },
    {
      "epoch": 2.336,
      "grad_norm": 0.1911272555589676,
      "learning_rate": 4.4293333333333335e-06,
      "loss": 0.2601,
      "step": 5840
    },
    {
      "epoch": 2.34,
      "grad_norm": 0.30404987931251526,
      "learning_rate": 4.402666666666667e-06,
      "loss": 0.2765,
      "step": 5850
    },
    {
      "epoch": 2.344,
      "grad_norm": 0.18253399431705475,
      "learning_rate": 4.376e-06,
      "loss": 0.2314,
      "step": 5860
    },
    {
      "epoch": 2.348,
      "grad_norm": 0.14542120695114136,
      "learning_rate": 4.349333333333333e-06,
      "loss": 0.2576,
      "step": 5870
    },
    {
      "epoch": 2.352,
      "grad_norm": 0.26051434874534607,
      "learning_rate": 4.3226666666666676e-06,
      "loss": 0.2925,
      "step": 5880
    },
    {
      "epoch": 2.356,
      "grad_norm": 0.22268620133399963,
      "learning_rate": 4.296e-06,
      "loss": 0.2505,
      "step": 5890
    },
    {
      "epoch": 2.36,
      "grad_norm": 0.23523187637329102,
      "learning_rate": 4.269333333333333e-06,
      "loss": 0.2653,
      "step": 5900
    },
    {
      "epoch": 2.364,
      "grad_norm": 0.2189938873052597,
      "learning_rate": 4.2426666666666675e-06,
      "loss": 0.2488,
      "step": 5910
    },
    {
      "epoch": 2.368,
      "grad_norm": 0.2289077341556549,
      "learning_rate": 4.216e-06,
      "loss": 0.2503,
      "step": 5920
    },
    {
      "epoch": 2.372,
      "grad_norm": 0.21585491299629211,
      "learning_rate": 4.189333333333333e-06,
      "loss": 0.2806,
      "step": 5930
    },
    {
      "epoch": 2.376,
      "grad_norm": 0.3019189238548279,
      "learning_rate": 4.162666666666667e-06,
      "loss": 0.2648,
      "step": 5940
    },
    {
      "epoch": 2.38,
      "grad_norm": 0.27860188484191895,
      "learning_rate": 4.136000000000001e-06,
      "loss": 0.2718,
      "step": 5950
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.27165427803993225,
      "learning_rate": 4.109333333333333e-06,
      "loss": 0.2523,
      "step": 5960
    },
    {
      "epoch": 2.388,
      "grad_norm": 0.20062775909900665,
      "learning_rate": 4.082666666666667e-06,
      "loss": 0.26,
      "step": 5970
    },
    {
      "epoch": 2.392,
      "grad_norm": 0.20866365730762482,
      "learning_rate": 4.056000000000001e-06,
      "loss": 0.2597,
      "step": 5980
    },
    {
      "epoch": 2.396,
      "grad_norm": 0.15841415524482727,
      "learning_rate": 4.029333333333333e-06,
      "loss": 0.2594,
      "step": 5990
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.20054064691066742,
      "learning_rate": 4.002666666666667e-06,
      "loss": 0.2491,
      "step": 6000
    },
    {
      "epoch": 2.404,
      "grad_norm": 0.24332402646541595,
      "learning_rate": 3.9760000000000006e-06,
      "loss": 0.2603,
      "step": 6010
    },
    {
      "epoch": 2.408,
      "grad_norm": 0.22125115990638733,
      "learning_rate": 3.949333333333334e-06,
      "loss": 0.253,
      "step": 6020
    },
    {
      "epoch": 2.412,
      "grad_norm": 0.23397159576416016,
      "learning_rate": 3.922666666666667e-06,
      "loss": 0.2833,
      "step": 6030
    },
    {
      "epoch": 2.416,
      "grad_norm": 0.17838267982006073,
      "learning_rate": 3.8960000000000005e-06,
      "loss": 0.2494,
      "step": 6040
    },
    {
      "epoch": 2.42,
      "grad_norm": 0.27850839495658875,
      "learning_rate": 3.869333333333334e-06,
      "loss": 0.2385,
      "step": 6050
    },
    {
      "epoch": 2.424,
      "grad_norm": 0.31709569692611694,
      "learning_rate": 3.842666666666667e-06,
      "loss": 0.3055,
      "step": 6060
    },
    {
      "epoch": 2.428,
      "grad_norm": 0.33418047428131104,
      "learning_rate": 3.816e-06,
      "loss": 0.261,
      "step": 6070
    },
    {
      "epoch": 2.432,
      "grad_norm": 0.2386629432439804,
      "learning_rate": 3.7893333333333337e-06,
      "loss": 0.2693,
      "step": 6080
    },
    {
      "epoch": 2.436,
      "grad_norm": 0.25883948802948,
      "learning_rate": 3.7626666666666674e-06,
      "loss": 0.2596,
      "step": 6090
    },
    {
      "epoch": 2.44,
      "grad_norm": 0.3060862421989441,
      "learning_rate": 3.7360000000000003e-06,
      "loss": 0.2348,
      "step": 6100
    },
    {
      "epoch": 2.444,
      "grad_norm": 0.2934260070323944,
      "learning_rate": 3.7093333333333336e-06,
      "loss": 0.2594,
      "step": 6110
    },
    {
      "epoch": 2.448,
      "grad_norm": 0.24371583759784698,
      "learning_rate": 3.6826666666666673e-06,
      "loss": 0.2534,
      "step": 6120
    },
    {
      "epoch": 2.452,
      "grad_norm": 0.25196611881256104,
      "learning_rate": 3.6560000000000002e-06,
      "loss": 0.231,
      "step": 6130
    },
    {
      "epoch": 2.456,
      "grad_norm": 0.34707802534103394,
      "learning_rate": 3.6293333333333335e-06,
      "loss": 0.2799,
      "step": 6140
    },
    {
      "epoch": 2.46,
      "grad_norm": 0.28383809328079224,
      "learning_rate": 3.6026666666666673e-06,
      "loss": 0.2785,
      "step": 6150
    },
    {
      "epoch": 2.464,
      "grad_norm": 0.32474640011787415,
      "learning_rate": 3.576e-06,
      "loss": 0.2591,
      "step": 6160
    },
    {
      "epoch": 2.468,
      "grad_norm": 0.3230029344558716,
      "learning_rate": 3.5493333333333335e-06,
      "loss": 0.2525,
      "step": 6170
    },
    {
      "epoch": 2.472,
      "grad_norm": 0.2746059000492096,
      "learning_rate": 3.522666666666667e-06,
      "loss": 0.2664,
      "step": 6180
    },
    {
      "epoch": 2.476,
      "grad_norm": 0.3114841878414154,
      "learning_rate": 3.4960000000000005e-06,
      "loss": 0.2363,
      "step": 6190
    },
    {
      "epoch": 2.48,
      "grad_norm": 0.29724350571632385,
      "learning_rate": 3.4693333333333334e-06,
      "loss": 0.2701,
      "step": 6200
    },
    {
      "epoch": 2.484,
      "grad_norm": 0.38215216994285583,
      "learning_rate": 3.442666666666667e-06,
      "loss": 0.2467,
      "step": 6210
    },
    {
      "epoch": 2.488,
      "grad_norm": 0.45951414108276367,
      "learning_rate": 3.4160000000000004e-06,
      "loss": 0.2627,
      "step": 6220
    },
    {
      "epoch": 2.492,
      "grad_norm": 0.4669560492038727,
      "learning_rate": 3.3893333333333333e-06,
      "loss": 0.2706,
      "step": 6230
    },
    {
      "epoch": 2.496,
      "grad_norm": 0.35591474175453186,
      "learning_rate": 3.362666666666667e-06,
      "loss": 0.2656,
      "step": 6240
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.3012729287147522,
      "learning_rate": 3.3360000000000003e-06,
      "loss": 0.2569,
      "step": 6250
    },
    {
      "epoch": 2.504,
      "grad_norm": 0.41401100158691406,
      "learning_rate": 3.3093333333333336e-06,
      "loss": 0.258,
      "step": 6260
    },
    {
      "epoch": 2.508,
      "grad_norm": 0.3326101303100586,
      "learning_rate": 3.282666666666667e-06,
      "loss": 0.2464,
      "step": 6270
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.40910303592681885,
      "learning_rate": 3.2560000000000003e-06,
      "loss": 0.2638,
      "step": 6280
    },
    {
      "epoch": 2.516,
      "grad_norm": 0.31520652770996094,
      "learning_rate": 3.2293333333333336e-06,
      "loss": 0.2396,
      "step": 6290
    },
    {
      "epoch": 2.52,
      "grad_norm": 0.22357305884361267,
      "learning_rate": 3.202666666666667e-06,
      "loss": 0.2404,
      "step": 6300
    },
    {
      "epoch": 2.524,
      "grad_norm": 0.37271714210510254,
      "learning_rate": 3.176e-06,
      "loss": 0.2699,
      "step": 6310
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.4670230448246002,
      "learning_rate": 3.1493333333333335e-06,
      "loss": 0.2917,
      "step": 6320
    },
    {
      "epoch": 2.532,
      "grad_norm": 0.2631402015686035,
      "learning_rate": 3.122666666666667e-06,
      "loss": 0.2332,
      "step": 6330
    },
    {
      "epoch": 2.536,
      "grad_norm": 0.3713894188404083,
      "learning_rate": 3.096e-06,
      "loss": 0.2639,
      "step": 6340
    },
    {
      "epoch": 2.54,
      "grad_norm": 0.3112774193286896,
      "learning_rate": 3.069333333333334e-06,
      "loss": 0.2441,
      "step": 6350
    },
    {
      "epoch": 2.544,
      "grad_norm": 0.3473227620124817,
      "learning_rate": 3.042666666666667e-06,
      "loss": 0.2648,
      "step": 6360
    },
    {
      "epoch": 2.548,
      "grad_norm": 0.33424028754234314,
      "learning_rate": 3.016e-06,
      "loss": 0.2648,
      "step": 6370
    },
    {
      "epoch": 2.552,
      "grad_norm": 0.51408451795578,
      "learning_rate": 2.9893333333333337e-06,
      "loss": 0.2711,
      "step": 6380
    },
    {
      "epoch": 2.556,
      "grad_norm": 0.4163203239440918,
      "learning_rate": 2.962666666666667e-06,
      "loss": 0.2743,
      "step": 6390
    },
    {
      "epoch": 2.56,
      "grad_norm": 0.3894965946674347,
      "learning_rate": 2.9360000000000003e-06,
      "loss": 0.2359,
      "step": 6400
    },
    {
      "epoch": 2.564,
      "grad_norm": 0.3148307800292969,
      "learning_rate": 2.9093333333333337e-06,
      "loss": 0.2469,
      "step": 6410
    },
    {
      "epoch": 2.568,
      "grad_norm": 0.4248031675815582,
      "learning_rate": 2.882666666666667e-06,
      "loss": 0.2511,
      "step": 6420
    },
    {
      "epoch": 2.572,
      "grad_norm": 0.31970927119255066,
      "learning_rate": 2.8560000000000003e-06,
      "loss": 0.279,
      "step": 6430
    },
    {
      "epoch": 2.576,
      "grad_norm": 0.31513524055480957,
      "learning_rate": 2.8293333333333336e-06,
      "loss": 0.2619,
      "step": 6440
    },
    {
      "epoch": 2.58,
      "grad_norm": 0.3363206386566162,
      "learning_rate": 2.802666666666667e-06,
      "loss": 0.288,
      "step": 6450
    },
    {
      "epoch": 2.584,
      "grad_norm": 0.2524028718471527,
      "learning_rate": 2.776e-06,
      "loss": 0.2519,
      "step": 6460
    },
    {
      "epoch": 2.588,
      "grad_norm": 0.3439158499240875,
      "learning_rate": 2.7493333333333335e-06,
      "loss": 0.2371,
      "step": 6470
    },
    {
      "epoch": 2.592,
      "grad_norm": 0.29221490025520325,
      "learning_rate": 2.722666666666667e-06,
      "loss": 0.2696,
      "step": 6480
    },
    {
      "epoch": 2.596,
      "grad_norm": 0.34799039363861084,
      "learning_rate": 2.696e-06,
      "loss": 0.2666,
      "step": 6490
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.4551205635070801,
      "learning_rate": 2.669333333333334e-06,
      "loss": 0.2648,
      "step": 6500
    },
    {
      "epoch": 2.604,
      "grad_norm": 0.29375389218330383,
      "learning_rate": 2.6426666666666667e-06,
      "loss": 0.277,
      "step": 6510
    },
    {
      "epoch": 2.608,
      "grad_norm": 0.29632267355918884,
      "learning_rate": 2.616e-06,
      "loss": 0.259,
      "step": 6520
    },
    {
      "epoch": 2.612,
      "grad_norm": 0.3195248544216156,
      "learning_rate": 2.5893333333333338e-06,
      "loss": 0.2484,
      "step": 6530
    },
    {
      "epoch": 2.616,
      "grad_norm": 0.3340706527233124,
      "learning_rate": 2.5626666666666666e-06,
      "loss": 0.2652,
      "step": 6540
    },
    {
      "epoch": 2.62,
      "grad_norm": 0.39822614192962646,
      "learning_rate": 2.536e-06,
      "loss": 0.2791,
      "step": 6550
    },
    {
      "epoch": 2.624,
      "grad_norm": 0.36614692211151123,
      "learning_rate": 2.5093333333333337e-06,
      "loss": 0.2482,
      "step": 6560
    },
    {
      "epoch": 2.628,
      "grad_norm": 0.4245006740093231,
      "learning_rate": 2.482666666666667e-06,
      "loss": 0.2524,
      "step": 6570
    },
    {
      "epoch": 2.632,
      "grad_norm": 0.34499475359916687,
      "learning_rate": 2.4560000000000003e-06,
      "loss": 0.262,
      "step": 6580
    },
    {
      "epoch": 2.636,
      "grad_norm": 0.3177354037761688,
      "learning_rate": 2.4293333333333336e-06,
      "loss": 0.2867,
      "step": 6590
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.3555511236190796,
      "learning_rate": 2.402666666666667e-06,
      "loss": 0.27,
      "step": 6600
    },
    {
      "epoch": 2.644,
      "grad_norm": 0.3826945424079895,
      "learning_rate": 2.376e-06,
      "loss": 0.2604,
      "step": 6610
    },
    {
      "epoch": 2.648,
      "grad_norm": 0.3638239800930023,
      "learning_rate": 2.3493333333333335e-06,
      "loss": 0.2417,
      "step": 6620
    },
    {
      "epoch": 2.652,
      "grad_norm": 0.32289937138557434,
      "learning_rate": 2.322666666666667e-06,
      "loss": 0.2792,
      "step": 6630
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.28800535202026367,
      "learning_rate": 2.296e-06,
      "loss": 0.2729,
      "step": 6640
    },
    {
      "epoch": 2.66,
      "grad_norm": 0.36719056963920593,
      "learning_rate": 2.2693333333333334e-06,
      "loss": 0.2287,
      "step": 6650
    },
    {
      "epoch": 2.664,
      "grad_norm": 0.42012321949005127,
      "learning_rate": 2.2426666666666667e-06,
      "loss": 0.2811,
      "step": 6660
    },
    {
      "epoch": 2.668,
      "grad_norm": 0.35131990909576416,
      "learning_rate": 2.216e-06,
      "loss": 0.2634,
      "step": 6670
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.397480309009552,
      "learning_rate": 2.1893333333333338e-06,
      "loss": 0.2424,
      "step": 6680
    },
    {
      "epoch": 2.676,
      "grad_norm": 0.2677237391471863,
      "learning_rate": 2.1626666666666667e-06,
      "loss": 0.2593,
      "step": 6690
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.2971876263618469,
      "learning_rate": 2.1360000000000004e-06,
      "loss": 0.2767,
      "step": 6700
    },
    {
      "epoch": 2.684,
      "grad_norm": 0.5161861181259155,
      "learning_rate": 2.1093333333333337e-06,
      "loss": 0.2999,
      "step": 6710
    },
    {
      "epoch": 2.6879999999999997,
      "grad_norm": 0.31487298011779785,
      "learning_rate": 2.0826666666666666e-06,
      "loss": 0.2711,
      "step": 6720
    },
    {
      "epoch": 2.692,
      "grad_norm": 0.46860599517822266,
      "learning_rate": 2.0560000000000003e-06,
      "loss": 0.2919,
      "step": 6730
    },
    {
      "epoch": 2.6959999999999997,
      "grad_norm": 0.2851034104824066,
      "learning_rate": 2.0293333333333336e-06,
      "loss": 0.265,
      "step": 6740
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.0,
      "learning_rate": 2.002666666666667e-06,
      "loss": 0.2388,
      "step": 6750
    },
    {
      "epoch": 2.7039999999999997,
      "grad_norm": 0.0,
      "learning_rate": 1.9760000000000002e-06,
      "loss": 0.2753,
      "step": 6760
    },
    {
      "epoch": 2.708,
      "grad_norm": 0.0,
      "learning_rate": 1.9493333333333335e-06,
      "loss": 0.2555,
      "step": 6770
    },
    {
      "epoch": 2.7119999999999997,
      "grad_norm": 0.0,
      "learning_rate": 1.922666666666667e-06,
      "loss": 0.2671,
      "step": 6780
    },
    {
      "epoch": 2.716,
      "grad_norm": 0.0,
      "learning_rate": 1.8960000000000001e-06,
      "loss": 0.284,
      "step": 6790
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 0.0,
      "learning_rate": 1.8693333333333337e-06,
      "loss": 0.2394,
      "step": 6800
    },
    {
      "epoch": 2.724,
      "grad_norm": 0.0,
      "learning_rate": 1.8426666666666668e-06,
      "loss": 0.2187,
      "step": 6810
    },
    {
      "epoch": 2.7279999999999998,
      "grad_norm": 0.0,
      "learning_rate": 1.8160000000000003e-06,
      "loss": 0.2558,
      "step": 6820
    },
    {
      "epoch": 2.732,
      "grad_norm": 0.0,
      "learning_rate": 1.7893333333333336e-06,
      "loss": 0.2547,
      "step": 6830
    },
    {
      "epoch": 2.7359999999999998,
      "grad_norm": 0.0,
      "learning_rate": 1.7626666666666667e-06,
      "loss": 0.2785,
      "step": 6840
    },
    {
      "epoch": 2.74,
      "grad_norm": 0.0,
      "learning_rate": 1.7360000000000002e-06,
      "loss": 0.2817,
      "step": 6850
    },
    {
      "epoch": 2.7439999999999998,
      "grad_norm": 0.0,
      "learning_rate": 1.7093333333333335e-06,
      "loss": 0.2497,
      "step": 6860
    },
    {
      "epoch": 2.748,
      "grad_norm": 0.0,
      "learning_rate": 1.6826666666666668e-06,
      "loss": 0.2458,
      "step": 6870
    },
    {
      "epoch": 2.752,
      "grad_norm": 0.0,
      "learning_rate": 1.6560000000000001e-06,
      "loss": 0.237,
      "step": 6880
    },
    {
      "epoch": 2.7560000000000002,
      "grad_norm": 0.0,
      "learning_rate": 1.6293333333333336e-06,
      "loss": 0.291,
      "step": 6890
    },
    {
      "epoch": 2.76,
      "grad_norm": 0.0,
      "learning_rate": 1.6026666666666667e-06,
      "loss": 0.2691,
      "step": 6900
    },
    {
      "epoch": 2.7640000000000002,
      "grad_norm": 0.0,
      "learning_rate": 1.576e-06,
      "loss": 0.2798,
      "step": 6910
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.0,
      "learning_rate": 1.5493333333333335e-06,
      "loss": 0.2322,
      "step": 6920
    },
    {
      "epoch": 2.7720000000000002,
      "grad_norm": 0.0,
      "learning_rate": 1.5226666666666666e-06,
      "loss": 0.2415,
      "step": 6930
    },
    {
      "epoch": 2.776,
      "grad_norm": 0.0,
      "learning_rate": 1.4960000000000002e-06,
      "loss": 0.2546,
      "step": 6940
    },
    {
      "epoch": 2.7800000000000002,
      "grad_norm": 0.0,
      "learning_rate": 1.4693333333333335e-06,
      "loss": 0.2672,
      "step": 6950
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.0,
      "learning_rate": 1.4426666666666666e-06,
      "loss": 0.2561,
      "step": 6960
    },
    {
      "epoch": 2.7880000000000003,
      "grad_norm": 0.0,
      "learning_rate": 1.416e-06,
      "loss": 0.2782,
      "step": 6970
    },
    {
      "epoch": 2.792,
      "grad_norm": 0.0,
      "learning_rate": 1.3893333333333334e-06,
      "loss": 0.2873,
      "step": 6980
    },
    {
      "epoch": 2.7960000000000003,
      "grad_norm": 0.0,
      "learning_rate": 1.362666666666667e-06,
      "loss": 0.283,
      "step": 6990
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.0,
      "learning_rate": 1.336e-06,
      "loss": 0.2643,
      "step": 7000
    }
  ],
  "logging_steps": 10,
  "max_steps": 7500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1.705082093568e+16,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}