{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 375,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 1.1873884201049805,
      "learning_rate": 1.276595744680851e-06,
      "loss": 1.3954,
      "step": 5
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.8903486132621765,
      "learning_rate": 2.872340425531915e-06,
      "loss": 1.3756,
      "step": 10
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.643500804901123,
      "learning_rate": 4.468085106382979e-06,
      "loss": 1.313,
      "step": 15
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.5865189433097839,
      "learning_rate": 6.063829787234042e-06,
      "loss": 1.3469,
      "step": 20
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 0.6047818064689636,
      "learning_rate": 7.659574468085105e-06,
      "loss": 1.3487,
      "step": 25
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.46647050976753235,
      "learning_rate": 9.255319148936171e-06,
      "loss": 1.2593,
      "step": 30
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 0.6065091490745544,
      "learning_rate": 1.0851063829787235e-05,
      "loss": 1.3334,
      "step": 35
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.4491764008998871,
      "learning_rate": 1.2446808510638298e-05,
      "loss": 1.3141,
      "step": 40
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.3911891579627991,
      "learning_rate": 1.4042553191489362e-05,
      "loss": 1.2826,
      "step": 45
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.4808066487312317,
      "learning_rate": 1.5638297872340426e-05,
      "loss": 1.2585,
      "step": 50
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 0.40155282616615295,
      "learning_rate": 1.723404255319149e-05,
      "loss": 1.192,
      "step": 55
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.4628130793571472,
      "learning_rate": 1.8829787234042554e-05,
      "loss": 1.2295,
      "step": 60
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 0.4529360830783844,
      "learning_rate": 2.0425531914893616e-05,
      "loss": 1.2319,
      "step": 65
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.6239895224571228,
      "learning_rate": 2.2021276595744682e-05,
      "loss": 1.232,
      "step": 70
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.5903899669647217,
      "learning_rate": 2.3617021276595744e-05,
      "loss": 1.2665,
      "step": 75
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.4527699649333954,
      "learning_rate": 2.521276595744681e-05,
      "loss": 1.1546,
      "step": 80
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 0.49846717715263367,
      "learning_rate": 2.6808510638297873e-05,
      "loss": 1.1586,
      "step": 85
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.4715147614479065,
      "learning_rate": 2.8404255319148935e-05,
      "loss": 1.1711,
      "step": 90
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 0.5354335308074951,
      "learning_rate": 3e-05,
      "loss": 1.1757,
      "step": 95
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.49804872274398804,
      "learning_rate": 2.9999416594709276e-05,
      "loss": 1.1606,
      "step": 100
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.5435463190078735,
      "learning_rate": 2.9997666424218674e-05,
      "loss": 1.1192,
      "step": 105
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.5041693449020386,
      "learning_rate": 2.999474962466935e-05,
      "loss": 1.134,
      "step": 110
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 0.5381893515586853,
      "learning_rate": 2.9990666422951477e-05,
      "loss": 1.1359,
      "step": 115
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.5110737681388855,
      "learning_rate": 2.9985417136686593e-05,
      "loss": 1.1662,
      "step": 120
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.7246907949447632,
      "learning_rate": 2.997900217420288e-05,
      "loss": 1.0833,
      "step": 125
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.4948385953903198,
      "learning_rate": 2.9971422034503405e-05,
      "loss": 1.0462,
      "step": 130
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.6109930872917175,
      "learning_rate": 2.996267730722732e-05,
      "loss": 1.0577,
      "step": 135
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.5852648615837097,
      "learning_rate": 2.995276867260398e-05,
      "loss": 1.0255,
      "step": 140
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 0.6550834774971008,
      "learning_rate": 2.9941696901400036e-05,
      "loss": 1.0767,
      "step": 145
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.6836133599281311,
      "learning_rate": 2.992946285485947e-05,
      "loss": 1.0477,
      "step": 150
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 0.648569643497467,
      "learning_rate": 2.991606748463661e-05,
      "loss": 1.0385,
      "step": 155
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.7410032153129578,
      "learning_rate": 2.9901511832722107e-05,
      "loss": 0.9911,
      "step": 160
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.5952932238578796,
      "learning_rate": 2.9885797031361875e-05,
      "loss": 1.004,
      "step": 165
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.6980846524238586,
      "learning_rate": 2.986892430296901e-05,
      "loss": 0.9638,
      "step": 170
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 0.680654764175415,
      "learning_rate": 2.9850894960028724e-05,
      "loss": 0.9867,
      "step": 175
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.6924946308135986,
      "learning_rate": 2.9831710404996215e-05,
      "loss": 0.9718,
      "step": 180
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 0.8666315674781799,
      "learning_rate": 2.9811372130187603e-05,
      "loss": 1.0286,
      "step": 185
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.9502836465835571,
      "learning_rate": 2.9789881717663846e-05,
      "loss": 0.9406,
      "step": 190
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.851487398147583,
      "learning_rate": 2.976724083910765e-05,
      "loss": 1.0015,
      "step": 195
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.7808340787887573,
      "learning_rate": 2.9743451255693467e-05,
      "loss": 0.9528,
      "step": 200
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 0.9110279679298401,
      "learning_rate": 2.9718514817950476e-05,
      "loss": 0.9515,
      "step": 205
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.7540078163146973,
      "learning_rate": 2.969243346561863e-05,
      "loss": 0.9393,
      "step": 210
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 0.8756011128425598,
      "learning_rate": 2.9665209227497796e-05,
      "loss": 0.8917,
      "step": 215
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.9746143817901611,
      "learning_rate": 2.963684422128991e-05,
      "loss": 0.869,
      "step": 220
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.8993617296218872,
      "learning_rate": 2.9607340653434263e-05,
      "loss": 0.9441,
      "step": 225
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.0635089874267578,
      "learning_rate": 2.9576700818935873e-05,
      "loss": 0.8688,
      "step": 230
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 0.9382509589195251,
      "learning_rate": 2.9544927101186935e-05,
      "loss": 0.8429,
      "step": 235
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.9952794909477234,
      "learning_rate": 2.9512021971781468e-05,
      "loss": 0.8249,
      "step": 240
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 1.029767394065857,
      "learning_rate": 2.9477987990323006e-05,
      "loss": 0.8586,
      "step": 245
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.9662622809410095,
      "learning_rate": 2.9442827804225534e-05,
      "loss": 0.8312,
      "step": 250
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.823400616645813,
      "learning_rate": 2.940654414850754e-05,
      "loss": 0.8654,
      "step": 255
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.8656212091445923,
      "learning_rate": 2.9369139845579235e-05,
      "loss": 0.8169,
      "step": 260
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 0.9329780340194702,
      "learning_rate": 2.9330617805023054e-05,
      "loss": 0.8236,
      "step": 265
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.8937081694602966,
      "learning_rate": 2.9290981023367307e-05,
      "loss": 0.8101,
      "step": 270
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.9529876112937927,
      "learning_rate": 2.925023258385307e-05,
      "loss": 0.8102,
      "step": 275
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.9750953316688538,
      "learning_rate": 2.9208375656194372e-05,
      "loss": 0.8044,
      "step": 280
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.9084525108337402,
      "learning_rate": 2.9165413496331623e-05,
      "loss": 0.7772,
      "step": 285
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.9664527177810669,
      "learning_rate": 2.9121349446178338e-05,
      "loss": 0.7743,
      "step": 290
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 1.1255749464035034,
      "learning_rate": 2.9076186933361173e-05,
      "loss": 0.7528,
      "step": 295
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.9466111063957214,
      "learning_rate": 2.9029929470953328e-05,
      "loss": 0.7652,
      "step": 300
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 1.110765814781189,
      "learning_rate": 2.898258065720124e-05,
      "loss": 0.7658,
      "step": 305
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.9727138876914978,
      "learning_rate": 2.89341441752447e-05,
      "loss": 0.7478,
      "step": 310
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.9796950221061707,
      "learning_rate": 2.8884623792830358e-05,
      "loss": 0.7302,
      "step": 315
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.9211506843566895,
      "learning_rate": 2.883402336201862e-05,
      "loss": 0.7537,
      "step": 320
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 1.1969343423843384,
      "learning_rate": 2.8782346818884033e-05,
      "loss": 0.7019,
      "step": 325
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.9560972452163696,
      "learning_rate": 2.8729598183209088e-05,
      "loss": 0.7469,
      "step": 330
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 1.1036756038665771,
      "learning_rate": 2.8675781558171526e-05,
      "loss": 0.7244,
      "step": 335
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.0091289281845093,
      "learning_rate": 2.8620901130025194e-05,
      "loss": 0.6958,
      "step": 340
    },
    {
      "epoch": 0.92,
      "grad_norm": 1.0456799268722534,
      "learning_rate": 2.8564961167774366e-05,
      "loss": 0.6851,
      "step": 345
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.0004171133041382,
      "learning_rate": 2.8507966022841713e-05,
      "loss": 0.7148,
      "step": 350
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 0.9208289384841919,
      "learning_rate": 2.8449920128729772e-05,
      "loss": 0.687,
      "step": 355
    },
    {
      "epoch": 0.96,
      "grad_norm": 1.2083231210708618,
      "learning_rate": 2.839082800067611e-05,
      "loss": 0.7099,
      "step": 360
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 1.1177873611450195,
      "learning_rate": 2.8330694235302083e-05,
      "loss": 0.7127,
      "step": 365
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 1.0038983821868896,
      "learning_rate": 2.826952351025527e-05,
      "loss": 0.6687,
      "step": 370
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.0586795806884766,
      "learning_rate": 2.8207320583845623e-05,
      "loss": 0.6812,
      "step": 375
    }
  ],
  "logging_steps": 5,
  "max_steps": 1875,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 5,
  "save_steps": 2000,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 5.326015223079895e+17,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}