{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500,
  "global_step": 1000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02,
      "grad_norm": 70.61351013183594,
      "learning_rate": 4.97e-05,
      "loss": 4.2158,
      "step": 10
    },
    {
      "epoch": 0.04,
      "grad_norm": 73.62928009033203,
      "learning_rate": 4.936666666666667e-05,
      "loss": 1.6566,
      "step": 20
    },
    {
      "epoch": 0.06,
      "grad_norm": 108.96935272216797,
      "learning_rate": 4.903333333333334e-05,
      "loss": 1.7678,
      "step": 30
    },
    {
      "epoch": 0.08,
      "grad_norm": 61.242454528808594,
      "learning_rate": 4.87e-05,
      "loss": 1.5158,
      "step": 40
    },
    {
      "epoch": 0.1,
      "grad_norm": 131.24546813964844,
      "learning_rate": 4.836666666666667e-05,
      "loss": 2.0604,
      "step": 50
    },
    {
      "epoch": 0.12,
      "grad_norm": 40.62075424194336,
      "learning_rate": 4.803333333333333e-05,
      "loss": 1.4759,
      "step": 60
    },
    {
      "epoch": 0.14,
      "grad_norm": 68.39600372314453,
      "learning_rate": 4.77e-05,
      "loss": 1.6714,
      "step": 70
    },
    {
      "epoch": 0.16,
      "grad_norm": 65.06390380859375,
      "learning_rate": 4.736666666666667e-05,
      "loss": 1.3931,
      "step": 80
    },
    {
      "epoch": 0.18,
      "grad_norm": 91.259765625,
      "learning_rate": 4.7033333333333336e-05,
      "loss": 1.4381,
      "step": 90
    },
    {
      "epoch": 0.2,
      "grad_norm": 114.90811920166016,
      "learning_rate": 4.6700000000000003e-05,
      "loss": 1.5654,
      "step": 100
    },
    {
      "epoch": 0.22,
      "grad_norm": 54.1782341003418,
      "learning_rate": 4.636666666666667e-05,
      "loss": 2.0443,
      "step": 110
    },
    {
      "epoch": 0.24,
      "grad_norm": 71.6166763305664,
      "learning_rate": 4.603333333333333e-05,
      "loss": 1.6087,
      "step": 120
    },
    {
      "epoch": 0.26,
      "grad_norm": 74.20275115966797,
      "learning_rate": 4.5700000000000006e-05,
      "loss": 1.6605,
      "step": 130
    },
    {
      "epoch": 0.28,
      "grad_norm": 77.95655059814453,
      "learning_rate": 4.536666666666667e-05,
      "loss": 1.5884,
      "step": 140
    },
    {
      "epoch": 0.3,
      "grad_norm": 47.96751403808594,
      "learning_rate": 4.5033333333333335e-05,
      "loss": 2.4234,
      "step": 150
    },
    {
      "epoch": 0.32,
      "grad_norm": 114.87418365478516,
      "learning_rate": 4.47e-05,
      "loss": 1.8465,
      "step": 160
    },
    {
      "epoch": 0.34,
      "grad_norm": 64.47191619873047,
      "learning_rate": 4.436666666666667e-05,
      "loss": 1.6719,
      "step": 170
    },
    {
      "epoch": 0.36,
      "grad_norm": 63.627681732177734,
      "learning_rate": 4.403333333333334e-05,
      "loss": 1.7967,
      "step": 180
    },
    {
      "epoch": 0.38,
      "grad_norm": 30.865203857421875,
      "learning_rate": 4.3700000000000005e-05,
      "loss": 1.5015,
      "step": 190
    },
    {
      "epoch": 0.4,
      "grad_norm": 12.00632095336914,
      "learning_rate": 4.3366666666666666e-05,
      "loss": 1.6298,
      "step": 200
    },
    {
      "epoch": 0.42,
      "grad_norm": 83.26287841796875,
      "learning_rate": 4.3033333333333334e-05,
      "loss": 1.9531,
      "step": 210
    },
    {
      "epoch": 0.44,
      "grad_norm": 43.74462127685547,
      "learning_rate": 4.27e-05,
      "loss": 1.4834,
      "step": 220
    },
    {
      "epoch": 0.46,
      "grad_norm": 41.31574249267578,
      "learning_rate": 4.236666666666667e-05,
      "loss": 1.8548,
      "step": 230
    },
    {
      "epoch": 0.48,
      "grad_norm": 66.2603759765625,
      "learning_rate": 4.2033333333333336e-05,
      "loss": 1.4464,
      "step": 240
    },
    {
      "epoch": 0.5,
      "grad_norm": 18.777666091918945,
      "learning_rate": 4.17e-05,
      "loss": 1.3379,
      "step": 250
    },
    {
      "epoch": 0.52,
      "grad_norm": 40.735050201416016,
      "learning_rate": 4.136666666666667e-05,
      "loss": 1.4589,
      "step": 260
    },
    {
      "epoch": 0.54,
      "grad_norm": 89.99899291992188,
      "learning_rate": 4.103333333333333e-05,
      "loss": 1.6462,
      "step": 270
    },
    {
      "epoch": 0.56,
      "grad_norm": 26.000844955444336,
      "learning_rate": 4.07e-05,
      "loss": 1.5459,
      "step": 280
    },
    {
      "epoch": 0.58,
      "grad_norm": 72.94963836669922,
      "learning_rate": 4.036666666666667e-05,
      "loss": 1.3914,
      "step": 290
    },
    {
      "epoch": 0.6,
      "grad_norm": 36.23366928100586,
      "learning_rate": 4.0033333333333335e-05,
      "loss": 1.7466,
      "step": 300
    },
    {
      "epoch": 0.62,
      "grad_norm": 37.300697326660156,
      "learning_rate": 3.97e-05,
      "loss": 1.6585,
      "step": 310
    },
    {
      "epoch": 0.64,
      "grad_norm": 48.120933532714844,
      "learning_rate": 3.936666666666667e-05,
      "loss": 1.7376,
      "step": 320
    },
    {
      "epoch": 0.66,
      "grad_norm": 41.503997802734375,
      "learning_rate": 3.903333333333333e-05,
      "loss": 1.4676,
      "step": 330
    },
    {
      "epoch": 0.68,
      "grad_norm": 13.966187477111816,
      "learning_rate": 3.8700000000000006e-05,
      "loss": 1.4801,
      "step": 340
    },
    {
      "epoch": 0.7,
      "grad_norm": 55.511837005615234,
      "learning_rate": 3.8366666666666666e-05,
      "loss": 1.9258,
      "step": 350
    },
    {
      "epoch": 0.72,
      "grad_norm": 46.56684494018555,
      "learning_rate": 3.803333333333334e-05,
      "loss": 1.4785,
      "step": 360
    },
    {
      "epoch": 0.74,
      "grad_norm": 51.37467575073242,
      "learning_rate": 3.77e-05,
      "loss": 1.3089,
      "step": 370
    },
    {
      "epoch": 0.76,
      "grad_norm": 63.84782409667969,
      "learning_rate": 3.736666666666667e-05,
      "loss": 2.0258,
      "step": 380
    },
    {
      "epoch": 0.78,
      "grad_norm": 54.59080123901367,
      "learning_rate": 3.703333333333334e-05,
      "loss": 1.4266,
      "step": 390
    },
    {
      "epoch": 0.8,
      "grad_norm": 27.919336318969727,
      "learning_rate": 3.6700000000000004e-05,
      "loss": 1.8133,
      "step": 400
    },
    {
      "epoch": 0.82,
      "grad_norm": 43.32358169555664,
      "learning_rate": 3.636666666666667e-05,
      "loss": 1.4812,
      "step": 410
    },
    {
      "epoch": 0.84,
      "grad_norm": 33.77085494995117,
      "learning_rate": 3.603333333333333e-05,
      "loss": 1.4177,
      "step": 420
    },
    {
      "epoch": 0.86,
      "grad_norm": 53.14788055419922,
      "learning_rate": 3.57e-05,
      "loss": 1.4277,
      "step": 430
    },
    {
      "epoch": 0.88,
      "grad_norm": 43.82292175292969,
      "learning_rate": 3.536666666666667e-05,
      "loss": 1.3996,
      "step": 440
    },
    {
      "epoch": 0.9,
      "grad_norm": 74.1073989868164,
      "learning_rate": 3.5033333333333336e-05,
      "loss": 1.4942,
      "step": 450
    },
    {
      "epoch": 0.92,
      "grad_norm": 67.50479888916016,
      "learning_rate": 3.4699999999999996e-05,
      "loss": 1.4433,
      "step": 460
    },
    {
      "epoch": 0.94,
      "grad_norm": 44.51863479614258,
      "learning_rate": 3.436666666666667e-05,
      "loss": 1.3934,
      "step": 470
    },
    {
      "epoch": 0.96,
      "grad_norm": 42.15129470825195,
      "learning_rate": 3.403333333333333e-05,
      "loss": 1.4448,
      "step": 480
    },
    {
      "epoch": 0.98,
      "grad_norm": 59.780059814453125,
      "learning_rate": 3.3700000000000006e-05,
      "loss": 1.25,
      "step": 490
    },
    {
      "epoch": 1.0,
      "grad_norm": 56.6463623046875,
      "learning_rate": 3.336666666666667e-05,
      "loss": 1.3204,
      "step": 500
    },
    {
      "epoch": 1.02,
      "grad_norm": 42.17279815673828,
      "learning_rate": 3.3033333333333334e-05,
      "loss": 1.875,
      "step": 510
    },
    {
      "epoch": 1.04,
      "grad_norm": 53.357017517089844,
      "learning_rate": 3.27e-05,
      "loss": 1.3936,
      "step": 520
    },
    {
      "epoch": 1.06,
      "grad_norm": 33.11314392089844,
      "learning_rate": 3.236666666666667e-05,
      "loss": 1.5159,
      "step": 530
    },
    {
      "epoch": 1.08,
      "grad_norm": 39.53742980957031,
      "learning_rate": 3.203333333333334e-05,
      "loss": 1.3661,
      "step": 540
    },
    {
      "epoch": 1.1,
      "grad_norm": 37.94576644897461,
      "learning_rate": 3.1700000000000005e-05,
      "loss": 1.3893,
      "step": 550
    },
    {
      "epoch": 1.12,
      "grad_norm": 40.539207458496094,
      "learning_rate": 3.1366666666666666e-05,
      "loss": 1.4794,
      "step": 560
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 34.75075912475586,
      "learning_rate": 3.103333333333333e-05,
      "loss": 1.0972,
      "step": 570
    },
    {
      "epoch": 1.16,
      "grad_norm": 52.29777526855469,
      "learning_rate": 3.07e-05,
      "loss": 1.9438,
      "step": 580
    },
    {
      "epoch": 1.18,
      "grad_norm": 63.562442779541016,
      "learning_rate": 3.0366666666666665e-05,
      "loss": 1.4552,
      "step": 590
    },
    {
      "epoch": 1.2,
      "grad_norm": 36.03409194946289,
      "learning_rate": 3.0033333333333336e-05,
      "loss": 1.4451,
      "step": 600
    },
    {
      "epoch": 1.22,
      "grad_norm": 35.75303268432617,
      "learning_rate": 2.97e-05,
      "loss": 1.3203,
      "step": 610
    },
    {
      "epoch": 1.24,
      "grad_norm": 41.28643798828125,
      "learning_rate": 2.936666666666667e-05,
      "loss": 1.3898,
      "step": 620
    },
    {
      "epoch": 1.26,
      "grad_norm": 42.44171905517578,
      "learning_rate": 2.9033333333333335e-05,
      "loss": 1.4461,
      "step": 630
    },
    {
      "epoch": 1.28,
      "grad_norm": 33.191993713378906,
      "learning_rate": 2.87e-05,
      "loss": 1.5485,
      "step": 640
    },
    {
      "epoch": 1.3,
      "grad_norm": 35.58934020996094,
      "learning_rate": 2.836666666666667e-05,
      "loss": 1.4225,
      "step": 650
    },
    {
      "epoch": 1.32,
      "grad_norm": 38.515438079833984,
      "learning_rate": 2.8033333333333335e-05,
      "loss": 1.4034,
      "step": 660
    },
    {
      "epoch": 1.34,
      "grad_norm": 42.85960006713867,
      "learning_rate": 2.7700000000000002e-05,
      "loss": 1.3505,
      "step": 670
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 83.25682067871094,
      "learning_rate": 2.7366666666666667e-05,
      "loss": 1.35,
      "step": 680
    },
    {
      "epoch": 1.38,
      "grad_norm": 49.6702880859375,
      "learning_rate": 2.7033333333333334e-05,
      "loss": 1.8784,
      "step": 690
    },
    {
      "epoch": 1.4,
      "grad_norm": 51.177093505859375,
      "learning_rate": 2.6700000000000002e-05,
      "loss": 1.3637,
      "step": 700
    },
    {
      "epoch": 1.42,
      "grad_norm": 40.318206787109375,
      "learning_rate": 2.6366666666666666e-05,
      "loss": 1.3539,
      "step": 710
    },
    {
      "epoch": 1.44,
      "grad_norm": 45.05327224731445,
      "learning_rate": 2.6033333333333337e-05,
      "loss": 1.5676,
      "step": 720
    },
    {
      "epoch": 1.46,
      "grad_norm": 28.770118713378906,
      "learning_rate": 2.57e-05,
      "loss": 1.342,
      "step": 730
    },
    {
      "epoch": 1.48,
      "grad_norm": 29.81730842590332,
      "learning_rate": 2.5366666666666665e-05,
      "loss": 1.3532,
      "step": 740
    },
    {
      "epoch": 1.5,
      "grad_norm": 48.3309440612793,
      "learning_rate": 2.5033333333333336e-05,
      "loss": 1.4733,
      "step": 750
    },
    {
      "epoch": 1.52,
      "grad_norm": 70.29447937011719,
      "learning_rate": 2.47e-05,
      "loss": 1.457,
      "step": 760
    },
    {
      "epoch": 1.54,
      "grad_norm": 37.76487350463867,
      "learning_rate": 2.4366666666666668e-05,
      "loss": 1.4183,
      "step": 770
    },
    {
      "epoch": 1.56,
      "grad_norm": 33.34684753417969,
      "learning_rate": 2.4033333333333336e-05,
      "loss": 1.4226,
      "step": 780
    },
    {
      "epoch": 1.58,
      "grad_norm": 32.89299392700195,
      "learning_rate": 2.37e-05,
      "loss": 1.3785,
      "step": 790
    },
    {
      "epoch": 1.6,
      "grad_norm": 56.79878616333008,
      "learning_rate": 2.3366666666666668e-05,
      "loss": 1.4579,
      "step": 800
    },
    {
      "epoch": 1.62,
      "grad_norm": 32.62324523925781,
      "learning_rate": 2.3033333333333335e-05,
      "loss": 1.4094,
      "step": 810
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 39.20806121826172,
      "learning_rate": 2.2700000000000003e-05,
      "loss": 1.4686,
      "step": 820
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 31.847000122070312,
      "learning_rate": 2.236666666666667e-05,
      "loss": 1.3953,
      "step": 830
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 40.128971099853516,
      "learning_rate": 2.2033333333333335e-05,
      "loss": 1.4658,
      "step": 840
    },
    {
      "epoch": 1.7,
      "grad_norm": 36.050846099853516,
      "learning_rate": 2.1700000000000002e-05,
      "loss": 1.6216,
      "step": 850
    },
    {
      "epoch": 1.72,
      "grad_norm": 64.60285186767578,
      "learning_rate": 2.1366666666666667e-05,
      "loss": 1.4508,
      "step": 860
    },
    {
      "epoch": 1.74,
      "grad_norm": 65.16170501708984,
      "learning_rate": 2.1033333333333334e-05,
      "loss": 1.4214,
      "step": 870
    },
    {
      "epoch": 1.76,
      "grad_norm": 35.84981155395508,
      "learning_rate": 2.07e-05,
      "loss": 1.3662,
      "step": 880
    },
    {
      "epoch": 1.78,
      "grad_norm": 40.32749557495117,
      "learning_rate": 2.0366666666666666e-05,
      "loss": 1.4159,
      "step": 890
    },
    {
      "epoch": 1.8,
      "grad_norm": 37.723114013671875,
      "learning_rate": 2.0033333333333334e-05,
      "loss": 1.3919,
      "step": 900
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 35.627803802490234,
      "learning_rate": 1.97e-05,
      "loss": 1.4407,
      "step": 910
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 34.74470138549805,
      "learning_rate": 1.9366666666666665e-05,
      "loss": 1.3455,
      "step": 920
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 30.108226776123047,
      "learning_rate": 1.9033333333333333e-05,
      "loss": 1.4827,
      "step": 930
    },
    {
      "epoch": 1.88,
      "grad_norm": 72.5284652709961,
      "learning_rate": 1.87e-05,
      "loss": 1.38,
      "step": 940
    },
    {
      "epoch": 1.9,
      "grad_norm": 40.3804817199707,
      "learning_rate": 1.8366666666666668e-05,
      "loss": 1.3436,
      "step": 950
    },
    {
      "epoch": 1.92,
      "grad_norm": 48.87946701049805,
      "learning_rate": 1.8033333333333336e-05,
      "loss": 1.369,
      "step": 960
    },
    {
      "epoch": 1.94,
      "grad_norm": 50.297794342041016,
      "learning_rate": 1.77e-05,
      "loss": 1.3892,
      "step": 970
    },
    {
      "epoch": 1.96,
      "grad_norm": 43.455909729003906,
      "learning_rate": 1.7366666666666668e-05,
      "loss": 1.5923,
      "step": 980
    },
    {
      "epoch": 1.98,
      "grad_norm": 26.250675201416016,
      "learning_rate": 1.7033333333333335e-05,
      "loss": 1.4009,
      "step": 990
    },
    {
      "epoch": 2.0,
      "grad_norm": 30.42631721496582,
      "learning_rate": 1.6700000000000003e-05,
      "loss": 1.3333,
      "step": 1000
    }
  ],
  "logging_steps": 10,
  "max_steps": 1500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 5412464099328000.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}