{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 250,
  "global_step": 3000,
  "is_hyper_param_search": false,
  "is_local_process_zero": false,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 769.3955078125,
      "learning_rate": 0.00013066666666666668,
      "loss": 2207.061875,
      "step": 50
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 416.4177551269531,
      "learning_rate": 0.000264,
      "loss": 2157.63046875,
      "step": 100
    },
    {
      "epoch": 0.05,
      "grad_norm": 580.2691650390625,
      "learning_rate": 0.00039733333333333336,
      "loss": 2088.078125,
      "step": 150
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 518.3369140625,
      "learning_rate": 0.000399708326752494,
      "loss": 2027.68953125,
      "step": 200
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 343.1493225097656,
      "learning_rate": 0.0003988102673898103,
      "loss": 1981.4253125,
      "step": 250
    },
    {
      "epoch": 0.08333333333333333,
      "eval_accuracy": 0.1509169110459433,
      "eval_loss": 65.10028076171875,
      "eval_runtime": 22.9136,
      "eval_samples_per_second": 5.455,
      "eval_steps_per_second": 0.175,
      "step": 250
    },
    {
      "epoch": 0.1,
      "grad_norm": 301.3949890136719,
      "learning_rate": 0.00039730842777928766,
      "loss": 1950.15375,
      "step": 300
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 479.62359619140625,
      "learning_rate": 0.0003952073689584629,
      "loss": 1922.4278125,
      "step": 350
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 360.29132080078125,
      "learning_rate": 0.00039251347177392016,
      "loss": 1901.3628125,
      "step": 400
    },
    {
      "epoch": 0.15,
      "grad_norm": 334.61279296875,
      "learning_rate": 0.00038923491750286954,
      "loss": 1883.4759375,
      "step": 450
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 390.5067443847656,
      "learning_rate": 0.00038538166300687717,
      "loss": 1868.25234375,
      "step": 500
    },
    {
      "epoch": 0.16666666666666666,
      "eval_accuracy": 0.1607761485826002,
      "eval_loss": 61.64983367919922,
      "eval_runtime": 7.4283,
      "eval_samples_per_second": 16.827,
      "eval_steps_per_second": 0.538,
      "step": 500
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 330.5375061035156,
      "learning_rate": 0.0003809654104932039,
      "loss": 1856.43828125,
      "step": 550
    },
    {
      "epoch": 0.2,
      "grad_norm": 462.14501953125,
      "learning_rate": 0.00037599957197558643,
      "loss": 1845.416875,
      "step": 600
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 348.27215576171875,
      "learning_rate": 0.0003704992285423923,
      "loss": 1836.4821875,
      "step": 650
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 348.34326171875,
      "learning_rate": 0.0003644810845558505,
      "loss": 1828.6059375,
      "step": 700
    },
    {
      "epoch": 0.25,
      "grad_norm": 478.7774353027344,
      "learning_rate": 0.00035796341692145183,
      "loss": 1821.568125,
      "step": 750
    },
    {
      "epoch": 0.25,
      "eval_accuracy": 0.1680097751710655,
      "eval_loss": 60.21141815185547,
      "eval_runtime": 7.4388,
      "eval_samples_per_second": 16.804,
      "eval_steps_per_second": 0.538,
      "step": 750
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 353.61517333984375,
      "learning_rate": 0.0003509660195815883,
      "loss": 1817.4553125,
      "step": 800
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 335.4817810058594,
      "learning_rate": 0.0003435101434020002,
      "loss": 1810.23265625,
      "step": 850
    },
    {
      "epoch": 0.3,
      "grad_norm": 580.8027954101562,
      "learning_rate": 0.0003356184316335953,
      "loss": 1802.5071875,
      "step": 900
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 463.22943115234375,
      "learning_rate": 0.00032731485114564034,
      "loss": 1796.794375,
      "step": 950
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 435.9424133300781,
      "learning_rate": 0.0003186246196391665,
      "loss": 1792.77296875,
      "step": 1000
    },
    {
      "epoch": 0.3333333333333333,
      "eval_accuracy": 0.1721837732160313,
      "eval_loss": 59.25102233886719,
      "eval_runtime": 7.0046,
      "eval_samples_per_second": 17.845,
      "eval_steps_per_second": 0.571,
      "step": 1000
    },
    {
      "epoch": 0.35,
      "grad_norm": 428.2043151855469,
      "learning_rate": 0.00030957412906164035,
      "loss": 1789.57328125,
      "step": 1050
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 514.5044555664062,
      "learning_rate": 0.0003001908654554865,
      "loss": 1784.348125,
      "step": 1100
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 431.8824462890625,
      "learning_rate": 0.00029050332548388074,
      "loss": 1780.343125,
      "step": 1150
    },
    {
      "epoch": 0.4,
      "grad_norm": 544.1112670898438,
      "learning_rate": 0.00028054092988732,
      "loss": 1776.639375,
      "step": 1200
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 489.1014099121094,
      "learning_rate": 0.0002703339341338006,
      "loss": 1775.20375,
      "step": 1250
    },
    {
      "epoch": 0.4166666666666667,
      "eval_accuracy": 0.17473020527859237,
      "eval_loss": 58.67676544189453,
      "eval_runtime": 7.7117,
      "eval_samples_per_second": 16.209,
      "eval_steps_per_second": 0.519,
      "step": 1250
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 434.31243896484375,
      "learning_rate": 0.00025991333653395637,
      "loss": 1772.2684375,
      "step": 1300
    },
    {
      "epoch": 0.45,
      "grad_norm": 329.494873046875,
      "learning_rate": 0.00024931078410020814,
      "loss": 1769.61375,
      "step": 1350
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 606.4137573242188,
      "learning_rate": 0.00023855847643582703,
      "loss": 1765.89265625,
      "step": 1400
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 486.37298583984375,
      "learning_rate": 0.00022768906794579753,
      "loss": 1762.6784375,
      "step": 1450
    },
    {
      "epoch": 0.5,
      "grad_norm": 426.2013854980469,
      "learning_rate": 0.00021673556866646317,
      "loss": 1761.15328125,
      "step": 1500
    },
    {
      "epoch": 0.5,
      "eval_accuracy": 0.1763401759530792,
      "eval_loss": 58.22502517700195,
      "eval_runtime": 7.3798,
      "eval_samples_per_second": 16.938,
      "eval_steps_per_second": 0.542,
      "step": 1500
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 389.8416748046875,
      "learning_rate": 0.00020573124401513043,
      "loss": 1758.96953125,
      "step": 1550
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 650.4288330078125,
      "learning_rate": 0.00019470951376409043,
      "loss": 1757.52515625,
      "step": 1600
    },
    {
      "epoch": 0.55,
      "grad_norm": 847.1361694335938,
      "learning_rate": 0.0001837038505458685,
      "loss": 1753.61921875,
      "step": 1650
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 488.51898193359375,
      "learning_rate": 0.00017274767819793914,
      "loss": 1753.27640625,
      "step": 1700
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 306.435791015625,
      "learning_rate": 0.00016187427025563068,
      "loss": 1751.60140625,
      "step": 1750
    },
    {
      "epoch": 0.5833333333333334,
      "eval_accuracy": 0.17743304007820138,
      "eval_loss": 57.92564392089844,
      "eval_runtime": 7.3883,
      "eval_samples_per_second": 16.919,
      "eval_steps_per_second": 0.541,
      "step": 1750
    },
    {
      "epoch": 0.6,
      "grad_norm": 362.682373046875,
      "learning_rate": 0.0001511166489014914,
      "loss": 1750.76390625,
      "step": 1800
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 428.01727294921875,
      "learning_rate": 0.00014050748467800728,
      "loss": 1748.945625,
      "step": 1850
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 572.7185668945312,
      "learning_rate": 0.0001300789972682373,
      "loss": 1747.49421875,
      "step": 1900
    },
    {
      "epoch": 0.65,
      "grad_norm": 404.1789855957031,
      "learning_rate": 0.00011986285764569589,
      "loss": 1747.0315625,
      "step": 1950
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 516.892578125,
      "learning_rate": 0.00010989009189064648,
      "loss": 1745.6384375,
      "step": 2000
    },
    {
      "epoch": 0.6666666666666666,
      "eval_accuracy": 0.17842521994134897,
      "eval_loss": 57.703956604003906,
      "eval_runtime": 8.2449,
      "eval_samples_per_second": 15.161,
      "eval_steps_per_second": 0.485,
      "step": 2000
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 480.41583251953125,
      "learning_rate": 0.00010019098696491591,
      "loss": 1744.609375,
      "step": 2050
    },
    {
      "epoch": 0.7,
      "grad_norm": 489.03533935546875,
      "learning_rate": 9.079499873138675e-05,
      "loss": 1743.00265625,
      "step": 2100
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 281.31231689453125,
      "learning_rate": 8.173066249750974e-05,
      "loss": 1741.88375,
      "step": 2150
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 367.38116455078125,
      "learning_rate": 7.302550635451295e-05,
      "loss": 1741.17609375,
      "step": 2200
    },
    {
      "epoch": 0.75,
      "grad_norm": 373.6410827636719,
      "learning_rate": 6.470596757549348e-05,
      "loss": 1740.87671875,
      "step": 2250
    },
    {
      "epoch": 0.75,
      "eval_accuracy": 0.17889638318670575,
      "eval_loss": 57.56399917602539,
      "eval_runtime": 8.5942,
      "eval_samples_per_second": 14.545,
      "eval_steps_per_second": 0.465,
      "step": 2250
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 378.64324951171875,
      "learning_rate": 5.6797312326288e-05,
      "loss": 1741.790625,
      "step": 2300
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 399.52471923828125,
      "learning_rate": 4.932355893295748e-05,
      "loss": 1739.6509375,
      "step": 2350
    },
    {
      "epoch": 0.8,
      "grad_norm": 448.8892822265625,
      "learning_rate": 4.230740493892038e-05,
      "loss": 1739.64484375,
      "step": 2400
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 246.4326171875,
      "learning_rate": 3.57701581732592e-05,
      "loss": 1738.5784375,
      "step": 2450
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 420.97027587890625,
      "learning_rate": 2.973167203954399e-05,
      "loss": 1738.51265625,
      "step": 2500
    },
    {
      "epoch": 0.8333333333333334,
      "eval_accuracy": 0.17922873900293254,
      "eval_loss": 57.48527526855469,
      "eval_runtime": 6.8955,
      "eval_samples_per_second": 18.128,
      "eval_steps_per_second": 0.58,
      "step": 2500
    },
    {
      "epoch": 0.85,
      "grad_norm": 455.0086975097656,
      "learning_rate": 2.4210285221698124e-05,
      "loss": 1739.21203125,
      "step": 2550
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 460.4869079589844,
      "learning_rate": 1.922276599001802e-05,
      "loss": 1737.5628125,
      "step": 2600
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 488.4925231933594,
      "learning_rate": 1.4784261276487333e-05,
      "loss": 1737.22265625,
      "step": 2650
    },
    {
      "epoch": 0.9,
      "grad_norm": 602.5552978515625,
      "learning_rate": 1.0908250674042331e-05,
      "loss": 1736.81359375,
      "step": 2700
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 375.4463195800781,
      "learning_rate": 7.606505499491246e-06,
      "loss": 1736.9728125,
      "step": 2750
    },
    {
      "epoch": 0.9166666666666666,
      "eval_accuracy": 0.17933235581622678,
      "eval_loss": 57.458404541015625,
      "eval_runtime": 7.136,
      "eval_samples_per_second": 17.517,
      "eval_steps_per_second": 0.561,
      "step": 2750
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 411.4505920410156,
      "learning_rate": 4.88905304441194e-06,
      "loss": 1736.17953125,
      "step": 2800
    },
    {
      "epoch": 0.95,
      "grad_norm": 255.17337036132812,
      "learning_rate": 2.7641461225969665e-06,
      "loss": 1737.8128125,
      "step": 2850
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 709.8735961914062,
      "learning_rate": 1.2382380065293576e-06,
      "loss": 1737.474375,
      "step": 2900
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 485.8822326660156,
      "learning_rate": 3.159628290061445e-07,
      "loss": 1737.075,
      "step": 2950
    },
    {
      "epoch": 1.0,
      "grad_norm": 478.07696533203125,
      "learning_rate": 1.2150942938493615e-10,
      "loss": 1737.3753125,
      "step": 3000
    },
    {
      "epoch": 1.0,
      "eval_accuracy": 0.17936754643206257,
      "eval_loss": 57.4544677734375,
      "eval_runtime": 7.3114,
      "eval_samples_per_second": 17.097,
      "eval_steps_per_second": 0.547,
      "step": 3000
    }
  ],
  "logging_steps": 50,
  "max_steps": 3000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 0.0,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}