{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.4666666666666667,
  "eval_steps": 500,
  "global_step": 1400,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 3.3801944255828857,
      "learning_rate": 9.5e-06,
      "loss": 3.710173416137695,
      "step": 20
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 2.4231245517730713,
      "learning_rate": 1.9500000000000003e-05,
      "loss": 3.2622753143310548,
      "step": 40
    },
    {
      "epoch": 0.02,
      "grad_norm": 2.0525474548339844,
      "learning_rate": 2.95e-05,
      "loss": 2.287516975402832,
      "step": 60
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 1.2226288318634033,
      "learning_rate": 3.9500000000000005e-05,
      "loss": 1.6385210037231446,
      "step": 80
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 2.2779319286346436,
      "learning_rate": 4.9500000000000004e-05,
      "loss": 1.4153234481811523,
      "step": 100
    },
    {
      "epoch": 0.04,
      "grad_norm": 1.5858861207962036,
      "learning_rate": 4.9994704516344666e-05,
      "loss": 1.4460668563842773,
      "step": 120
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 1.251664161682129,
      "learning_rate": 4.99776910887808e-05,
      "loss": 1.5103114128112793,
      "step": 140
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 2.4487648010253906,
      "learning_rate": 4.9948953034032466e-05,
      "loss": 1.3196531295776368,
      "step": 160
    },
    {
      "epoch": 0.06,
      "grad_norm": 1.276078701019287,
      "learning_rate": 4.990850384185648e-05,
      "loss": 1.3049612045288086,
      "step": 180
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 1.4780528545379639,
      "learning_rate": 4.985636249926392e-05,
      "loss": 1.164187526702881,
      "step": 200
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 1.1906464099884033,
      "learning_rate": 4.979255348160766e-05,
      "loss": 1.418909740447998,
      "step": 220
    },
    {
      "epoch": 0.08,
      "grad_norm": 1.3630824089050293,
      "learning_rate": 4.9717106741093454e-05,
      "loss": 1.0971190452575683,
      "step": 240
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 1.3592742681503296,
      "learning_rate": 4.96300576927203e-05,
      "loss": 1.358650016784668,
      "step": 260
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 1.215366244316101,
      "learning_rate": 4.953144719765649e-05,
      "loss": 1.3464448928833008,
      "step": 280
    },
    {
      "epoch": 0.1,
      "grad_norm": 1.00632643699646,
      "learning_rate": 4.942132154405919e-05,
      "loss": 0.925452709197998,
      "step": 300
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 1.3117424249649048,
      "learning_rate": 4.9299732425346626e-05,
      "loss": 1.4749733924865722,
      "step": 320
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 1.153543472290039,
      "learning_rate": 4.9166736915933e-05,
      "loss": 1.339738368988037,
      "step": 340
    },
    {
      "epoch": 0.12,
      "grad_norm": 1.147539496421814,
      "learning_rate": 4.9022397444437495e-05,
      "loss": 1.1870535850524901,
      "step": 360
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 1.023755431175232,
      "learning_rate": 4.886678176438004e-05,
      "loss": 0.9843617439270019,
      "step": 380
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.9747999906539917,
      "learning_rate": 4.869996292237757e-05,
      "loss": 0.9861419677734375,
      "step": 400
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.9171973466873169,
      "learning_rate": 4.852201922385564e-05,
      "loss": 1.001624870300293,
      "step": 420
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 0.7914513945579529,
      "learning_rate": 4.8333034196291516e-05,
      "loss": 0.9351105690002441,
      "step": 440
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 0.8947938680648804,
      "learning_rate": 4.8133096550006096e-05,
      "loss": 1.0424003601074219,
      "step": 460
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.7379234433174133,
      "learning_rate": 4.7922300136522914e-05,
      "loss": 0.9020758628845215,
      "step": 480
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.720455527305603,
      "learning_rate": 4.7700743904513836e-05,
      "loss": 0.8897322654724121,
      "step": 500
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 1.3379108905792236,
      "learning_rate": 4.746853185335221e-05,
      "loss": 0.9499833106994628,
      "step": 520
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.9506772756576538,
      "learning_rate": 4.722577298429512e-05,
      "loss": 1.4986319541931152,
      "step": 540
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 1.5777019262313843,
      "learning_rate": 4.697258124931776e-05,
      "loss": 1.3104500770568848,
      "step": 560
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 1.2068767547607422,
      "learning_rate": 4.670907549762392e-05,
      "loss": 0.9996993064880371,
      "step": 580
    },
    {
      "epoch": 0.2,
      "grad_norm": 1.3350718021392822,
      "learning_rate": 4.643537941985775e-05,
      "loss": 1.0175305366516114,
      "step": 600
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 1.7439497709274292,
      "learning_rate": 4.6151621490042805e-05,
      "loss": 1.0757975578308105,
      "step": 620
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.2179644107818604,
      "learning_rate": 4.5857934905275895e-05,
      "loss": 1.1192784309387207,
      "step": 640
    },
    {
      "epoch": 0.22,
      "grad_norm": 1.1882299184799194,
      "learning_rate": 4.555445752320379e-05,
      "loss": 0.9488797187805176,
      "step": 660
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 1.0356523990631104,
      "learning_rate": 4.524133179731231e-05,
      "loss": 0.3407599449157715,
      "step": 680
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 1.4150390625,
      "learning_rate": 4.491870471005814e-05,
      "loss": 0.9790312767028808,
      "step": 700
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.3073979616165161,
      "learning_rate": 4.4586727703874606e-05,
      "loss": 1.325801467895508,
      "step": 720
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 1.2574576139450073,
      "learning_rate": 4.424555661008406e-05,
      "loss": 1.1854475021362305,
      "step": 740
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 1.4099619388580322,
      "learning_rate": 4.389535157574998e-05,
      "loss": 1.0839804649353026,
      "step": 760
    },
    {
      "epoch": 0.26,
      "grad_norm": 1.2009291648864746,
      "learning_rate": 4.3536276988503366e-05,
      "loss": 1.030893611907959,
      "step": 780
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.0084775686264038,
      "learning_rate": 4.316850139937849e-05,
      "loss": 0.9282444000244141,
      "step": 800
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 1.166970133781433,
      "learning_rate": 4.27921974436944e-05,
      "loss": 0.9386281967163086,
      "step": 820
    },
    {
      "epoch": 0.28,
      "grad_norm": 1.1025112867355347,
      "learning_rate": 4.24075417600192e-05,
      "loss": 1.0037524223327636,
      "step": 840
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 1.2833219766616821,
      "learning_rate": 4.20147149072552e-05,
      "loss": 0.7834305763244629,
      "step": 860
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 1.5375336408615112,
      "learning_rate": 4.1613901279883885e-05,
      "loss": 1.0162606239318848,
      "step": 880
    },
    {
      "epoch": 0.3,
      "grad_norm": 1.2366664409637451,
      "learning_rate": 4.120528902141038e-05,
      "loss": 1.101635456085205,
      "step": 900
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 1.1046019792556763,
      "learning_rate": 4.0789069936048135e-05,
      "loss": 1.0482959747314453,
      "step": 920
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 1.8129781484603882,
      "learning_rate": 4.036543939868533e-05,
      "loss": 1.2192636489868165,
      "step": 940
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.8395664691925049,
      "learning_rate": 3.993459626317506e-05,
      "loss": 0.8940506935119629,
      "step": 960
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 1.2955873012542725,
      "learning_rate": 3.949674276899257e-05,
      "loss": 0.7923289775848389,
      "step": 980
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.2329128980636597,
      "learning_rate": 3.905208444630327e-05,
      "loss": 0.6925106525421143,
      "step": 1000
    },
    {
      "epoch": 0.34,
      "grad_norm": 1.7410433292388916,
      "learning_rate": 3.8600830019486013e-05,
      "loss": 1.0536805152893067,
      "step": 1020
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.0676844120025635,
      "learning_rate": 3.814319130915709e-05,
      "loss": 1.2916886329650878,
      "step": 1040
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 1.0247275829315186,
      "learning_rate": 3.7679383132740767e-05,
      "loss": 1.041970157623291,
      "step": 1060
    },
    {
      "epoch": 0.36,
      "grad_norm": 1.2280709743499756,
      "learning_rate": 3.720962320363313e-05,
      "loss": 0.7665971755981446,
      "step": 1080
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.792985200881958,
      "learning_rate": 3.673413202900659e-05,
      "loss": 0.9495917320251465,
      "step": 1100
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.9368265867233276,
      "learning_rate": 3.6253132806302895e-05,
      "loss": 0.7774296283721924,
      "step": 1120
    },
    {
      "epoch": 0.38,
      "grad_norm": 1.2027090787887573,
      "learning_rate": 3.576685131846339e-05,
      "loss": 0.9888124465942383,
      "step": 1140
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 1.8240844011306763,
      "learning_rate": 3.5275515827945635e-05,
      "loss": 1.134997844696045,
      "step": 1160
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 0.8984581828117371,
      "learning_rate": 3.4779356969576044e-05,
      "loss": 0.6457856655120849,
      "step": 1180
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.8814728260040283,
      "learning_rate": 3.427860764228903e-05,
      "loss": 0.8272159576416016,
      "step": 1200
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 1.533231496810913,
      "learning_rate": 3.377350289980331e-05,
      "loss": 0.7864272117614746,
      "step": 1220
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.4076637029647827,
      "learning_rate": 3.326427984028675e-05,
      "loss": 0.9194063186645508,
      "step": 1240
    },
    {
      "epoch": 0.42,
      "grad_norm": 1.770647406578064,
      "learning_rate": 3.275117749506156e-05,
      "loss": 1.0757792472839356,
      "step": 1260
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.488553524017334,
      "learning_rate": 3.2234436716402025e-05,
      "loss": 1.0499624252319335,
      "step": 1280
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 0.9816551804542542,
      "learning_rate": 3.171430006447751e-05,
      "loss": 1.106693172454834,
      "step": 1300
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.9064175486564636,
      "learning_rate": 3.119101169349374e-05,
      "loss": 0.692702341079712,
      "step": 1320
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 0.8113229870796204,
      "learning_rate": 3.066481723708587e-05,
      "loss": 0.41944007873535155,
      "step": 1340
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.6801184415817261,
      "learning_rate": 3.013596369301706e-05,
      "loss": 0.26016736030578613,
      "step": 1360
    },
    {
      "epoch": 0.46,
      "grad_norm": 0.9605411887168884,
      "learning_rate": 2.9604699307236765e-05,
      "loss": 0.47470459938049314,
      "step": 1380
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.1666914224624634,
      "learning_rate": 2.9071273457353082e-05,
      "loss": 0.5180130481719971,
      "step": 1400
    }
  ],
  "logging_steps": 20,
  "max_steps": 3000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 200,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 2926523606630400.0,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}