{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 10,
  "global_step": 375,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.5340253710746765,
      "learning_rate": 9.982464296247522e-05,
      "loss": 1.8708,
      "step": 10
    },
    {
      "epoch": 0.02666666666666667,
      "eval_loss": 1.7566570043563843,
      "eval_runtime": 40.6232,
      "eval_samples_per_second": 24.616,
      "eval_steps_per_second": 1.034,
      "step": 10
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.46823400259017944,
      "learning_rate": 9.929980185352526e-05,
      "loss": 1.7168,
      "step": 20
    },
    {
      "epoch": 0.05333333333333334,
      "eval_loss": 1.6883971691131592,
      "eval_runtime": 40.8967,
      "eval_samples_per_second": 24.452,
      "eval_steps_per_second": 1.027,
      "step": 20
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.48029762506484985,
      "learning_rate": 9.842915805643155e-05,
      "loss": 1.6815,
      "step": 30
    },
    {
      "epoch": 0.08,
      "eval_loss": 1.649947166442871,
      "eval_runtime": 40.9204,
      "eval_samples_per_second": 24.438,
      "eval_steps_per_second": 1.026,
      "step": 30
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.513595461845398,
      "learning_rate": 9.721881851187406e-05,
      "loss": 1.6333,
      "step": 40
    },
    {
      "epoch": 0.10666666666666667,
      "eval_loss": 1.6236332654953003,
      "eval_runtime": 40.9211,
      "eval_samples_per_second": 24.437,
      "eval_steps_per_second": 1.026,
      "step": 40
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.5335163474082947,
      "learning_rate": 9.567727288213005e-05,
      "loss": 1.6028,
      "step": 50
    },
    {
      "epoch": 0.13333333333333333,
      "eval_loss": 1.6038854122161865,
      "eval_runtime": 40.9229,
      "eval_samples_per_second": 24.436,
      "eval_steps_per_second": 1.026,
      "step": 50
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.5755225419998169,
      "learning_rate": 9.381533400219318e-05,
      "loss": 1.5665,
      "step": 60
    },
    {
      "epoch": 0.16,
      "eval_loss": 1.5894596576690674,
      "eval_runtime": 40.9428,
      "eval_samples_per_second": 24.424,
      "eval_steps_per_second": 1.026,
      "step": 60
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.6105771064758301,
      "learning_rate": 9.164606203550497e-05,
      "loss": 1.574,
      "step": 70
    },
    {
      "epoch": 0.18666666666666668,
      "eval_loss": 1.5772351026535034,
      "eval_runtime": 40.9088,
      "eval_samples_per_second": 24.445,
      "eval_steps_per_second": 1.027,
      "step": 70
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.5320121645927429,
      "learning_rate": 8.9184672866292e-05,
      "loss": 1.5862,
      "step": 80
    },
    {
      "epoch": 0.21333333333333335,
      "eval_loss": 1.5647927522659302,
      "eval_runtime": 40.91,
      "eval_samples_per_second": 24.444,
      "eval_steps_per_second": 1.027,
      "step": 80
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.6106515526771545,
      "learning_rate": 8.644843137107059e-05,
      "loss": 1.5218,
      "step": 90
    },
    {
      "epoch": 0.24,
      "eval_loss": 1.556412696838379,
      "eval_runtime": 40.9173,
      "eval_samples_per_second": 24.44,
      "eval_steps_per_second": 1.026,
      "step": 90
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.6353921294212341,
      "learning_rate": 8.345653031794292e-05,
      "loss": 1.5451,
      "step": 100
    },
    {
      "epoch": 0.26666666666666666,
      "eval_loss": 1.5465766191482544,
      "eval_runtime": 40.9266,
      "eval_samples_per_second": 24.434,
      "eval_steps_per_second": 1.026,
      "step": 100
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.6259240508079529,
      "learning_rate": 8.022995574311876e-05,
      "loss": 1.5011,
      "step": 110
    },
    {
      "epoch": 0.29333333333333333,
      "eval_loss": 1.5382152795791626,
      "eval_runtime": 40.9229,
      "eval_samples_per_second": 24.436,
      "eval_steps_per_second": 1.026,
      "step": 110
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.6570677757263184,
      "learning_rate": 7.679133974894983e-05,
      "loss": 1.5182,
      "step": 120
    },
    {
      "epoch": 0.32,
      "eval_loss": 1.5328434705734253,
      "eval_runtime": 40.9156,
      "eval_samples_per_second": 24.441,
      "eval_steps_per_second": 1.027,
      "step": 120
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.6687456965446472,
      "learning_rate": 7.316480175599309e-05,
      "loss": 1.5331,
      "step": 130
    },
    {
      "epoch": 0.3466666666666667,
      "eval_loss": 1.524049997329712,
      "eval_runtime": 40.941,
      "eval_samples_per_second": 24.425,
      "eval_steps_per_second": 1.026,
      "step": 130
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.6614110469818115,
      "learning_rate": 6.937577932260515e-05,
      "loss": 1.5096,
      "step": 140
    },
    {
      "epoch": 0.37333333333333335,
      "eval_loss": 1.5180366039276123,
      "eval_runtime": 40.9405,
      "eval_samples_per_second": 24.426,
      "eval_steps_per_second": 1.026,
      "step": 140
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.6763365268707275,
      "learning_rate": 6.545084971874738e-05,
      "loss": 1.5433,
      "step": 150
    },
    {
      "epoch": 0.4,
      "eval_loss": 1.5124986171722412,
      "eval_runtime": 40.8923,
      "eval_samples_per_second": 24.454,
      "eval_steps_per_second": 1.027,
      "step": 150
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.6982234120368958,
      "learning_rate": 6.141754350553279e-05,
      "loss": 1.4919,
      "step": 160
    },
    {
      "epoch": 0.4266666666666667,
      "eval_loss": 1.5082223415374756,
      "eval_runtime": 40.9169,
      "eval_samples_per_second": 24.44,
      "eval_steps_per_second": 1.026,
      "step": 160
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.6387989521026611,
      "learning_rate": 5.730415142812059e-05,
      "loss": 1.5119,
      "step": 170
    },
    {
      "epoch": 0.4533333333333333,
      "eval_loss": 1.5036897659301758,
      "eval_runtime": 40.911,
      "eval_samples_per_second": 24.443,
      "eval_steps_per_second": 1.027,
      "step": 170
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.7412083148956299,
      "learning_rate": 5.313952597646568e-05,
      "loss": 1.4898,
      "step": 180
    },
    {
      "epoch": 0.48,
      "eval_loss": 1.4962352514266968,
      "eval_runtime": 40.9474,
      "eval_samples_per_second": 24.422,
      "eval_steps_per_second": 1.026,
      "step": 180
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.7846696972846985,
      "learning_rate": 4.895287900583216e-05,
      "loss": 1.4879,
      "step": 190
    },
    {
      "epoch": 0.5066666666666667,
      "eval_loss": 1.4909743070602417,
      "eval_runtime": 40.9215,
      "eval_samples_per_second": 24.437,
      "eval_steps_per_second": 1.026,
      "step": 190
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.7460240721702576,
      "learning_rate": 4.477357683661734e-05,
      "loss": 1.4813,
      "step": 200
    },
    {
      "epoch": 0.5333333333333333,
      "eval_loss": 1.48694908618927,
      "eval_runtime": 40.9298,
      "eval_samples_per_second": 24.432,
      "eval_steps_per_second": 1.026,
      "step": 200
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.7955345511436462,
      "learning_rate": 4.063093427071376e-05,
      "loss": 1.4776,
      "step": 210
    },
    {
      "epoch": 0.56,
      "eval_loss": 1.482069730758667,
      "eval_runtime": 40.9128,
      "eval_samples_per_second": 24.442,
      "eval_steps_per_second": 1.027,
      "step": 210
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.7951104640960693,
      "learning_rate": 3.655400896923672e-05,
      "loss": 1.4786,
      "step": 220
    },
    {
      "epoch": 0.5866666666666667,
      "eval_loss": 1.4782707691192627,
      "eval_runtime": 40.9129,
      "eval_samples_per_second": 24.442,
      "eval_steps_per_second": 1.027,
      "step": 220
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.7635497450828552,
      "learning_rate": 3.257139763390925e-05,
      "loss": 1.4825,
      "step": 230
    },
    {
      "epoch": 0.6133333333333333,
      "eval_loss": 1.4740064144134521,
      "eval_runtime": 40.9001,
      "eval_samples_per_second": 24.45,
      "eval_steps_per_second": 1.027,
      "step": 230
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.7378778457641602,
      "learning_rate": 2.8711035421746367e-05,
      "loss": 1.4525,
      "step": 240
    },
    {
      "epoch": 0.64,
      "eval_loss": 1.47102689743042,
      "eval_runtime": 40.8895,
      "eval_samples_per_second": 24.456,
      "eval_steps_per_second": 1.027,
      "step": 240
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.7468525767326355,
      "learning_rate": 2.500000000000001e-05,
      "loss": 1.4794,
      "step": 250
    },
    {
      "epoch": 0.6666666666666666,
      "eval_loss": 1.4680323600769043,
      "eval_runtime": 40.9012,
      "eval_samples_per_second": 24.449,
      "eval_steps_per_second": 1.027,
      "step": 250
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.8616533279418945,
      "learning_rate": 2.1464321615778422e-05,
      "loss": 1.4785,
      "step": 260
    },
    {
      "epoch": 0.6933333333333334,
      "eval_loss": 1.46550714969635,
      "eval_runtime": 40.8983,
      "eval_samples_per_second": 24.451,
      "eval_steps_per_second": 1.027,
      "step": 260
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.7652505040168762,
      "learning_rate": 1.8128800512565513e-05,
      "loss": 1.4523,
      "step": 270
    },
    {
      "epoch": 0.72,
      "eval_loss": 1.462823748588562,
      "eval_runtime": 40.9083,
      "eval_samples_per_second": 24.445,
      "eval_steps_per_second": 1.027,
      "step": 270
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.7889844179153442,
      "learning_rate": 1.5016832974331724e-05,
      "loss": 1.4618,
      "step": 280
    },
    {
      "epoch": 0.7466666666666667,
      "eval_loss": 1.4604686498641968,
      "eval_runtime": 40.9235,
      "eval_samples_per_second": 24.436,
      "eval_steps_per_second": 1.026,
      "step": 280
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.827470600605011,
      "learning_rate": 1.2150247217412186e-05,
      "loss": 1.4751,
      "step": 290
    },
    {
      "epoch": 0.7733333333333333,
      "eval_loss": 1.4580776691436768,
      "eval_runtime": 40.9236,
      "eval_samples_per_second": 24.436,
      "eval_steps_per_second": 1.026,
      "step": 290
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.8822526931762695,
      "learning_rate": 9.549150281252633e-06,
      "loss": 1.4263,
      "step": 300
    },
    {
      "epoch": 0.8,
      "eval_loss": 1.4561147689819336,
      "eval_runtime": 40.9076,
      "eval_samples_per_second": 24.445,
      "eval_steps_per_second": 1.027,
      "step": 300
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.822908341884613,
      "learning_rate": 7.2317869919746705e-06,
      "loss": 1.4421,
      "step": 310
    },
    {
      "epoch": 0.8266666666666667,
      "eval_loss": 1.4547889232635498,
      "eval_runtime": 40.9178,
      "eval_samples_per_second": 24.439,
      "eval_steps_per_second": 1.026,
      "step": 310
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.8340728282928467,
      "learning_rate": 5.214411988029355e-06,
      "loss": 1.4824,
      "step": 320
    },
    {
      "epoch": 0.8533333333333334,
      "eval_loss": 1.4539330005645752,
      "eval_runtime": 40.9245,
      "eval_samples_per_second": 24.435,
      "eval_steps_per_second": 1.026,
      "step": 320
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.7951428890228271,
      "learning_rate": 3.511175705587433e-06,
      "loss": 1.4675,
      "step": 330
    },
    {
      "epoch": 0.88,
      "eval_loss": 1.4530839920043945,
      "eval_runtime": 40.9067,
      "eval_samples_per_second": 24.446,
      "eval_steps_per_second": 1.027,
      "step": 330
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.8414791226387024,
      "learning_rate": 2.134025123396638e-06,
      "loss": 1.4891,
      "step": 340
    },
    {
      "epoch": 0.9066666666666666,
      "eval_loss": 1.452470302581787,
      "eval_runtime": 40.9315,
      "eval_samples_per_second": 24.431,
      "eval_steps_per_second": 1.026,
      "step": 340
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.8219658136367798,
      "learning_rate": 1.0926199633097157e-06,
      "loss": 1.4617,
      "step": 350
    },
    {
      "epoch": 0.9333333333333333,
      "eval_loss": 1.4520126581192017,
      "eval_runtime": 40.9086,
      "eval_samples_per_second": 24.445,
      "eval_steps_per_second": 1.027,
      "step": 350
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.858593761920929,
      "learning_rate": 3.9426493427611177e-07,
      "loss": 1.4404,
      "step": 360
    },
    {
      "epoch": 0.96,
      "eval_loss": 1.4521235227584839,
      "eval_runtime": 40.9089,
      "eval_samples_per_second": 24.445,
      "eval_steps_per_second": 1.027,
      "step": 360
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.805996298789978,
      "learning_rate": 4.385849505708084e-08,
      "loss": 1.44,
      "step": 370
    },
    {
      "epoch": 0.9866666666666667,
      "eval_loss": 1.4519704580307007,
      "eval_runtime": 40.9006,
      "eval_samples_per_second": 24.449,
      "eval_steps_per_second": 1.027,
      "step": 370
    },
    {
      "epoch": 1.0,
      "step": 375,
      "total_flos": 2.6848736980657766e+17,
      "train_loss": 1.518934777577718,
      "train_runtime": 2685.9049,
      "train_samples_per_second": 3.351,
      "train_steps_per_second": 0.14
    }
  ],
  "logging_steps": 10,
  "max_steps": 375,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2.6848736980657766e+17,
  "train_batch_size": 12,
  "trial_name": null,
  "trial_params": null
}