{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.9546666666666668,
  "eval_steps": 500,
  "global_step": 69,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 5.959728345663076,
      "learning_rate": 2.8571428571428573e-06,
      "loss": 0.8546,
      "step": 1
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 6.094613172565375,
      "learning_rate": 5.7142857142857145e-06,
      "loss": 0.8868,
      "step": 2
    },
    {
      "epoch": 0.128,
      "grad_norm": 5.386341750579915,
      "learning_rate": 8.571428571428571e-06,
      "loss": 0.832,
      "step": 3
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.5797511388626746,
      "learning_rate": 1.1428571428571429e-05,
      "loss": 0.7985,
      "step": 4
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 3.779386282818932,
      "learning_rate": 1.4285714285714287e-05,
      "loss": 0.7783,
      "step": 5
    },
    {
      "epoch": 0.256,
      "grad_norm": 4.229706702803126,
      "learning_rate": 1.7142857142857142e-05,
      "loss": 0.7815,
      "step": 6
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 4.617508058304087,
      "learning_rate": 2e-05,
      "loss": 0.7589,
      "step": 7
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 2.8605623999583067,
      "learning_rate": 1.998716507171053e-05,
      "loss": 0.7121,
      "step": 8
    },
    {
      "epoch": 0.384,
      "grad_norm": 2.8915143875516227,
      "learning_rate": 1.994869323391895e-05,
      "loss": 0.7246,
      "step": 9
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 2.1151893328356457,
      "learning_rate": 1.9884683243281117e-05,
      "loss": 0.6802,
      "step": 10
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 1.3469196763058695,
      "learning_rate": 1.9795299412524948e-05,
      "loss": 0.649,
      "step": 11
    },
    {
      "epoch": 0.512,
      "grad_norm": 1.281775936596799,
      "learning_rate": 1.9680771188662044e-05,
      "loss": 0.6418,
      "step": 12
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 1.0850775880881365,
      "learning_rate": 1.954139256400049e-05,
      "loss": 0.615,
      "step": 13
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.8195762946099127,
      "learning_rate": 1.9377521321470806e-05,
      "loss": 0.602,
      "step": 14
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.8606474232660462,
      "learning_rate": 1.918957811620231e-05,
      "loss": 0.5955,
      "step": 15
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.6863293915797495,
      "learning_rate": 1.897804539570742e-05,
      "loss": 0.5931,
      "step": 16
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.7127857574760672,
      "learning_rate": 1.8743466161445823e-05,
      "loss": 0.5931,
      "step": 17
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.6761402123068821,
      "learning_rate": 1.848644257494751e-05,
      "loss": 0.6253,
      "step": 18
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.6908240602604472,
      "learning_rate": 1.8207634412072765e-05,
      "loss": 0.5733,
      "step": 19
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.5975435355673366,
      "learning_rate": 1.7907757369376984e-05,
      "loss": 0.6043,
      "step": 20
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.6552793881271102,
      "learning_rate": 1.758758122692791e-05,
      "loss": 0.5973,
      "step": 21
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.7611523739276765,
      "learning_rate": 1.72479278722912e-05,
      "loss": 0.5591,
      "step": 22
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.6508644582109435,
      "learning_rate": 1.688966919075687e-05,
      "loss": 0.5855,
      "step": 23
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 1.4185151217030356,
      "learning_rate": 1.6513724827222225e-05,
      "loss": 0.9357,
      "step": 24
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.5452898243798924,
      "learning_rate": 1.612105982547663e-05,
      "loss": 0.5117,
      "step": 25
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.6944885284299619,
      "learning_rate": 1.5712682150947926e-05,
      "loss": 0.5366,
      "step": 26
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 0.783190829130972,
      "learning_rate": 1.5289640103269626e-05,
      "loss": 0.5493,
      "step": 27
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.6776819900072719,
      "learning_rate": 1.4853019625310813e-05,
      "loss": 0.5365,
      "step": 28
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 0.7900333868686757,
      "learning_rate": 1.4403941515576344e-05,
      "loss": 0.51,
      "step": 29
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.5665470546997332,
      "learning_rate": 1.3943558551133186e-05,
      "loss": 0.4923,
      "step": 30
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.7357023227151142,
      "learning_rate": 1.3473052528448203e-05,
      "loss": 0.5626,
      "step": 31
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 0.7181139107624689,
      "learning_rate": 1.2993631229733584e-05,
      "loss": 0.5226,
      "step": 32
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.6093315557894886,
      "learning_rate": 1.2506525322587207e-05,
      "loss": 0.4995,
      "step": 33
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.5340833598913288,
      "learning_rate": 1.2012985200886602e-05,
      "loss": 0.4901,
      "step": 34
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.6143559874227241,
      "learning_rate": 1.1514277775045768e-05,
      "loss": 0.5237,
      "step": 35
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 0.507660612192559,
      "learning_rate": 1.1011683219874324e-05,
      "loss": 0.4985,
      "step": 36
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.6308358642347149,
      "learning_rate": 1.0506491688387128e-05,
      "loss": 0.5597,
      "step": 37
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 0.40611142763475594,
      "learning_rate": 1e-05,
      "loss": 0.4834,
      "step": 38
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 0.555694918110193,
      "learning_rate": 9.493508311612874e-06,
      "loss": 0.5282,
      "step": 39
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.4782914827020497,
      "learning_rate": 8.98831678012568e-06,
      "loss": 0.5029,
      "step": 40
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.40447180311906644,
      "learning_rate": 8.485722224954237e-06,
      "loss": 0.5287,
      "step": 41
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 0.4516541829796801,
      "learning_rate": 7.987014799113398e-06,
      "loss": 0.5072,
      "step": 42
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.37653071625781426,
      "learning_rate": 7.493474677412795e-06,
      "loss": 0.4584,
      "step": 43
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.3984563912306908,
      "learning_rate": 7.006368770266421e-06,
      "loss": 0.5267,
      "step": 44
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 0.38863265116874834,
      "learning_rate": 6.526947471551799e-06,
      "loss": 0.4965,
      "step": 45
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.39995047568592906,
      "learning_rate": 6.056441448866817e-06,
      "loss": 0.4757,
      "step": 46
    },
    {
      "epoch": 2.016,
      "grad_norm": 0.6674558520856042,
      "learning_rate": 5.5960584844236565e-06,
      "loss": 0.7987,
      "step": 47
    },
    {
      "epoch": 2.058666666666667,
      "grad_norm": 0.3698994867240691,
      "learning_rate": 5.146980374689192e-06,
      "loss": 0.4257,
      "step": 48
    },
    {
      "epoch": 2.1013333333333333,
      "grad_norm": 0.43400395036861983,
      "learning_rate": 4.710359896730379e-06,
      "loss": 0.4947,
      "step": 49
    },
    {
      "epoch": 2.144,
      "grad_norm": 0.4005441898018298,
      "learning_rate": 4.287317849052075e-06,
      "loss": 0.4512,
      "step": 50
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 0.40707949452679015,
      "learning_rate": 3.878940174523371e-06,
      "loss": 0.533,
      "step": 51
    },
    {
      "epoch": 2.2293333333333334,
      "grad_norm": 0.3605166200767298,
      "learning_rate": 3.48627517277778e-06,
      "loss": 0.4365,
      "step": 52
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.3793619736022353,
      "learning_rate": 3.110330809243134e-06,
      "loss": 0.4743,
      "step": 53
    },
    {
      "epoch": 2.3146666666666667,
      "grad_norm": 0.36583057188811624,
      "learning_rate": 2.7520721277088023e-06,
      "loss": 0.4635,
      "step": 54
    },
    {
      "epoch": 2.3573333333333335,
      "grad_norm": 0.39070534110508154,
      "learning_rate": 2.4124187730720916e-06,
      "loss": 0.468,
      "step": 55
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.4033662541656621,
      "learning_rate": 2.092242630623016e-06,
      "loss": 0.4704,
      "step": 56
    },
    {
      "epoch": 2.4426666666666668,
      "grad_norm": 0.323553634819707,
      "learning_rate": 1.7923655879272395e-06,
      "loss": 0.4326,
      "step": 57
    },
    {
      "epoch": 2.485333333333333,
      "grad_norm": 0.3020317061209811,
      "learning_rate": 1.5135574250524898e-06,
      "loss": 0.4623,
      "step": 58
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.2918391492968299,
      "learning_rate": 1.2565338385541792e-06,
      "loss": 0.4694,
      "step": 59
    },
    {
      "epoch": 2.570666666666667,
      "grad_norm": 0.28335286446618535,
      "learning_rate": 1.0219546042925842e-06,
      "loss": 0.4282,
      "step": 60
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 0.2948398534467495,
      "learning_rate": 8.10421883797694e-07,
      "loss": 0.4456,
      "step": 61
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.2870039768314063,
      "learning_rate": 6.22478678529197e-07,
      "loss": 0.4457,
      "step": 62
    },
    {
      "epoch": 2.6986666666666665,
      "grad_norm": 0.2835603884217034,
      "learning_rate": 4.5860743599951186e-07,
      "loss": 0.4228,
      "step": 63
    },
    {
      "epoch": 2.7413333333333334,
      "grad_norm": 0.32534507708819593,
      "learning_rate": 3.1922881133795827e-07,
      "loss": 0.5117,
      "step": 64
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.254851146211296,
      "learning_rate": 2.0470058747505516e-07,
      "loss": 0.3893,
      "step": 65
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 0.299877118299828,
      "learning_rate": 1.1531675671888621e-07,
      "loss": 0.492,
      "step": 66
    },
    {
      "epoch": 2.8693333333333335,
      "grad_norm": 0.29694063668641374,
      "learning_rate": 5.1306766081048456e-08,
      "loss": 0.4389,
      "step": 67
    },
    {
      "epoch": 2.912,
      "grad_norm": 0.27153960798477816,
      "learning_rate": 1.2834928289472415e-08,
      "loss": 0.4697,
      "step": 68
    },
    {
      "epoch": 2.9546666666666668,
      "grad_norm": 0.30779957596150975,
      "learning_rate": 0.0,
      "loss": 0.4917,
      "step": 69
    },
    {
      "epoch": 2.9546666666666668,
      "step": 69,
      "total_flos": 1.8368167563545805e+17,
      "train_loss": 0.5622327051300934,
      "train_runtime": 9047.4576,
      "train_samples_per_second": 0.994,
      "train_steps_per_second": 0.008
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 69,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.8368167563545805e+17,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}