{
  "best_global_step": 76,
  "best_metric": 0.5403695702552795,
  "best_model_checkpoint": "slm_swap/04_ft/adapter_llama_structured/checkpoint-76",
  "epoch": 2.0,
  "eval_steps": 500,
  "global_step": 76,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 4.145010948181152,
      "learning_rate": 0.0,
      "loss": 2.4003,
      "step": 1
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 4.813018321990967,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 2.635,
      "step": 2
    },
    {
      "epoch": 0.08,
      "grad_norm": 2.918339252471924,
      "learning_rate": 6.666666666666667e-05,
      "loss": 2.1847,
      "step": 3
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 2.725857734680176,
      "learning_rate": 0.0001,
      "loss": 1.911,
      "step": 4
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.2376487255096436,
      "learning_rate": 0.00013333333333333334,
      "loss": 1.5675,
      "step": 5
    },
    {
      "epoch": 0.16,
      "grad_norm": 4.092291355133057,
      "learning_rate": 0.0001666666666666667,
      "loss": 1.1603,
      "step": 6
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 2.9152793884277344,
      "learning_rate": 0.0002,
      "loss": 1.0053,
      "step": 7
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 2.2565271854400635,
      "learning_rate": 0.0001999576950082201,
      "loss": 0.6506,
      "step": 8
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.2920774221420288,
      "learning_rate": 0.00019983081582712685,
      "loss": 0.5865,
      "step": 9
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.0141593217849731,
      "learning_rate": 0.00019961946980917456,
      "loss": 0.7357,
      "step": 10
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 1.151449203491211,
      "learning_rate": 0.00019932383577419432,
      "loss": 0.8053,
      "step": 11
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.0362948179244995,
      "learning_rate": 0.00019894416385809444,
      "loss": 0.6616,
      "step": 12
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.7722408175468445,
      "learning_rate": 0.00019848077530122083,
      "loss": 0.6958,
      "step": 13
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.8130640387535095,
      "learning_rate": 0.00019793406217655517,
      "loss": 0.7162,
      "step": 14
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.3675695657730103,
      "learning_rate": 0.00019730448705798239,
      "loss": 0.563,
      "step": 15
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.5960906744003296,
      "learning_rate": 0.00019659258262890683,
      "loss": 0.58,
      "step": 16
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.072212815284729,
      "learning_rate": 0.0001957989512315489,
      "loss": 0.5387,
      "step": 17
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.188248872756958,
      "learning_rate": 0.0001949242643573034,
      "loss": 0.6955,
      "step": 18
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 1.2778258323669434,
      "learning_rate": 0.00019396926207859084,
      "loss": 0.4479,
      "step": 19
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 13.143075942993164,
      "learning_rate": 0.00019293475242268223,
      "loss": 1.0277,
      "step": 20
    },
    {
      "epoch": 0.56,
      "grad_norm": 186.3747100830078,
      "learning_rate": 0.00019182161068802741,
      "loss": 0.9025,
      "step": 21
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.7217215895652771,
      "learning_rate": 0.000190630778703665,
      "loss": 0.4986,
      "step": 22
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.8731614947319031,
      "learning_rate": 0.00018936326403234125,
      "loss": 0.5636,
      "step": 23
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.6521349549293518,
      "learning_rate": 0.00018802013911801112,
      "loss": 0.5767,
      "step": 24
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.8306490182876587,
      "learning_rate": 0.00018660254037844388,
      "loss": 0.6199,
      "step": 25
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.6903685331344604,
      "learning_rate": 0.00018511166724369997,
      "loss": 0.6203,
      "step": 26
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.6657739281654358,
      "learning_rate": 0.00018354878114129367,
      "loss": 0.684,
      "step": 27
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.5936874747276306,
      "learning_rate": 0.0001819152044288992,
      "loss": 0.5577,
      "step": 28
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.6139101386070251,
      "learning_rate": 0.0001802123192755044,
      "loss": 0.6168,
      "step": 29
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.6266291737556458,
      "learning_rate": 0.00017844156649195759,
      "loss": 0.6148,
      "step": 30
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.6175403594970703,
      "learning_rate": 0.0001766044443118978,
      "loss": 0.4897,
      "step": 31
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.6125622391700745,
      "learning_rate": 0.0001747025071240996,
      "loss": 0.6356,
      "step": 32
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.6166452765464783,
      "learning_rate": 0.00017273736415730488,
      "loss": 0.4224,
      "step": 33
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.598992109298706,
      "learning_rate": 0.00017071067811865476,
      "loss": 0.547,
      "step": 34
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.6289752721786499,
      "learning_rate": 0.0001686241637868734,
      "loss": 0.4598,
      "step": 35
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.8014653921127319,
      "learning_rate": 0.00016647958656139378,
      "loss": 0.5587,
      "step": 36
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.5559372305870056,
      "learning_rate": 0.00016427876096865394,
      "loss": 0.4963,
      "step": 37
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.7442960143089294,
      "learning_rate": 0.000162023549126826,
      "loss": 0.457,
      "step": 38
    },
    {
      "epoch": 1.0,
      "eval_loss": 0.5433598756790161,
      "eval_runtime": 4.7841,
      "eval_samples_per_second": 12.542,
      "eval_steps_per_second": 1.672,
      "step": 38
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 0.4461791217327118,
      "learning_rate": 0.00015971585917027862,
      "loss": 0.4713,
      "step": 39
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 0.431579053401947,
      "learning_rate": 0.0001573576436351046,
      "loss": 0.4377,
      "step": 40
    },
    {
      "epoch": 1.08,
      "grad_norm": 1.7148072719573975,
      "learning_rate": 0.0001549508978070806,
      "loss": 0.4454,
      "step": 41
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 0.5817849040031433,
      "learning_rate": 0.000152497658033456,
      "loss": 0.3962,
      "step": 42
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.5576441884040833,
      "learning_rate": 0.00015000000000000001,
      "loss": 0.5483,
      "step": 43
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.4906015694141388,
      "learning_rate": 0.00014746003697476404,
      "loss": 0.5422,
      "step": 44
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 0.5438020825386047,
      "learning_rate": 0.00014487991802004623,
      "loss": 0.4438,
      "step": 45
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 0.5641293525695801,
      "learning_rate": 0.00014226182617406996,
      "loss": 0.5939,
      "step": 46
    },
    {
      "epoch": 1.24,
      "grad_norm": 1.2554056644439697,
      "learning_rate": 0.0001396079766039157,
      "loss": 0.3962,
      "step": 47
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.7316768169403076,
      "learning_rate": 0.00013692061473126845,
      "loss": 0.4658,
      "step": 48
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 0.5622590780258179,
      "learning_rate": 0.00013420201433256689,
      "loss": 0.3701,
      "step": 49
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.48055917024612427,
      "learning_rate": 0.00013145447561516138,
      "loss": 0.384,
      "step": 50
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 0.5410879254341125,
      "learning_rate": 0.00012868032327110904,
      "loss": 0.312,
      "step": 51
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 0.5372636318206787,
      "learning_rate": 0.00012588190451025207,
      "loss": 0.3277,
      "step": 52
    },
    {
      "epoch": 1.4,
      "grad_norm": 1.3009170293807983,
      "learning_rate": 0.00012306158707424403,
      "loss": 0.3514,
      "step": 53
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 0.6670292615890503,
      "learning_rate": 0.00012022175723320381,
      "loss": 0.377,
      "step": 54
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 0.6945537328720093,
      "learning_rate": 0.00011736481776669306,
      "loss": 0.4053,
      "step": 55
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.6068922281265259,
      "learning_rate": 0.00011449318593072466,
      "loss": 0.3305,
      "step": 56
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 0.7037740349769592,
      "learning_rate": 0.00011160929141252303,
      "loss": 0.4334,
      "step": 57
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 1.9757070541381836,
      "learning_rate": 0.00010871557427476583,
      "loss": 0.3922,
      "step": 58
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.6219176650047302,
      "learning_rate": 0.00010581448289104758,
      "loss": 0.4529,
      "step": 59
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 0.6832179427146912,
      "learning_rate": 0.00010290847187431113,
      "loss": 0.3861,
      "step": 60
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 0.701236367225647,
      "learning_rate": 0.0001,
      "loss": 0.6416,
      "step": 61
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.4630773961544037,
      "learning_rate": 9.709152812568886e-05,
      "loss": 0.2598,
      "step": 62
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.643219530582428,
      "learning_rate": 9.418551710895243e-05,
      "loss": 0.4151,
      "step": 63
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 1.215836524963379,
      "learning_rate": 9.128442572523417e-05,
      "loss": 0.4387,
      "step": 64
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.6036189198493958,
      "learning_rate": 8.839070858747697e-05,
      "loss": 0.3655,
      "step": 65
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 0.6869444847106934,
      "learning_rate": 8.550681406927535e-05,
      "loss": 0.4398,
      "step": 66
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 0.6205930113792419,
      "learning_rate": 8.263518223330697e-05,
      "loss": 0.3855,
      "step": 67
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.730952262878418,
      "learning_rate": 7.977824276679623e-05,
      "loss": 0.5075,
      "step": 68
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 0.6464523673057556,
      "learning_rate": 7.693841292575598e-05,
      "loss": 0.4368,
      "step": 69
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 1.1483937501907349,
      "learning_rate": 7.411809548974792e-05,
      "loss": 0.3607,
      "step": 70
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.854091227054596,
      "learning_rate": 7.131967672889101e-05,
      "loss": 0.5536,
      "step": 71
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 1.0070300102233887,
      "learning_rate": 6.854552438483865e-05,
      "loss": 0.3844,
      "step": 72
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.5010907649993896,
      "learning_rate": 6.579798566743314e-05,
      "loss": 0.3356,
      "step": 73
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.6241299510002136,
      "learning_rate": 6.307938526873157e-05,
      "loss": 0.4154,
      "step": 74
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 0.5649359822273254,
      "learning_rate": 6.039202339608432e-05,
      "loss": 0.3542,
      "step": 75
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.756279706954956,
      "learning_rate": 5.773817382593008e-05,
      "loss": 0.3212,
      "step": 76
    },
    {
      "epoch": 2.0,
      "eval_loss": 0.5403695702552795,
      "eval_runtime": 4.7876,
      "eval_samples_per_second": 12.532,
      "eval_steps_per_second": 1.671,
      "step": 76
    }
  ],
  "logging_steps": 1,
  "max_steps": 114,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 4318974330421248.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}