{
  "best_global_step": 112500,
  "best_metric": 0.9359666666666666,
  "best_model_checkpoint": "./results/checkpoint-112500",
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 112500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 6.924962997436523,
      "learning_rate": 1.991128888888889e-05,
      "loss": 0.3298,
      "step": 500
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 6.446069717407227,
      "learning_rate": 1.9822400000000002e-05,
      "loss": 0.2324,
      "step": 1000
    },
    {
      "epoch": 0.04,
      "grad_norm": 5.68242073059082,
      "learning_rate": 1.9733511111111112e-05,
      "loss": 0.2256,
      "step": 1500
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 6.5432538986206055,
      "learning_rate": 1.9644622222222226e-05,
      "loss": 0.2166,
      "step": 2000
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 3.0585386753082275,
      "learning_rate": 1.9555733333333337e-05,
      "loss": 0.2056,
      "step": 2500
    },
    {
      "epoch": 0.08,
      "grad_norm": 8.683813095092773,
      "learning_rate": 1.9466844444444447e-05,
      "loss": 0.1974,
      "step": 3000
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 3.974627733230591,
      "learning_rate": 1.9377955555555558e-05,
      "loss": 0.2019,
      "step": 3500
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 4.222468376159668,
      "learning_rate": 1.9289066666666668e-05,
      "loss": 0.1996,
      "step": 4000
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.7340072989463806,
      "learning_rate": 1.920017777777778e-05,
      "loss": 0.1961,
      "step": 4500
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 4.615850925445557,
      "learning_rate": 1.911128888888889e-05,
      "loss": 0.1961,
      "step": 5000
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 13.42386531829834,
      "learning_rate": 1.90224e-05,
      "loss": 0.1948,
      "step": 5500
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.5252296924591064,
      "learning_rate": 1.8933511111111113e-05,
      "loss": 0.1865,
      "step": 6000
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 3.5321481227874756,
      "learning_rate": 1.8844622222222224e-05,
      "loss": 0.1895,
      "step": 6500
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 3.602579116821289,
      "learning_rate": 1.8755733333333334e-05,
      "loss": 0.1905,
      "step": 7000
    },
    {
      "epoch": 0.2,
      "grad_norm": 3.1788716316223145,
      "learning_rate": 1.8666844444444445e-05,
      "loss": 0.1947,
      "step": 7500
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 4.463395595550537,
      "learning_rate": 1.857795555555556e-05,
      "loss": 0.1847,
      "step": 8000
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 2.527770757675171,
      "learning_rate": 1.848906666666667e-05,
      "loss": 0.1791,
      "step": 8500
    },
    {
      "epoch": 0.24,
      "grad_norm": 5.57848596572876,
      "learning_rate": 1.840017777777778e-05,
      "loss": 0.1857,
      "step": 9000
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 3.1781156063079834,
      "learning_rate": 1.831128888888889e-05,
      "loss": 0.1885,
      "step": 9500
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 4.088613510131836,
      "learning_rate": 1.8222400000000004e-05,
      "loss": 0.1903,
      "step": 10000
    },
    {
      "epoch": 0.28,
      "grad_norm": 1.8597575426101685,
      "learning_rate": 1.8133511111111114e-05,
      "loss": 0.1779,
      "step": 10500
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 7.61260461807251,
      "learning_rate": 1.8044622222222225e-05,
      "loss": 0.183,
      "step": 11000
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 3.552172899246216,
      "learning_rate": 1.7955733333333335e-05,
      "loss": 0.1908,
      "step": 11500
    },
    {
      "epoch": 0.32,
      "grad_norm": 7.69835090637207,
      "learning_rate": 1.7866844444444445e-05,
      "loss": 0.1787,
      "step": 12000
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 5.42686653137207,
      "learning_rate": 1.7777955555555556e-05,
      "loss": 0.1849,
      "step": 12500
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.7322025895118713,
      "learning_rate": 1.7689066666666666e-05,
      "loss": 0.1803,
      "step": 13000
    },
    {
      "epoch": 0.36,
      "grad_norm": 2.8071279525756836,
      "learning_rate": 1.7600177777777777e-05,
      "loss": 0.1845,
      "step": 13500
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 2.348557233810425,
      "learning_rate": 1.751128888888889e-05,
      "loss": 0.171,
      "step": 14000
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 2.0512709617614746,
      "learning_rate": 1.74224e-05,
      "loss": 0.1898,
      "step": 14500
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.916203498840332,
      "learning_rate": 1.733351111111111e-05,
      "loss": 0.1759,
      "step": 15000
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.8009586334228516,
      "learning_rate": 1.7244622222222222e-05,
      "loss": 0.1713,
      "step": 15500
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 11.053401947021484,
      "learning_rate": 1.7155733333333336e-05,
      "loss": 0.1818,
      "step": 16000
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.9306756854057312,
      "learning_rate": 1.7066844444444446e-05,
      "loss": 0.1839,
      "step": 16500
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.7572970390319824,
      "learning_rate": 1.6977955555555557e-05,
      "loss": 0.1723,
      "step": 17000
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 2.47117280960083,
      "learning_rate": 1.6889066666666667e-05,
      "loss": 0.1818,
      "step": 17500
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.051652193069458,
      "learning_rate": 1.680017777777778e-05,
      "loss": 0.1659,
      "step": 18000
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 9.737627983093262,
      "learning_rate": 1.671128888888889e-05,
      "loss": 0.1801,
      "step": 18500
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 6.0278801918029785,
      "learning_rate": 1.6622400000000002e-05,
      "loss": 0.1785,
      "step": 19000
    },
    {
      "epoch": 0.52,
      "grad_norm": 3.889968156814575,
      "learning_rate": 1.6533511111111112e-05,
      "loss": 0.1644,
      "step": 19500
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 2.603872299194336,
      "learning_rate": 1.6444622222222223e-05,
      "loss": 0.1835,
      "step": 20000
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 0.6035894155502319,
      "learning_rate": 1.6355733333333333e-05,
      "loss": 0.172,
      "step": 20500
    },
    {
      "epoch": 0.56,
      "grad_norm": 11.361248016357422,
      "learning_rate": 1.6266844444444444e-05,
      "loss": 0.171,
      "step": 21000
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 0.9519938826560974,
      "learning_rate": 1.6177955555555558e-05,
      "loss": 0.1777,
      "step": 21500
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 12.636277198791504,
      "learning_rate": 1.6089066666666668e-05,
      "loss": 0.1771,
      "step": 22000
    },
    {
      "epoch": 0.6,
      "grad_norm": 2.310169219970703,
      "learning_rate": 1.600017777777778e-05,
      "loss": 0.1754,
      "step": 22500
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 4.273941993713379,
      "learning_rate": 1.591128888888889e-05,
      "loss": 0.17,
      "step": 23000
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 5.049039840698242,
      "learning_rate": 1.5822400000000003e-05,
      "loss": 0.1804,
      "step": 23500
    },
    {
      "epoch": 0.64,
      "grad_norm": 4.0421061515808105,
      "learning_rate": 1.5733511111111113e-05,
      "loss": 0.1706,
      "step": 24000
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 5.300897121429443,
      "learning_rate": 1.5644622222222224e-05,
      "loss": 0.1767,
      "step": 24500
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 3.8265490531921387,
      "learning_rate": 1.5555733333333334e-05,
      "loss": 0.1802,
      "step": 25000
    },
    {
      "epoch": 0.68,
      "grad_norm": 3.3010833263397217,
      "learning_rate": 1.5466844444444448e-05,
      "loss": 0.1799,
      "step": 25500
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 3.451127529144287,
      "learning_rate": 1.537795555555556e-05,
      "loss": 0.1757,
      "step": 26000
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 7.2855987548828125,
      "learning_rate": 1.528906666666667e-05,
      "loss": 0.1703,
      "step": 26500
    },
    {
      "epoch": 0.72,
      "grad_norm": 2.122622489929199,
      "learning_rate": 1.5200177777777778e-05,
      "loss": 0.1807,
      "step": 27000
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 5.44147253036499,
      "learning_rate": 1.5111288888888892e-05,
      "loss": 0.1792,
      "step": 27500
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 19.15901756286621,
      "learning_rate": 1.5022400000000002e-05,
      "loss": 0.173,
      "step": 28000
    },
    {
      "epoch": 0.76,
      "grad_norm": 2.908573627471924,
      "learning_rate": 1.4933511111111113e-05,
      "loss": 0.1696,
      "step": 28500
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 4.085779190063477,
      "learning_rate": 1.4844622222222223e-05,
      "loss": 0.1648,
      "step": 29000
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 7.775406837463379,
      "learning_rate": 1.4755733333333335e-05,
      "loss": 0.1764,
      "step": 29500
    },
    {
      "epoch": 0.8,
      "grad_norm": 5.207675933837891,
      "learning_rate": 1.4666844444444446e-05,
      "loss": 0.1701,
      "step": 30000
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 11.684020042419434,
      "learning_rate": 1.4577955555555556e-05,
      "loss": 0.1694,
      "step": 30500
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 9.609663009643555,
      "learning_rate": 1.4489066666666666e-05,
      "loss": 0.1677,
      "step": 31000
    },
    {
      "epoch": 0.84,
      "grad_norm": 3.604388952255249,
      "learning_rate": 1.440017777777778e-05,
      "loss": 0.1676,
      "step": 31500
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 2.2640857696533203,
      "learning_rate": 1.431128888888889e-05,
      "loss": 0.174,
      "step": 32000
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 5.792328357696533,
      "learning_rate": 1.4222400000000001e-05,
      "loss": 0.1834,
      "step": 32500
    },
    {
      "epoch": 0.88,
      "grad_norm": 10.582271575927734,
      "learning_rate": 1.4133511111111112e-05,
      "loss": 0.1691,
      "step": 33000
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 0.56258225440979,
      "learning_rate": 1.4044622222222224e-05,
      "loss": 0.1668,
      "step": 33500
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 3.2600042819976807,
      "learning_rate": 1.3955733333333334e-05,
      "loss": 0.1654,
      "step": 34000
    },
    {
      "epoch": 0.92,
      "grad_norm": 6.783730983734131,
      "learning_rate": 1.3866844444444445e-05,
      "loss": 0.1622,
      "step": 34500
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.47156190872192383,
      "learning_rate": 1.3777955555555557e-05,
      "loss": 0.1696,
      "step": 35000
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 7.54743766784668,
      "learning_rate": 1.3689066666666669e-05,
      "loss": 0.1621,
      "step": 35500
    },
    {
      "epoch": 0.96,
      "grad_norm": 3.3479397296905518,
      "learning_rate": 1.360017777777778e-05,
      "loss": 0.1641,
      "step": 36000
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 0.5830157399177551,
      "learning_rate": 1.351128888888889e-05,
      "loss": 0.1768,
      "step": 36500
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.9766425490379333,
      "learning_rate": 1.3422400000000002e-05,
      "loss": 0.1767,
      "step": 37000
    },
    {
      "epoch": 1.0,
      "grad_norm": 2.2511048316955566,
      "learning_rate": 1.3333511111111113e-05,
      "loss": 0.1805,
      "step": 37500
    },
    {
      "epoch": 1.0,
      "eval_accuracy": 0.9336266666666667,
      "eval_loss": 0.15549463033676147,
      "eval_roc_auc": 0.9640682792910416,
      "eval_runtime": 71.4408,
      "eval_samples_per_second": 2099.641,
      "eval_steps_per_second": 131.228,
      "step": 37500
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.5941932201385498,
      "learning_rate": 1.3244622222222223e-05,
      "loss": 0.1569,
      "step": 38000
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 6.199728965759277,
      "learning_rate": 1.3155733333333334e-05,
      "loss": 0.1626,
      "step": 38500
    },
    {
      "epoch": 1.04,
      "grad_norm": 6.476550102233887,
      "learning_rate": 1.3066844444444446e-05,
      "loss": 0.1588,
      "step": 39000
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 2.1434028148651123,
      "learning_rate": 1.2977955555555558e-05,
      "loss": 0.1593,
      "step": 39500
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 7.160366058349609,
      "learning_rate": 1.2889066666666668e-05,
      "loss": 0.1654,
      "step": 40000
    },
    {
      "epoch": 1.08,
      "grad_norm": 5.688711166381836,
      "learning_rate": 1.2800177777777779e-05,
      "loss": 0.1605,
      "step": 40500
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 2.6624457836151123,
      "learning_rate": 1.2711288888888891e-05,
      "loss": 0.162,
      "step": 41000
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 2.13610577583313,
      "learning_rate": 1.2622400000000001e-05,
      "loss": 0.1697,
      "step": 41500
    },
    {
      "epoch": 1.12,
      "grad_norm": 1.7965058088302612,
      "learning_rate": 1.2533511111111112e-05,
      "loss": 0.1641,
      "step": 42000
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 6.1187052726745605,
      "learning_rate": 1.2444622222222222e-05,
      "loss": 0.1665,
      "step": 42500
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 3.0875155925750732,
      "learning_rate": 1.2355733333333334e-05,
      "loss": 0.1696,
      "step": 43000
    },
    {
      "epoch": 1.16,
      "grad_norm": 1.7061272859573364,
      "learning_rate": 1.2266844444444445e-05,
      "loss": 0.1631,
      "step": 43500
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 7.367978096008301,
      "learning_rate": 1.2177955555555557e-05,
      "loss": 0.1705,
      "step": 44000
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 1.446173906326294,
      "learning_rate": 1.2089066666666667e-05,
      "loss": 0.1665,
      "step": 44500
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.7211847901344299,
      "learning_rate": 1.200017777777778e-05,
      "loss": 0.1666,
      "step": 45000
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 3.097473621368408,
      "learning_rate": 1.191128888888889e-05,
      "loss": 0.1623,
      "step": 45500
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 8.937402725219727,
      "learning_rate": 1.18224e-05,
      "loss": 0.1573,
      "step": 46000
    },
    {
      "epoch": 1.24,
      "grad_norm": 6.416681289672852,
      "learning_rate": 1.1733511111111111e-05,
      "loss": 0.1698,
      "step": 46500
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 5.953726768493652,
      "learning_rate": 1.1644622222222223e-05,
      "loss": 0.1638,
      "step": 47000
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 4.727179050445557,
      "learning_rate": 1.1555733333333334e-05,
      "loss": 0.1602,
      "step": 47500
    },
    {
      "epoch": 1.28,
      "grad_norm": 15.166394233703613,
      "learning_rate": 1.1466844444444446e-05,
      "loss": 0.1642,
      "step": 48000
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 1.0376096963882446,
      "learning_rate": 1.1377955555555556e-05,
      "loss": 0.1694,
      "step": 48500
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 0.7701208591461182,
      "learning_rate": 1.1289066666666668e-05,
      "loss": 0.16,
      "step": 49000
    },
    {
      "epoch": 1.32,
      "grad_norm": 4.891656398773193,
      "learning_rate": 1.1200177777777779e-05,
      "loss": 0.1606,
      "step": 49500
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 8.97839069366455,
      "learning_rate": 1.111128888888889e-05,
      "loss": 0.1685,
      "step": 50000
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 0.20904645323753357,
      "learning_rate": 1.1022400000000001e-05,
      "loss": 0.1608,
      "step": 50500
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 9.957182884216309,
      "learning_rate": 1.0933511111111112e-05,
      "loss": 0.1662,
      "step": 51000
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 3.023970365524292,
      "learning_rate": 1.0844622222222222e-05,
      "loss": 0.1727,
      "step": 51500
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 6.184418678283691,
      "learning_rate": 1.0755733333333333e-05,
      "loss": 0.1598,
      "step": 52000
    },
    {
      "epoch": 1.4,
      "grad_norm": 1.9592366218566895,
      "learning_rate": 1.0666844444444447e-05,
      "loss": 0.1564,
      "step": 52500
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 1.0425689220428467,
      "learning_rate": 1.0577955555555557e-05,
      "loss": 0.1599,
      "step": 53000
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 0.8117395043373108,
      "learning_rate": 1.0489066666666668e-05,
      "loss": 0.1608,
      "step": 53500
    },
    {
      "epoch": 1.44,
      "grad_norm": 4.717148780822754,
      "learning_rate": 1.0400177777777778e-05,
      "loss": 0.1647,
      "step": 54000
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 1.1125507354736328,
      "learning_rate": 1.031128888888889e-05,
      "loss": 0.1651,
      "step": 54500
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 6.528645038604736,
      "learning_rate": 1.02224e-05,
      "loss": 0.1586,
      "step": 55000
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.015608014538884163,
      "learning_rate": 1.0133511111111111e-05,
      "loss": 0.157,
      "step": 55500
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 4.705836296081543,
      "learning_rate": 1.0044622222222221e-05,
      "loss": 0.1562,
      "step": 56000
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 2.740739107131958,
      "learning_rate": 9.955733333333334e-06,
      "loss": 0.1625,
      "step": 56500
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.43999674916267395,
      "learning_rate": 9.866844444444446e-06,
      "loss": 0.1613,
      "step": 57000
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 7.738208293914795,
      "learning_rate": 9.777955555555556e-06,
      "loss": 0.159,
      "step": 57500
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.75526362657547,
      "learning_rate": 9.689066666666668e-06,
      "loss": 0.1602,
      "step": 58000
    },
    {
      "epoch": 1.56,
      "grad_norm": 7.4203619956970215,
      "learning_rate": 9.600177777777779e-06,
      "loss": 0.161,
      "step": 58500
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 5.024014472961426,
      "learning_rate": 9.51128888888889e-06,
      "loss": 0.1639,
      "step": 59000
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 6.8457512855529785,
      "learning_rate": 9.4224e-06,
      "loss": 0.1613,
      "step": 59500
    },
    {
      "epoch": 1.6,
      "grad_norm": 14.056071281433105,
      "learning_rate": 9.333511111111112e-06,
      "loss": 0.1572,
      "step": 60000
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 15.818329811096191,
      "learning_rate": 9.244622222222222e-06,
      "loss": 0.1587,
      "step": 60500
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 3.704280138015747,
      "learning_rate": 9.155733333333335e-06,
      "loss": 0.1623,
      "step": 61000
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.761895477771759,
      "learning_rate": 9.066844444444445e-06,
      "loss": 0.1625,
      "step": 61500
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 3.5546834468841553,
      "learning_rate": 8.977955555555557e-06,
      "loss": 0.1649,
      "step": 62000
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 3.535801887512207,
      "learning_rate": 8.889066666666668e-06,
      "loss": 0.1621,
      "step": 62500
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 2.308583974838257,
      "learning_rate": 8.800177777777778e-06,
      "loss": 0.164,
      "step": 63000
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 10.04520034790039,
      "learning_rate": 8.711288888888889e-06,
      "loss": 0.1637,
      "step": 63500
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 5.150910377502441,
      "learning_rate": 8.6224e-06,
      "loss": 0.1575,
      "step": 64000
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.023175127804279327,
      "learning_rate": 8.533511111111111e-06,
      "loss": 0.1641,
      "step": 64500
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 3.1218388080596924,
      "learning_rate": 8.444622222222223e-06,
      "loss": 0.1563,
      "step": 65000
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 3.781221866607666,
      "learning_rate": 8.355733333333334e-06,
      "loss": 0.1589,
      "step": 65500
    },
    {
      "epoch": 1.76,
      "grad_norm": 2.77959942817688,
      "learning_rate": 8.266844444444446e-06,
      "loss": 0.1706,
      "step": 66000
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 4.3421220779418945,
      "learning_rate": 8.177955555555556e-06,
      "loss": 0.1591,
      "step": 66500
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 3.431793451309204,
      "learning_rate": 8.089066666666667e-06,
      "loss": 0.1634,
      "step": 67000
    },
    {
      "epoch": 1.8,
      "grad_norm": 3.9532511234283447,
      "learning_rate": 8.000177777777779e-06,
      "loss": 0.1732,
      "step": 67500
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 3.9432785511016846,
      "learning_rate": 7.91128888888889e-06,
      "loss": 0.1729,
      "step": 68000
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 3.6713857650756836,
      "learning_rate": 7.822400000000002e-06,
      "loss": 0.1722,
      "step": 68500
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 1.4513734579086304,
      "learning_rate": 7.733511111111112e-06,
      "loss": 0.1522,
      "step": 69000
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 3.163621425628662,
      "learning_rate": 7.644622222222222e-06,
      "loss": 0.1651,
      "step": 69500
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 1.6190903186798096,
      "learning_rate": 7.555733333333334e-06,
      "loss": 0.1534,
      "step": 70000
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.9948943257331848,
      "learning_rate": 7.466844444444445e-06,
      "loss": 0.1621,
      "step": 70500
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 5.644164085388184,
      "learning_rate": 7.377955555555556e-06,
      "loss": 0.1675,
      "step": 71000
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 3.012378692626953,
      "learning_rate": 7.289066666666668e-06,
      "loss": 0.1649,
      "step": 71500
    },
    {
      "epoch": 1.92,
      "grad_norm": 2.93514347076416,
      "learning_rate": 7.200177777777778e-06,
      "loss": 0.1666,
      "step": 72000
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 3.8508403301239014,
      "learning_rate": 7.1112888888888894e-06,
      "loss": 0.1598,
      "step": 72500
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 1.6260486841201782,
      "learning_rate": 7.022400000000001e-06,
      "loss": 0.1628,
      "step": 73000
    },
    {
      "epoch": 1.96,
      "grad_norm": 4.051096439361572,
      "learning_rate": 6.933511111111112e-06,
      "loss": 0.1556,
      "step": 73500
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 5.158590793609619,
      "learning_rate": 6.8446222222222225e-06,
      "loss": 0.1605,
      "step": 74000
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 3.5490450859069824,
      "learning_rate": 6.755733333333334e-06,
      "loss": 0.1605,
      "step": 74500
    },
    {
      "epoch": 2.0,
      "grad_norm": 4.156341552734375,
      "learning_rate": 6.666844444444445e-06,
      "loss": 0.1631,
      "step": 75000
    },
    {
      "epoch": 2.0,
      "eval_accuracy": 0.9355,
      "eval_loss": 0.16089090704917908,
      "eval_roc_auc": 0.9664329571233745,
      "eval_runtime": 71.8229,
      "eval_samples_per_second": 2088.472,
      "eval_steps_per_second": 130.529,
      "step": 75000
    },
    {
      "epoch": 2.013333333333333,
      "grad_norm": 0.37760597467422485,
      "learning_rate": 6.577955555555556e-06,
      "loss": 0.1571,
      "step": 75500
    },
    {
      "epoch": 2.026666666666667,
      "grad_norm": 2.3621420860290527,
      "learning_rate": 6.489066666666667e-06,
      "loss": 0.1588,
      "step": 76000
    },
    {
      "epoch": 2.04,
      "grad_norm": 5.164142608642578,
      "learning_rate": 6.400177777777778e-06,
      "loss": 0.1563,
      "step": 76500
    },
    {
      "epoch": 2.0533333333333332,
      "grad_norm": 6.492125988006592,
      "learning_rate": 6.311288888888889e-06,
      "loss": 0.1513,
      "step": 77000
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 4.94801139831543,
      "learning_rate": 6.222400000000001e-06,
      "loss": 0.1607,
      "step": 77500
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.7187438011169434,
      "learning_rate": 6.133511111111111e-06,
      "loss": 0.1524,
      "step": 78000
    },
    {
      "epoch": 2.0933333333333333,
      "grad_norm": 3.6568777561187744,
      "learning_rate": 6.0446222222222225e-06,
      "loss": 0.157,
      "step": 78500
    },
    {
      "epoch": 2.1066666666666665,
      "grad_norm": 1.4683983325958252,
      "learning_rate": 5.955733333333333e-06,
      "loss": 0.1621,
      "step": 79000
    },
    {
      "epoch": 2.12,
      "grad_norm": 1.7399336099624634,
      "learning_rate": 5.866844444444445e-06,
      "loss": 0.155,
      "step": 79500
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 5.425464630126953,
      "learning_rate": 5.777955555555556e-06,
      "loss": 0.157,
      "step": 80000
    },
    {
      "epoch": 2.1466666666666665,
      "grad_norm": 4.227963447570801,
      "learning_rate": 5.689066666666667e-06,
      "loss": 0.1612,
      "step": 80500
    },
    {
      "epoch": 2.16,
      "grad_norm": 8.189958572387695,
      "learning_rate": 5.600177777777777e-06,
      "loss": 0.1569,
      "step": 81000
    },
    {
      "epoch": 2.1733333333333333,
      "grad_norm": 0.708821713924408,
      "learning_rate": 5.5112888888888895e-06,
      "loss": 0.1536,
      "step": 81500
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 1.1910531520843506,
      "learning_rate": 5.422400000000001e-06,
      "loss": 0.1515,
      "step": 82000
    },
    {
      "epoch": 2.2,
      "grad_norm": 4.063385009765625,
      "learning_rate": 5.333511111111111e-06,
      "loss": 0.1645,
      "step": 82500
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 3.9359991550445557,
      "learning_rate": 5.244622222222223e-06,
      "loss": 0.1587,
      "step": 83000
    },
    {
      "epoch": 2.2266666666666666,
      "grad_norm": 11.701959609985352,
      "learning_rate": 5.155733333333334e-06,
      "loss": 0.1516,
      "step": 83500
    },
    {
      "epoch": 2.24,
      "grad_norm": 1.1032155752182007,
      "learning_rate": 5.066844444444445e-06,
      "loss": 0.1558,
      "step": 84000
    },
    {
      "epoch": 2.2533333333333334,
      "grad_norm": 7.502242565155029,
      "learning_rate": 4.977955555555556e-06,
      "loss": 0.154,
      "step": 84500
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 3.382655382156372,
      "learning_rate": 4.889066666666667e-06,
      "loss": 0.1562,
      "step": 85000
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 5.087756633758545,
      "learning_rate": 4.800177777777778e-06,
      "loss": 0.1488,
      "step": 85500
    },
    {
      "epoch": 2.2933333333333334,
      "grad_norm": 7.414464473724365,
      "learning_rate": 4.7112888888888895e-06,
      "loss": 0.152,
      "step": 86000
    },
    {
      "epoch": 2.3066666666666666,
      "grad_norm": 5.461930751800537,
      "learning_rate": 4.6224e-06,
      "loss": 0.1615,
      "step": 86500
    },
    {
      "epoch": 2.32,
      "grad_norm": 1.813199520111084,
      "learning_rate": 4.533511111111111e-06,
      "loss": 0.1477,
      "step": 87000
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 1.058738350868225,
      "learning_rate": 4.444622222222223e-06,
      "loss": 0.1616,
      "step": 87500
    },
    {
      "epoch": 2.3466666666666667,
      "grad_norm": 2.765003204345703,
      "learning_rate": 4.355733333333334e-06,
      "loss": 0.1558,
      "step": 88000
    },
    {
      "epoch": 2.36,
      "grad_norm": 8.905878067016602,
      "learning_rate": 4.266844444444444e-06,
      "loss": 0.156,
      "step": 88500
    },
    {
      "epoch": 2.3733333333333335,
      "grad_norm": 8.618307113647461,
      "learning_rate": 4.177955555555556e-06,
      "loss": 0.1572,
      "step": 89000
    },
    {
      "epoch": 2.3866666666666667,
      "grad_norm": 7.892423152923584,
      "learning_rate": 4.089066666666667e-06,
      "loss": 0.1457,
      "step": 89500
    },
    {
      "epoch": 2.4,
      "grad_norm": 1.6120429039001465,
      "learning_rate": 4.000177777777778e-06,
      "loss": 0.1527,
      "step": 90000
    },
    {
      "epoch": 2.413333333333333,
      "grad_norm": 0.2991999089717865,
      "learning_rate": 3.9112888888888896e-06,
      "loss": 0.154,
      "step": 90500
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 3.7586658000946045,
      "learning_rate": 3.822400000000001e-06,
      "loss": 0.1551,
      "step": 91000
    },
    {
      "epoch": 2.44,
      "grad_norm": 7.50267219543457,
      "learning_rate": 3.7335111111111118e-06,
      "loss": 0.1524,
      "step": 91500
    },
    {
      "epoch": 2.453333333333333,
      "grad_norm": 4.875062465667725,
      "learning_rate": 3.6446222222222226e-06,
      "loss": 0.1587,
      "step": 92000
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 2.9754557609558105,
      "learning_rate": 3.555733333333334e-06,
      "loss": 0.1492,
      "step": 92500
    },
    {
      "epoch": 2.48,
      "grad_norm": 4.871894836425781,
      "learning_rate": 3.466844444444445e-06,
      "loss": 0.1694,
      "step": 93000
    },
    {
      "epoch": 2.493333333333333,
      "grad_norm": 1.8370604515075684,
      "learning_rate": 3.377955555555556e-06,
      "loss": 0.1567,
      "step": 93500
    },
    {
      "epoch": 2.506666666666667,
      "grad_norm": 5.000058174133301,
      "learning_rate": 3.289066666666667e-06,
      "loss": 0.159,
      "step": 94000
    },
    {
      "epoch": 2.52,
      "grad_norm": 2.8431179523468018,
      "learning_rate": 3.2001777777777783e-06,
      "loss": 0.1597,
      "step": 94500
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 2.977501153945923,
      "learning_rate": 3.111288888888889e-06,
      "loss": 0.1585,
      "step": 95000
    },
    {
      "epoch": 2.546666666666667,
      "grad_norm": 10.933128356933594,
      "learning_rate": 3.0224000000000005e-06,
      "loss": 0.1585,
      "step": 95500
    },
    {
      "epoch": 2.56,
      "grad_norm": 2.910295248031616,
      "learning_rate": 2.9335111111111114e-06,
      "loss": 0.1583,
      "step": 96000
    },
    {
      "epoch": 2.5733333333333333,
      "grad_norm": 5.146080493927002,
      "learning_rate": 2.8446222222222227e-06,
      "loss": 0.1604,
      "step": 96500
    },
    {
      "epoch": 2.586666666666667,
      "grad_norm": 2.5756635665893555,
      "learning_rate": 2.7557333333333336e-06,
      "loss": 0.1526,
      "step": 97000
    },
    {
      "epoch": 2.6,
      "grad_norm": 1.7914905548095703,
      "learning_rate": 2.666844444444445e-06,
      "loss": 0.1594,
      "step": 97500
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 0.20537488162517548,
      "learning_rate": 2.5779555555555557e-06,
      "loss": 0.1591,
      "step": 98000
    },
    {
      "epoch": 2.626666666666667,
      "grad_norm": 2.455848217010498,
      "learning_rate": 2.489066666666667e-06,
      "loss": 0.153,
      "step": 98500
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.4273248016834259,
      "learning_rate": 2.400177777777778e-06,
      "loss": 0.1631,
      "step": 99000
    },
    {
      "epoch": 2.6533333333333333,
      "grad_norm": 1.5844085216522217,
      "learning_rate": 2.3112888888888892e-06,
      "loss": 0.1587,
      "step": 99500
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 1.7712628841400146,
      "learning_rate": 2.2224e-06,
      "loss": 0.1642,
      "step": 100000
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.21946005523204803,
      "learning_rate": 2.1335111111111114e-06,
      "loss": 0.1559,
      "step": 100500
    },
    {
      "epoch": 2.6933333333333334,
      "grad_norm": 2.396003007888794,
      "learning_rate": 2.0446222222222223e-06,
      "loss": 0.1563,
      "step": 101000
    },
    {
      "epoch": 2.7066666666666666,
      "grad_norm": 7.338997840881348,
      "learning_rate": 1.955733333333333e-06,
      "loss": 0.1561,
      "step": 101500
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 65.9477767944336,
      "learning_rate": 1.8668444444444445e-06,
      "loss": 0.1577,
      "step": 102000
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 9.717840194702148,
      "learning_rate": 1.7779555555555558e-06,
      "loss": 0.1567,
      "step": 102500
    },
    {
      "epoch": 2.7466666666666666,
      "grad_norm": 4.013182163238525,
      "learning_rate": 1.6890666666666669e-06,
      "loss": 0.1552,
      "step": 103000
    },
    {
      "epoch": 2.76,
      "grad_norm": 3.7362122535705566,
      "learning_rate": 1.600177777777778e-06,
      "loss": 0.16,
      "step": 103500
    },
    {
      "epoch": 2.7733333333333334,
      "grad_norm": 3.37005615234375,
      "learning_rate": 1.511288888888889e-06,
      "loss": 0.1497,
      "step": 104000
    },
    {
      "epoch": 2.7866666666666666,
      "grad_norm": 2.124300956726074,
      "learning_rate": 1.4224000000000001e-06,
      "loss": 0.1532,
      "step": 104500
    },
    {
      "epoch": 2.8,
      "grad_norm": 4.643367767333984,
      "learning_rate": 1.3335111111111112e-06,
      "loss": 0.1583,
      "step": 105000
    },
    {
      "epoch": 2.8133333333333335,
      "grad_norm": 3.3346452713012695,
      "learning_rate": 1.2446222222222223e-06,
      "loss": 0.1557,
      "step": 105500
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 7.849328517913818,
      "learning_rate": 1.1557333333333334e-06,
      "loss": 0.1498,
      "step": 106000
    },
    {
      "epoch": 2.84,
      "grad_norm": 1.2570407390594482,
      "learning_rate": 1.0668444444444445e-06,
      "loss": 0.1605,
      "step": 106500
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 6.444018363952637,
      "learning_rate": 9.779555555555556e-07,
      "loss": 0.159,
      "step": 107000
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 0.41188427805900574,
      "learning_rate": 8.890666666666667e-07,
      "loss": 0.1568,
      "step": 107500
    },
    {
      "epoch": 2.88,
      "grad_norm": 7.1673583984375,
      "learning_rate": 8.001777777777778e-07,
      "loss": 0.1575,
      "step": 108000
    },
    {
      "epoch": 2.8933333333333335,
      "grad_norm": 2.8863675594329834,
      "learning_rate": 7.11288888888889e-07,
      "loss": 0.1498,
      "step": 108500
    },
    {
      "epoch": 2.9066666666666667,
      "grad_norm": 0.9453912973403931,
      "learning_rate": 6.224000000000001e-07,
      "loss": 0.1547,
      "step": 109000
    },
    {
      "epoch": 2.92,
      "grad_norm": 3.075265645980835,
      "learning_rate": 5.335111111111112e-07,
      "loss": 0.1497,
      "step": 109500
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 6.613731861114502,
      "learning_rate": 4.4462222222222225e-07,
      "loss": 0.1529,
      "step": 110000
    },
    {
      "epoch": 2.9466666666666668,
      "grad_norm": 5.192198753356934,
      "learning_rate": 3.5573333333333334e-07,
      "loss": 0.1543,
      "step": 110500
    },
    {
      "epoch": 2.96,
      "grad_norm": 10.172599792480469,
      "learning_rate": 2.668444444444445e-07,
      "loss": 0.1579,
      "step": 111000
    },
    {
      "epoch": 2.9733333333333336,
      "grad_norm": 9.182332992553711,
      "learning_rate": 1.7795555555555555e-07,
      "loss": 0.1566,
      "step": 111500
    },
    {
      "epoch": 2.986666666666667,
      "grad_norm": 0.6276681423187256,
      "learning_rate": 8.906666666666667e-08,
      "loss": 0.1522,
      "step": 112000
    },
    {
      "epoch": 3.0,
      "grad_norm": 2.9301698207855225,
      "learning_rate": 1.7777777777777778e-10,
      "loss": 0.1625,
      "step": 112500
    },
    {
      "epoch": 3.0,
      "eval_accuracy": 0.9359666666666666,
      "eval_loss": 0.15989860892295837,
      "eval_roc_auc": 0.9675508452504964,
      "eval_runtime": 71.2061,
      "eval_samples_per_second": 2106.56,
      "eval_steps_per_second": 131.66,
      "step": 112500
    }
  ],
  "logging_steps": 500,
  "max_steps": 112500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 6452548300800000.0,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}